Performance analysis and optimisation of grid applications  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
42459
Type K
Principal investigator Kacsuk, Péter
Title in Hungarian Számítóháló alkalmazások teljesítményanalízise és optimalizációja
Title in English Performance analysis and optimisation of grid applications
Panel Informatics and Electrical Engineering
Department or equivalent HUN-REN Institute for Computer Science and Control
Participants Balaton, Zoltán
Gombás, Gábor
Kovács, József
Németh, Zsolt
Podhorszki, Norbert
Tóth, Márton
Vajda, Ferenc
Starting date 2003-01-01
Closing date 2005-12-31
Funding (in million HUF) 7.851
FTE (full time equivalent) 0.00
state closed project





 

Final report

  
Results in Hungarian
Számítóhálón (griden) futó alkalmazások, elsősorban workflow-k hatékony végrehajtására kerestünk újszerű megoldásokat a grid teljesítményanalízis és optimalizáció területén. Elkészítettük a Mercury monitort a grid teljesítményanalízis követelményeit figyelembe véve. A párhuzamos programok monitorozására alkalmas GRM monitort integráltuk a relációs adatmodell alapú R-GMA grid információs rendszerrel, illetve a Mercury monitorral. Elkészült a Pulse, és a Prove vizualizációs eszköz grid teljesítményanalízist támogató verziója. Elkészítettünk egy state-of-the-art felmérést grid teljesítményanalízis eszközökről. Kidolgoztuk a P-GRADE rendszer workflow absztrakciós rétegét, melyhez kapcsolódóan elkészült a P-GRADE portál. Ennek segítségével a felhasználók egy web böngészőn keresztül szerkeszthetnek és hajthatnak végre workflow alkalmazásokat számítóhálón. A portál különböző számítóháló implementációkat támogat. Lehetőséget biztosít információ gyűjtésére teljesítményanalízis céljából. Megvizsgáltuk a portál erőforrás brókerekkel való együttműködését, felkészítettük a portált a sikertelen futások javítására. A végrehajtás optimalizálása megkövetelheti az alkalmazás egyes részeinek áthelyezését más erőforrásokra. Ennek támogatására továbbfejlesztettük a P-GRADE alkalmazások naplózhatóságát, és illesztettük a Condor feladatütemezőjéhez. Sikeresen kapcsoltunk a rendszerhez egy terhelés elosztó modult, mely képes a terheltségétől függően áthelyezni a folyamatokat.
Results in English
We investigated novel approaches for performance analysis and optimization for efficient execution of grid applications, especially workflows. We took into consideration the special requirements of grid performance analysis when elaborated Mercury, a grid monitoring infrastructure. GRM, a performance monitor for parallel applications, has been integrated with R-GMA, a relational grid information system and Mercury as well. We developed Pulse and Prove visualisation tools for supporting grid performance analysis. We wrote a comprehensive state-of-the art survey of grid performance tools. We designed a novel abstraction layer of P-GRADE supporting workflows, and a grid portal. Users can draft and execute workflow applications in the grid via a web browser using the portal. The portal supports multiple grid implementations and provides monitoring capabilities for performance analysis. We tested the integration of the portal with grid resource brokers and also augmented it with some degree of fault-tolerance. Optimization may require the migration of parts of the application to different resources and thus, it requires support for checkpointing. We enhanced the checkpointing facilities of P-GRADE and coupled it to Condor job scheduler. We also extended the system with a load balancer module that is able to migrate processes as part of the optimization.
Full text http://real.mtak.hu/607/
Decision
Yes





 

List of publications

  
Kovács J., Kacsuk P.: The DIWIDE Distributed Debugger, Parallel and Distributed Computing Practices. Special Issue: Quality of Parallel and Distributed Programs and Systems (4), 4, pp. 5-24. 2003, 2003
Podhorszki N., Kacsuk P: Semi-on-line monitoring of P-GRADE Applications, Parallel and Distributed Computing Practices. Special Issue: Quality of Parallel and Distributed Programs and Systems (4), 4, pp. 43-60, 2003, 2003
Kacsuk P., Lovas R., Kovács J., Szalai F., Gombás G., Podhorszki N., Horváth A., Horányi A., Szeberényi I., Delaitre T., Terstyánszky G., Gourgoulis A.: Demonstration of P-GRADE job-mode for the Grid, Euro-Par 2003 Parallel Processing, Lecture Notes in Computer Science, (2790), Klagenfurt, Austria 2003, pp. 1281-1286, 2003
Podhorszki N., Kacsuk P: Presentation and Analysis of Grid Performance Data, EuroPar\'2003 Parallel Processing, Lecture Notes in Computer Science, (2790), Klagenfurt, Austria,2003, pp. 119-126, 2003
Lovas R., Kovács J., Gombás G., Podhorszki N., Balaton Z., Kacsuk P., ., Szeberényi I., Delaitre T., Gourgoulis A.: Migration and Monitoring of P-GRADE Parallel Jobs in the Grid, IEEE International Conference on Cluster Computing. Hong Kong, 2003. pp. 8-11., 2003
Sipos G., Kacsuk P.: Executing and Monitoring PVM Programs in Computational Grids with Jini, Euro PVM/MPI Conference, Venice, Italy Venice, Italy 2003 (LNCS 2840), pp. 570-576., 2003
Balaton Z., Gombás, G.: Resource and Job Monitoring in the Grid., 9th International Euro-Par 2003 Parallel Processing, Lecture Notes in Computer Science, Klagenfurt, Austria, (2790), 2003. pp. 404-411., 2003
Podhorszki N.: Pulse: A Tool for Presentation and Analysis of Grid Performance Data, MIPRO\'2003, 26th International Conference on Hypermedia and Grid Systems, Opatija, Croatia, 2003 pp. 129-134., 2003
Kacsuk P., Dózsa G.: From Supercomputing Programming to Grid Programming by P-GRADE, WESIC\'2003, Lillafred, 2003, pp. 483-494., 2003
Kacsuk P.: Development and Execution of HPC Applications on Clusters and Grid by P-GRADE, 2003 European Simulation and Modelling Conference, Naples, Italy, 2003. pp. 6-13., 2003
Podhorszki N., Kacsuk P.: Monitoring Message Passing Applications in the Grid with GRM and R-GMA, EuroPVM/MPI\'2003, Lecture Notes in Computer Science 2840, Venice, Italy, 2003, pp. 603-610., 2003
Németh Zs.,: Grid performance, grid benchmarks, grid metrics., 3rd Cracow Grid Workshop, Cracow, 2003, 2003
Németh Cs., Dózsa G., Lovas R., Kacsuk P.: The P-GRADE Grid portal, The 2004 International Conference On Computational Science and its Applications, Proc. of ICCSA, Assisi, Italy, 2004, 2004
Kacsuk P., Dózsa G., Kovács J., Lovas R., Podhorszki N. Balaton Z., Gombás G.: P-GRADE: a Grid Programming Environment, Journal of Grid Computing, Vol.1, no. 2, 2004, pp. 171-197, 2004
Lovas R., Kacsuk P., Lagzi I., Turányi T.: Unified development solution for cluster and grid computing and its application in chemistry, The 2004 International Conference on Computational Science and its Applications, Assisi, Italy, 2004, 2004
Hermann G., Czifrus Sz.: Case Study of the Easy Parallization of a Monte Carlo Simulation Program with the P-GRADE Development Tool, MicroCAD 2004. International computer science conference, Miskolc, Hungary, Miskolc, Miskolci Egyetem, 2004 pp. 165-169., 2004
Kovács J., Kacsuk P: A migration framework for executing parallel programs in the Grid, 2nd European Across Grids Conference, Nicosia, Cyprus, Jan. 28-30, 2004. LNCS 3165/2004, pp. 80-89., 2004
Podhorszki N. Balaton Z., Gombás G.: Monitoring Message Passing Parallel Applications in the Grid with GRM and Mercury Monitor, 2nd European Across Grids Conference, Nicosia, Cyprus, 2004 January 28-30, 2004. LNCS 3165/2004, pp. 179-181., 2004
Kovács J., Kacsuk P.: Improving fault-tolerant execution for parallel applications under Condor, microCAD International Scientific Conference, University of Miskolc, March 18-19, 2004, pp. 251-256, 2004
Kovács J., Kacsuk P: Párhuzamos programok vándorlása a Grid-en, Miskolci Egyetem, Doktoranduszok fóruma, Gépészmérnöki kar szekciókiadványa, 2003, pp.158-164, 2003
Németh Zs., Gombás G., Balaton Z.: Performance Evaluation on Grids: Directions, Issues, and Open Problems, Proceedings of the Euromicro Conference on Parallel, Distributed and Network-based Processing PDP 2004, A Coruna, Spain, IEEE Computer Society Press, pp. 290-297., 2004
Sipos G., Kacsuk P.: Connecting Condor Pools into Computational Grids by Jini, Second European AcrossGrids Conference, AxGrids 2004, Nicosia, Cyprus, 2004, pp. 110-113., 2004
Sipos G., Kacsuk P.: PROVE Trace Visualisation Tool as a Grid Service, Computational Science and Its Application (ICCSA) 2004 Conference, Assisi Italy. Part II, pp. 37-45., 2004
Sipos G., Kacsuk P.: Using Jini to Connect Condor Pools into a Computational Grid., MIPRO Conference, Hypermedia and Grid Systems session, Opatija, Croatia, 2004. pp. 197-202., 2004
Hermann G.: Linear speedup of a Monte-Carlo Simulation Program With the P-GRADE Development Tool, Proc. on CD on the Networkshop 2004 Györ, http://nws.iif.hu/ncd2004/index.htm, 2004
Patvarczki J., Dózsa G., Kacsuk P.: The Hungarian Supercomputing Grid in the actual practice, 27th International Convention Mipro Opatija, Adriatic Coast, pp. 203-207. Croatia 2004, 2004
Kovács J.: Process Migration in Clusters and Cluster Grids, Distributed and Parallel Systems: Cluster and Grid Computing, Vol. 777, Dapsys 2004, Budapest, Hungary, pp. 103-110., 2004
P. Kacsuk, A. Goyeneche, T. Delaittre, T. Kiss, Z. Farkas, T. Boczko: High-level Grid Application Environment to Use Legacy Codes as OGSA Grid Services, Fifth IEEE/ACM International Workshop on Grid Computing, Pittsburgh, Pennsylvania, USA, 2004, pp. 428-435., 2004
Lagzi I., Lovas R., Turányi T: Development of a Grid Enabled Chemistry Application, Distributed and Parallel Systems: Cluster and Grid Computing, Vol. 777 (DAPSYS 2004), Budapest, Hungary, pp. 137- 144, 2004
Lovas R., Vécsei B.: Integration of formal verification and debugging methods in P-GRADE environment, Distributed and Parallel Systems: Cluster and Grid Computing, Vol. 777 (DAPSYS 2004), Budapest, Hungary, pp. 83-92, 2004
Gerndt M., Wismüller R., Balaton Z., Gombás G., Kacsuk P., Németh Zs., Podhorszki N., Truong H.L., Fahringer T., Bubak M., Laure E., Margalef T.:: Performance Tools for the Grid: State of the Art and Future, LRR-TUM Research Report Series, Volume 30, Aachen 2004., 2004
Lovas R., Dózsa G., P. Kacsuk, N. Podhorszki, D. Drótos: Workflow Support for Complex Grid Applications: Integrated and Portal Solutions, 2nd European Across Grids Conference, Nicosia, Cyprus, 2004, 2004
Kovács J., Farkas Z., Marosi A.CS.:: Ellenőrzőpont támogatás PVM alkalmazások számára a magyar ClusterGriden., NETWORKSHOP 2005, Szeged, Szegedi Tudományegyetem, Tanulmányi Információs Központ, http://nws.iif.hu/ncd2005/doCS/ehu/115.pdf, p. 137 English, 2005
Lovas R., Kacsuk P., Horváth A., Horányi A.:: Application of P-GRADE Development Environment in Meteorology., Distributed and Parallel Systems. Special issue of Scalable Computing: Practice and Experience. Electronic Journal,, 2005
Lusthaus Z., Hermann G., Györkei G., Fodor G: Parallel Genetic Algorithm Programming and its Grid execution by the P-GRADE portal., MIPRO 2005, XXVIII. International Convention., 2005
Patvarczki J., Debreczeni G., Lovas R., Lagzi I., Kacsuk P., Turányi T.:: A HunGrid bemutatása és alkalmazása levegőszennyezés előrejelzésére, NETWORKSHOP 2005, Szeged, Szegedi Tudományegyetem, Tanulmányi Információs Központ. p.63, English p. 138, 2005
Sipos G., Patvarczki J., Hermann G., Drótos D., Kacsuk P., Farkas Z: A ClusterGrid és a P-GRADE Portál összekötése., Networkshop 2005, Szeged, Szegedi Tudományegyetem, Tanulmányi Információs Központ (TIK), 30/03/2005 – 01/04/2005, p. 62 English p. 137., 2005
Sipos G., Kacsuk P.:: Collaborative Workflow Editing in the P-GRADE Portal, MicroCAD’2005 International computer science conference. Miskolc, 2005., 2005
Sipos G., Lewis G.J., Kacsuk P., Aexandrov V.N: Workflow-oriented Collaborative Grid Portals. Advances in Grid Computing., European Grid Conference, EGC 2005., 2005
Sipos G., Németh Cs., Boczkó T., Kacsuk P: Providing a MUlti-Grid Access Mechanism by the Grade Portal, MicroCAD’2005 International computer science conference. Miskolc, 2005., 2005
Sipos G., Németh Cs., Lewis G.J., Aexandrov V.N., Kacsuk P.:: Executing Workflow Based Grid Applications with the Collaborative P-GRADE Portal., UK e-Science All Hands Meeting, Nottingham, UK, 2005. CD, 2005
Boczkó T., Patvarczki J., Kacsuk P.:: Connecting the P-GRADE Portal with the MDS-2 Grid information system., MicroCAD’2005 International computer science conference. Miskolc, 2005., 2005
Sipos G., Kacsuk P.:: Classification and Implementations of Workflow-Oriented Grid Portals, The 2005 International Conference on High Performance Computing and Communications, HPCC-05., 2005
Lovas R., Patvarczki J., Kacsuk P., Lagzi I., Turányi T., Kullmann L., Haszpra L., Mészáros R., Horányi A., Bencsura Á., Lendvay Gy.:: Air pollution forecast on the HUNGRID infrastructure., Parallel Computing 2005., 2005
Sipos G., Kacsuk P.:: Service Grids for Smart Organisations, 5th International Conference of PhD Students. Miskolc ., 2005
Gombás G., Marosi A.CS., Balaton Z: Grid application monitoring and debugging using the mercury monitoring system., Advances in Grid Computing - EGC 2005, volume 3470 of Lecture Notes in Computer Science, pp. 193-199. 2005., 2005
Kovács J.:: Making PVM applications checkpointable for the Grid, MicroCAD’2005 International computer science conference. Miskolc, 2005. Miskolc, Miskolci Egyetem, 2005, pp. 223-228., 2005
Gombás G.: Grid monitoring, 5th International Conference of PhD Students Engineering Sciences II, University of Miskolc, Innovation and Technology Transfer Centre, 2005. pp. 49-54., 2005
Lovas R., Lagzi I., Kacsuk P., Turányi T.: Grid alkalmazások: légszennyezés előrejelzési esettanulmány, Informatika Korszerű Technikái Konferencia, Dunaújváros, 2005. november 23. CD., 2005
Kacsuk P., Podhorszki N., SIPOS G.: Skálázható Desktop Grid Rendszer, Informatika a felsooktatásban, IF2005, Debrecen, 2005. Debrecen. CDROM. abstract in proceedings: p. 89, 2005
Kacsuk P., Podhorszki N.: A HunGrid Virtuális Szervezet az Intézményi Erőforrások Országos Összefogására., Informatika a felsőoktatásban, IF2005, Debrecen,, 2005
Podhorszki N., Vida G.: Alkalmazói programozási felület SETI-jellegu elosztott programokhoz és végrehajtó rendszer a BOINC infrastruktúrára., Networkshop 2005, Szeged. NIIF, 2005. CDROM http://nws.iif.hu/ncd2005, 2005
Kacsuk P., Sipos G.: Multi-Grid, Multi-User Workflows in the P-GRADE Grid Portal, Journal of Grid Computing, Vol. 3, No. 3, 2005
Németh Zs., Sunderam V.:: Virtualization in Grids: A Semantical Approach, J.C. Cunha and O.F. Rana (eds.): Grid Computing: Software Environments and Tools. Springer, 2005,, 2005
P. Kacsuk, A. Goyeneche, T. Delaittre, T. Kiss, Z. Farkas, T. Boczko: High-level Grid Application Environment to Use Legacy Codes as OGSA Grid Services, ERCIM News, No. 59, October 2004, 2004



Back »