Design of Distributed and Self-organizing IT Systems  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
121201
Type PD
Principal investigator Toka, László
Title in Hungarian Elosztott és önszerveződő informatikai rendszerek tervezése
Title in English Design of Distributed and Self-organizing IT Systems
Keywords in Hungarian távközlés, informatika, elosztott rendszer, felhő, hálózat, játékelmélet
Keywords in English telecommunications, computer science, distributed system, cloud, network, game theory
Discipline
Telecommunication (Council of Physical Sciences)100 %
Ortelius classification: Telecommunications engineering
Panel Informatics and Electrical Engineering
Department or equivalent HUN-REN-MBE Infomaton Systems Research Group (Office for Research Groups Attached to Universities and Other Institutions)
Starting date 2016-10-01
Closing date 2019-09-30
Funding (in million HUF) 15.090
FTE (full time equivalent) 2.10
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A kutatási projekt olyan elosztott IT rendszerek kezelési kérdéseinek vizsgálatát célozza, amelyekben önző autonóm résztvevők vannak jelen és közöttük korlátozott magán- és/vagy közerőforrások kiosztására van szükség. A célunk ezen rendszerek modellezése és olyan ösztönző keretrendszerek kidolgozása, amelyek megfelelnek a különböző alkalmazások különleges jellemzőinek, továbbá amelyek teljesítik a jól ismert erőforrás-kiosztási követelményeket, pl., méltányosság és stabilitás. A sztochasztikus játékelméleti modellezésen túl, terveink szerint, párosításelméletet fogunk alkalmazni, ami valószínűleg fontos újszerű megfigyelésekhez fog vezetni. A párosításelméleti megközelítésünk akár egy új paradigmává nőhet az elosztott rendszerek modellezésében. Továbbá tervezzük még, hogy a jelenleg árverés-alapú ösztönző keretrendszerek helyett elosztott tervezésű mechanizmusokat javaslunk, amelyekre a párosításelméleti modellünk tökéletesen illik majd. A kapcsolódó elméleti fogalmak, mint például az optimális kiosztás, egyensúly létezése, az anarchia és a stabilitás ára mellett olyan gyakorlatiasabb kérdésekkel is foglalkozunk, amelyek az elosztott rendszerek implementációival kapcsolatosan felmerülnek. Ebben az értelemben alapvető megvalósítási kérdéseket vizsgálunk és elosztott optimalizálási algoritmusokat tervezünk. A projekt végére teljes értékű elméleti menedzsment keretrendszert állítunk fel számos meghatározott felhasználású elosztott rendszerre, pl. a dolgok internetének területén, nagy kapacitású elosztott számítási rendszerekre és adatközpontokra, internetszolgáltatók föderális összefogásában megvalósítandó alkalmazásokra.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
Elosztott rendszerek tervezésekor fontos az erőforrások és igények összehangolása, ráadásul a rendszer önálló szereplőinek várható viselkedéséből levezetve. Gyakran azonban nem könnyű meghatározni a felhasználók költségeit és hasznait, ami szükséges lenne az optimális forráselosztás kiszámításához. További kérdés az ösztönzés megvalósítása: a legelterjedtebb ösztönző mechanizmusok a barter-alapú megoldások, az árverések, a hírnév és a büntető politikákat alkalmazó rendszerek. A megfelelő erőforrásértékelés és ösztönzés a kutatás első alapkérdése újszerű rendszerekben (pl. dolgok internete, adatközpontok, internet szolgáltatások).
A második kérdéskör az alkalmazandó modellezési módszertan. Ösztönző mechanizmusokkal kapcsolatos kutatásokban a leginkább alkalmazott elméleti keretrendszer a játékelmélet, ugyanis az elosztott rendszerek résztvevői gazdasági szempontból önző módon viselkednek, és a racionális stratégiáikat, azaz felhasználói/szolgáltatói magatartásukat úgy választják meg, hogy a lehető legtöbb vizet hajtsák a saját malmukra a rendszerben való részvételük alatt. A játékelmélet pedig éppen az ilyesfajta viselkedést próbálja megragadni matematikailag olyan helyzetekben, amikor az egyén sikere attól függ, hogy mások milyen döntéseket hoznak mellette. Amíg a játékelmélet ideális keretrendszer az elosztott rendszerek szereplőinek leírására, pl. az egyéni preferenciák, stratégiák, költségek és hasznok modellezésére és az analitikai vizsgálatokra, pl. legjobb válaszstratégiák, domináns stratégiák, a Nash-egyensúly és a Pareto-optimális egyensúly létezése, párosításelmélettel kiegészítve a modelleket hasznos eszközt kapunk a gyakorlati megvalósításhoz.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
Az elért eredmények új távlatot nyitnak meg az alapkutatásban az elosztott rendszerek gazdasági modellezésében, ugyanis a sztochasztikus játékelmélet és a párosításelmélet együttes alkalmazása újszerűnek tekinthető, és az előzetes eredmények alapján sok előnnyel jár. A sztochasztikus játékelmélet időbeli kiterjedése és a véletlenszerű környezeti befolyásoló tényezők figyelembe vétele miatt jó leírója a gyakorlati világnak. A párosításelmélet nyújtotta kombinatorikus optimalizálás pedig kézzelfogható iránymutatást nyújt a gyakorlati implementálásban. A két modellezési megközelítés együttes alkalmazása tovább erősíti az egyéni előnyeiket.
Az eredmények társadalmi hasznosíthatósága kézzel fogható lesz a projekt végére, hisz az elméleti modellezés megteremti a tudományos alapját a kiválasztott rendszerek tervezésének, ezzel megkönnyíti a gyakorlati megvalósításukat. A projekt végső célja újszerű elosztott IT rendszerek gazdasági modellezése és implementálása. A tervek szerint erőforráselosztásos keretrendszer születik a dolgok internetének alkalmazásaihoz, adatközpontokhoz, és internetszolgáltatók összefogásában megvalósítandó internetes szolgáltatásokhoz.
A megpályázott kutatási területen lévő hazai és a nemzetközi versenytársakhoz képest a pályázat egyediségei és erősségei elsősorban a kutatási módszertanok megválasztásában rejlenek, illetve az azokhoz köthető tudás és tapasztalat kimagasló szintjéhez. Mind a játékelmélet, mind a párosításelmélet alkalmazása gazdasági modellezéshez műszaki kutatásokban interdiszciplináris területnek számít, de a projekt résztvevőinek ebben nagy gyakorlata van. Az alkalmazási területet tekintve a fent említett elosztott rendszerekkel kapcsolatban a kutatói társadalom az újszerűségük miatt egyelőre a technikai megoldásokkal foglalkozik, ezért időszerű és szükséges a gazdasági kérdésekkel is bővebben foglalkozni. A kutatást befogadó hely egyike a hazai kimagasló tudásközpontoknak ezeken a műszaki területeken.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
Napjainkban egyre több infokommunikációs szolgáltatás és alkalmazás épül komplex, elosztott és heterogén rendszerekre. Miközben ezek a gyakran önszerveződő rendszerek műszaki szempontokból nagyban különböznek, a gazdasági ösztönző problémáik hasonlóak: a heterogén rendszert alkotó önző autonóm résztvevők között a korlátozott közös- vagy magánforrások igazságos elosztása nehézkes. Minden résztvevő érzékeny a kapott szolgáltatás minőségére, amely általában a felhasznált erőforrások mennyisége és minősége növelésével emelhető, ugyanakkor minden szolgáltatót, azaz erőforrásmegosztót, jól felfogott gazdasági szempontok vezetnek. Ezért a rendszer működőképességének fenntarthatósága érdekében egy megfelelően megtervezett erőforráselosztási mechanizmust kell alkalmazni. Ösztönzőket kell bevezetni már a rendszer tervezésének fázisában, hogy majd a résztvevők önző viselkedése előre hajtsa a rendszer működését, ne pedig gátolja azt. A megfelelően kialakított ösztönző mechanizmusok figyelembe veszik a résztvevők preferenciáit, és olyan szabályokat fektetnek le, amelyek mentén játszva a résztvevők emelik a rendszer gazdasági hatékonyságát, adott esetben pl. a társadalmi jólétet. Az erőforrások (energia, sávszélesség, tárolókapacitás, processzor használat, médiatartalom, pénz, stb.) értékelése mellett az elosztott rendszer gazdasági modellezése kihívásokkal teli, ráadásul különböző műszaki részletek akadályozzák az alkalmazni kívánt ösztönző mechanizmusokat. A projekt célja a ma terjedőben lévő újszerű elosztott rendszerekre (pl. dolgok internete, adatközpontok, internet szolgáltatások) ilyen modellek és ösztönző rendszerek kidolgozása.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.
The research project aims to examine issues of management of distributed systems in which autonomous and selfish participants are present and the allocation of limited private and/or public resources is required among them. Our goal is to model such systems and to develop resource allocation frameworks that meet the specific characteristics of different use cases, as well as satisfy the well-known requirements of resource allocation, i.e., fairness and stability, by using incentive mechanisms. Besides the abstract modeling with stochastic game theory, according to our plans we will use matching theory which will probably lead to important new observations. The matching theoretical approach could turn out to be a new modeling paradigm for distributed systems. In addition, we plan to substitute the actual auction-based frameworks with distributed design, to which matching theoretical models are a perfect fit. Besides the related theoretical concepts, such as optimal allocation, the existence of equilibria, the price of anarchy and the price of stability we will deal with practical issues of distributed systems that arise in the phase of implementation. In this sense, we plan to design, implement and test essential elements of distributed systems, e.g., distributed optimization algorithms. By the end of the project we deliver a number of complete theoretical management frameworks for specific-purpose distributed systems, e.g., in the field of internet of things, big data computing infrastructures and data centers, applications offered by federative systems of internet service providers.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
Throughout designing distributed systems it is important to plan the orchestration of resources and demands, derived from the expected behavior of independent participants of the system. Often, however, it is not easy to determine the costs and benefits of these participants, which would be needed to calculate the optimal allocation of resources. A further question is around the implementation of incentives: the most common incentive mechanisms are barter-based solutions, auctions, reputation and penalty-based systems. The appropriate resource valuation and incentive mechanism of novel distributed systems (e.g., Internet of Things, data centers, internet services) are the first basic question of the research.
The second question is around the methodology to be applied in modeling. In research on incentive mechanisms game theory is the most widely used theoretical framework, as participants in distributed systems economically behave selfishly and apply rational strategies, i.e., users/providers choose their way of conduct so that they gain the most when participating in the system. Game theory attempts to mathematically capture precisely this kind of behavior in situations where an individual's success depends on what others choose to do. Game theory is the ideal framework to describe participants of distributed systems: modeling e.g., individual preferences, strategies, costs and benefits, and analyzing, e.g., best response strategies, dominant strategies, existence of Nash equilibrium and Pareto optimal equilibrium. Extending it with matching theoretical models can be useful to get tools for the practical implementation.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
The results open up new perspectives in basic research into the economic modeling of distributed systems, since the combined use of stochastic game theory and matching theory can be considered as novel and, based on the preliminary results, as beneficial. Since stochastic game theory takes into account the extent of time and the random environmental factors that influence the game, it is a good descriptor of the real world. Matching theory offers the combinatorial optimization and thus provides solid basis for practical implementation. The combination of the two modeling approaches will further strengthen their individual advantages.
Effective social exploitation of the results will be available by the end of the project, because the theoretical modeling provides the scientific basis for the design of selected system(s), and it helps to facilitate their practical implementation. The ultimate goal of the project is economic modeling and implementation of novel distributed IT systems. According to plans, resource allocation frameworks will be produced for Internet of Things applications, for data centers, and for online services to be implemented in collaboration of ISPs.
The proposal’s uniqueness and strengths, compared to the domestic and international competitors in the proposed research area, lie within the choice of research methodology, as well as in the high level of competence thereof. The economic modeling of systems by both game theory and matching theory in the technological application domain is regarded as an interdisciplinary research area, but the project participants have great experience therein. In terms of the application domain, due to their novelty the research community is still dealing with the technical solutions of the distributed systems mentioned above, therefore it is timely and necessary to address economic issues more. The accommodating research group is one of the outstanding domestic knowledge centers in these technological domains.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
Today, a growing number of ICT services and applications are based on complex, distributed and heterogeneous systems. While the technical aspects of these self-organizing systems often differ greatly, they face similar problems in terms of economic incentives: the fair distribution of limited public and private resources is difficult among the selfish autonomous participants of the heterogeneous system. All participants are sensitive to the quality of service received which normally can be increased by increasing the quantity and quality of resources used, but this opposes the economic considerations of each provider that shares its resources. Therefore, in order to ensure the viability and sustainability of the system, a well-designed resource allocation mechanism should be in place. Incentives should be introduced already in the system design phase that will turn the selfish behavior of participants for the advantage of the operation of the system, rather than inhibit it. A properly designed incentive mechanism takes into account the preferences of the participants and lays down rules by playing along which participants raise the economic efficiency of the system, i.e., the social welfare. In addition to the difficulty of evaluation of resources (energy, bandwidth, storage, processor usage, media content, money, etc.), the economic modeling of distributed systems is also challenging due to various technical details that interfere with the incentive mechanisms to be applied. The aim of the project is to develop such models and incentive systems for today’s new distributed systems, e.g., Internet of Things, data centers, federated internet services.




 

Final report

  
Results in Hungarian
Napjainkban egyre több infokommunikációs szolgáltatás és alkalmazás épül komplex, elosztott és heterogén rendszerekre. Miközben ezek a gyakran önszerveződő rendszerek műszaki szempontokból nagyban különböznek, a gazdasági ösztönző problémáik hasonlóak: a heterogén rendszert alkotó önző autonóm résztvevők között a korlátozott közös- vagy magánforrások igazságos elosztása nehézkes. Minden résztvevő érzékeny a kapott szolgáltatás minőségére, amely általában a felhasznált erőforrások mennyisége és minősége növelésével emelhető, ugyanakkor minden szolgáltatót, azaz erőforrásmegosztót, jól felfogott gazdasági szempontok vezetnek. Ezért a rendszer működőképességének fenntarthatósága érdekében egy megfelelően megtervezett erőforráselosztási mechanizmust kell alkalmazni. Ösztönzőket kell bevezetni már a rendszer tervezésének fázisában, hogy majd a résztvevők önző viselkedése előre hajtsa a rendszer működését, ne pedig gátolja azt. A projektben a ma terjedőben lévő újszerű elosztott rendszerekre (dolgok internete, adatközpontok, internet szolgáltatások) történt ilyen erőforráselosztási modellek és ösztönző rendszerek kidolgozása, illetve megvalósítása.
Results in English
Today, a growing number of ICT services and applications are based on complex, distributed and heterogeneous systems. While the technical aspects of these self-organizing systems often differ greatly, they face similar problems in terms of economic incentives: the fair distribution of limited public and private resources is difficult among the selfish autonomous participants of the heterogeneous system. All participants are sensitive to the quality of service received which normally can be increased by increasing the quantity and quality of resources used, but this opposes the economic considerations of each provider that shares its resources. Therefore, in order to ensure the viability and sustainability of the system, a well-designed resource allocation mechanism should be in place. Incentives should be introduced already in the system design phase that will turn the selfish behavior of participants for the advantage of the operation of the system, rather than inhibit it. In the project such models and incentive systems were designed and implemented for today’s new distributed systems, e.g., Internet of Things, data centers, federated internet services.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=121201
Decision
Yes





 

List of publications

  
Haja David, Szalay Mark, Sonkoly Balazs, Pongracz Gergely, Toka Laszlo: Sharpening Kubernetes for the Edge, In: Proceedings of the ACM SIGCOMM 2019 Conference, (2019) pp. 136-137., 2019
David Haja, Balazs Vass, Laszlo Toka: Towards making big data applications network-aware in edge-cloud systems, In: Proceedings of 8th IEEE International Conference on Cloud Networking (IEEE CloudNet 2019), (2019), 2019
Gergely Dobreff, Alija Pašić, Balazs Sonkoly, Laszlo Toka: The formation game in football, In: Proceedings of ECML PKDD 2019, 6th Workshop on Machine Learning and Data Mining for Sports Analytics, (2019) p. 1., 2019
Laszlo Toka, Barnabas Gema, Balazs Sonkoly: A stable matching method for cloud scheduling, In: Proceedings of 8th IEEE International Conference on Cloud Networking (IEEE CloudNet 2019), (2019) p. 1., 2019
Márk Szalay, David Haja, János Dóka, Balázs Sonkoly, Laszlo Toka: Turning OpenStack into a Fog Orchestrator, In: 38th IEEE International Conference on Computer Communications (INFOCOM), IEEE Communications Society (2019) Szalay at al, 2019
Csoma A, Gulyas A, Toka L: On Measuring the Geographic Diversity of Internet Routes, IEEE COMMUN MAG 55: (5) 192-197, 2017
Gergely Biczók, Manos Dramitinos, Håkon Lønsethagen, Luis M Contreras, George D Stamoulis, Laszlo Toka: Towards multi-operator IPTV services over 5G networks, In: Al-Sakib Khan Pathan, Suliman Mohamed Fati, Saiful Azad (szerk.) (szerk.) A Comprehensive Guide to IPTV Delivery Networks. New York: Wiley, 2017. pp. ., 2017
Gergely Biczok, Manos Dramitinos, Laszlo Toka, Poul E Heegaard, Hakon Lonsethagen: Manufactured by software: SDN-enabled multi-operator composite services with the 5G Exchange, IEEE COMMUN MAG 55: (4) 80-86, 2017
Guerzoni R, Vaishnavi I, Perez Caparros D, Galis A, Tusa F, Monti P, Sganbelluri A, Biczók G, Sonkoly B, Toka L, Ramos A, Melián J, Dugeon O, Cugini F, Martini B, Iovanna P, Giuliani G, Figueiredo R, Contreras-Murillo L M, Bernardos C J, Santana C, Szabo R: Analysis of end-to-end multi-domain management and orchestration frameworks for software defined infrastructures: an architectural survey, T EMERG TELECOMMUN T 28: (4) , 2017
Laszlo Toka, Balazs Lajtha, Eva Hosszu, Bence Formanek, Daniel Gehberger, Janos Tapolcai: A Resource-Aware and Time-Critical IoT Framework, In: Poceedings of the 2017 IEEE INFOCOM, IEEE International Conference on Computer Communications . Atlanta, Amerikai Egyesült Államok, 2017.05.01-2017.05.04. Kiadvány: IEEE Communications Society, 2017. pp. 1-9., 2017
Márk Szalay, László Toka, Gábor Rétvári, Gergely Pongrácz, Levente Csikor, Dimitrios P Pezaros: HARMLESS: Cost-Effective Transitioning to SDN, In: Jeff Burke, Matthias Wählisch, Nicholas Zhang, David Meyer, Puneet Sharma (szerk.) (szerk.) SIGCOMM Posters and Demos '17: Proceedings of the SIGCOMM Posters and Demos. New York: ACM Press, 2017. pp. 91-93., 2017
Szabó Márton, Majdán András, Pongrácz Gergely, Toka László, Sonkoly Balázs: Making the Data Plane Ready for NFV: An Effective Way of Handling Resources, In: Jeff Burke, Matthias Wählisch, Nicholas Zhang, David Meyer, Puneet Sharma (szerk.) (szerk.) SIGCOMM Posters and Demos '17: Proceedings of the SIGCOMM Posters and Demos. New York: ACM Press, 2017. pp. 96-99., 2017
Poul E Heegaard, Gergely Biczok, Laszlo Toka: Sharing is Power: Incentives for Information Exchange in Multi-Operator Service Delivery, In: anon (szerk.) (szerk.) Global Communications Conference (GLOBECOM), 2016 IEEE. New York: IEEE Press, 2016. pp. ., 2016
L Csikor, L Toka, M Szalay, G Pongrácz, DP Pezaros, G Rétvári: HARMLESS: Cost-Effective Transitioning to SDN for Small Enterprises, Proceedings of IFIP Networking, 2018
Luis M Contreras, Víctor López, Ricard Vilalta, Ramon Casellas, Raúl Muñoz, Wei Jiang, Hans Schotten, Jose Alcaraz‐Calero, Qi Wang, Balázs Sonkoly, László Toka: Network Management and Orchestration, 5G System Design: Architectural and Functional Considerations and Long Term Research, 2018
Balázs Németh, Mark Szalay, Janos Doka, Matthias Rost, Stefan Schmid, László Toka, Balázs Sonkoly: Fast and efficient network service embedding method with adaptive offloading to the edge, IEEE INFOCOM 2018-IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS), 2018
David Haja, Marton Szabo, Mark Szalay, Adam Nagy, Andras Kern, Laszlo Toka, Balazs Sonkoly: How to orchestrate a distributed OpenStack, IEEE INFOCOM 2018-IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS), 2018
Gergely Biczók, Manos Dramitinos, Håkon Lønsethagen, Luis M Contreras, George D Stamoulis, Laszlo Toka: Towards Multi‐Operator IPTV Services Over 5G Networks, IPTV Delivery Networks: Next Generation Architectures for Live and Video‐on‐Demand Services, 2018
I Vaishnavi, J Czentye, M Gharbaoui, G Giuliani, D Haja, J Harmatos, D Jocha, J Kim, B Martini, J MeMn, P Monti, B Nemeth, Wint Yi Poe, A Ramos, A Sgambelluria, B Sonkoly, L Toka, F Tusa, CJ Bernardos, R Szabo: Realizing services and slices across multiple operator domains, NOMS 2018-2018 IEEE/IFIP Network Operations and Management Symposium, 2018
Mate Cserep, Akos Recse, Robert Szabo, Laszlo Toka: Business network formation among 5G providers, IEEE INFOCOM 2018-IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS), 2018
Balázs Sonkoly, Márton Szabó, Balázs Németh, András Majdán, Gergely Pongrácz, László Toka: FERO: Fast and Efficient Resource Orchestrator for a Data Plane Built on Docker and DPDK, INFOCOM: Poceedings of the 2018 IEEE International Conference on Computer Communications, 2018
Laszlo Toka, Janos Tapolcai, Geroge Darzanos, Balazs Sonkoly: On Pricing of 5G Services, Proceedings of 2017 IEEE Global Communications Conference (GLOBECOM), 2017



Back »