Information dynamics of cooperative stochastic networks - design and analysis  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
121107
Type PD
Principal investigator Gerencsér, Balázs
Title in Hungarian Információterjedés együttműködő sztochasztikus hálózatokon - tervezés és vizsgálat
Title in English Information dynamics of cooperative stochastic networks - design and analysis
Keywords in Hungarian sztochasztikus hálózatok, információgyűjtés, csatorna korlátozások
Keywords in English stochastic networks, information aggregation, channel constraints
Discipline
Mathematics (Council of Physical Sciences)100 %
Ortelius classification: Probability theory
Panel Mathematics and Computing Science
Department or equivalent Alfréd Rényi Institute of Mathematics
Starting date 2016-10-01
Closing date 2019-09-30
Funding (in million HUF) 15.090
FTE (full time equivalent) 2.10
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.

A kutatás középpontjában olyan algoritmusok állnak, amelyek egy gráf csúcsain megjelenő kezdeti értékek átlagának számítását végzik. Ezt a világos matematikai problémát számos alkalmazási terület motiválja, pl. szenzor hálózatok, telekommunikáció, pénzügyi hálózatok illetve konszenzus kialakítás.

A kiindulási alap ezeknek az az algoritmusoknak a Markov-láncos interpretációja, ahol az utóbbi keverési ideje az átlagolás sebességének felel meg. Több korábbi meglepő eredmény alapján indokoltnak tűnik, hogy kilépjünk a kényelmesen kezelhető, erős szimmetriával rendelkező reverzibilis Markov-láncok világából. Vannak olyan konkrét hálózatok, ahol a keverési idő gyorsulására vonatkozó, empirikusan tesztelt sejtést kell bizonyítani. Másrészt keresünk olyan új konstrukciókat, amelyek kivezetnek a reverzibilis lehetőségek világából, ugyanakkor keverés szempontjából jobban teljesítenek.

További cél kommunikációs csatornákat jellemző egyéb feltételek kezelésére új algoritmusok kidolgozása és vizsgálata. Speciálisan aszinkron csatornák esetén az ún. push-sum algoritmus megoldást nyújt, amelynek konvergenciája bizonyított. Új kihívás az algoritmus konvergenciájának a vizsgálata akkor, amikor csomagvesztés is várható. Amennyiben a kommunikációt zaj terheli, hibatűrő megoldásokat kell kidolgozni.
Az átlagoló struktúrák explicit konstruálása mellett önszerveződő hálózatok kezelése is a kutatási céljaink közé tartozik. Átlagoló eljárások online/adaptív kialakítása önmagában is izgalmas kihívás. Jelen projektben azt vizsgáljuk, hogy kommunikációs korlátok mellett ezt hogyan lehet hatékonyan megvalósítani.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.

A kutatás fő témája különböző forrásokból származó információk összegzése, átlagolása, aggregálása esetleg extrapolálása. A tudomány világában általánosan elterjedt és letisztult vélemény, hogy erre elosztott megoldást kell találni, ahol nem egyetlen központ irányításán és számítási kapacitásán múlik a működés, hanem az lokális kommunikáció és együttműködés segítségével zajlik.
A kutatás alapvető célja ennek a koncepciónak a hatékony megvalósítása úgy, hogy a kommunikációs csatornák korlátait (csomagvesztés, zajos adatok, aszinkron csomagkezelés) is figyelembe vesszük.

Ez a cél a követező alapkérdésekben fogható meg:
Egy standard átlagoló algoritmus megfeleltethető egy Markov láncnak. Mit nyerhetünk hatékonyságban, ha elengedjük a szimmetria standard, technikai elemzés szempontjából kényelmes feltevését?
Egy aszinkron kommunikációs hálózatban az ún. push-sum algoritmus megvalósítja az átlagolást. Milyen hiba várható, ha csomagvesztések is történhetnek? Mit tudunk módosítani az algoritmuson, hogy a csomagvesztés jelenségét jobban kezelje?
Mit tegyünk, ha a kommunikációt zaj terheli, de hibatűrő megoldást szeretnénk?
Hogyan tudjuk előzetes, külsőleg meghatározott paraméterek használata helyett a hálózatban önszerveződő módon kialakítani az átlagolás folyamatát?

A kutatás során ezen kérdések matematikai vetületével foglalkozunk. Pontosan megfogalmazott tételek segítségével olyan eredményekre jutunk, amik biztos alapként szolgálhatnak későbbi algoritmusok kidolgozásához. Ezt kiegészítik experimentális/szimulációs vizsgálatok, amelyekkel megbízható sejtéseket tudunk megfogalmazni, illetve amelyek segítik a későbbi kutatások irányvonalát kijelölni.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!

Az alapkutatások tekintetében az egyik lényeges szempont a nem-reverzibilis Markov-láncok kezelhetőségében tervezett előrelépés. A keverési hatékonyság szempontjából ez egy ígéretes folyamatosztály, ahol még további elméleti eszközök kiépítésére van szükség. Az elméleti és kísérleti eredményektől azt is várjuk, hogy figyelemfelkeltő hatása lesz, és ezek a lehetőségek beépülnek új algoritmusok/folyamatok osztályába. A kutatás várható eredménye lesz továbbá számos algoritmus új variánsának megalkotása, amik bővítik a kutatók eszközkészletét, így az újonnan vizsgált hálózati problémákra precízebben illesztett megoldásokat tudnak választani.

A kutatási tervben kifejtett módon a vizsgált témák részét képezik több, jelenleg is aktív hálózat kialakításának (szenzorhálózatok, okosvárosok). Mindezek működésének egy fontos eleme a hálózat pontjain elérhető adatok összesítése az éppen adott kommunikációs lehetőségek szerint. A kutatás során hatékonyabb és pontosabb algoritmusokat keresünk erre az elosztott átlagolási feladatra. Az itt elért felfedezések visszacsatolva a kérdéseket motiváló rendszerekbe jelentős előrelépést jelenthetnek azok megbízható és hatékony működésében.

A projekt egyediségét az adja, hogy hidat teremt itthon már futó kutatási tevékenységek között. Számos mérnöki csoport foglalkozik kommunikációs hálózatokkal, ezekhez jól illeszkedik egy kapcsolódó, precízen véghezvitt matematikai kutatás. Másfelől, erős valószínűségszámítással foglalkozó csoportok számára értékes lehet, ha az alkalmazásokból közvetlenül adódó kérdések kerülnek fel a kutatási palettára.

A pályázat erőssége abban áll, hogy a kutató matematikai képzettségét és számítógépes jártasságát hatékonyan tudja ötvözni a felvetett témák kutatására, ügyelve arra is, hogy szem elől ne tévessze az eredetileg kitűzött kérdést. Az erős nemzetközi kapcsolatok (UCL, MIT) lehetővé teszik, hogy a kutató folyamatosan tájékozott legyen a tematikával kapcsolatban történő fejleményekkel.

A kutatási kérdések aktualitását és relevanciáját már az is igazolja, hogy egy részüket olyan fajsúlyú kutatók, mint Asuman Ozdaglar (MIT) illetve Itai Benjamini (Weizmann Institute) javasolták.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.

A kutatás központjában olyan témával foglalkozunk, ami mind gyakrabban előbukkan például szenzorhálózatok, pénzügyi rendszerek, "okos városok" témakörében. Az ismétlődő feladat a következő: sok, különböző helyről származó adatot kell a hálózatnak összesítenie. Ennek a feladatnak a kezelésénél kritikust szempont a hatékony és a kommunikációs problémákra nézve hibatűrő megoldás meghatározása.

A hatékonyság céljából továbblépünk az elterjedt, szimmetrikus sémákhoz képest, amelyek viselkedését és korlátait már jól ismerjük. Az aszimmetrikus megoldásokat ugyan kevésbé értjük, szimulációk már sejtetik, hogy lényegesen gyorsabb módszerek várhatóak, és érdemes ezeket jobban megvizsgálni.

A hibatűrés céljából kezelni fogjuk a pontatlan mérések, rosszul időzített vagy elveszett üzenetek lehetőségét. Számos, már létező algoritmusnál nem ismert annak hatása, ha ilyen hibák bekövetkeznek. Ezek megértésén túl szeretnénk az ismert módszereket továbbfejleszteni, hogy pontosságban és hatékonyságban előnyösebbek legyenek ilyen valós helyzetekben való alkalmazásra.

Elképzelhető egy hálózatban, hogy nem tudjuk előre meghatározni ennek az információkat összesítő folyamatnak a paramétereit. Erre az esetre foglalkozunk olyan megoldásokkal, ahol a szereplők maguk tudják beállítani ezeket a változókat. Megvizsgáljuk, hogy ezek a lehetőségek hatékonyságban és hibatűrésben hogyan teljesítenek, és hogyan viszonyulnak az előző esetekhez, ahol a folyamat explicit volt meghatározva.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.

The central theme of the research is about algorithms which compute the average of initial values appearing on the nodes of a graph. This is a well defined mathematical problem, which in turn is motivated by several applications, including sensor networks, telecommunication, financial networks, or consensus seeking.

The starting point is interpreting Markov-chains, where the mixing time quantifies the efficiency of this averaging. We plan to leave the comfortable domain of reversible Markov-chains with strongly symmetric structure, to design promising and more effective variants. There are specific cases where the conjecture of speedup is already tested, and the analytic proof is to be found. In other cases, starting from a reversible Markov-chain, we want to find modified versions which might not be reversible any more, but in terms of the initial goal, mixing efficiency, perform better.

A further goal is the treatment of communication constraints. The so-called push-sum algorithm is designed to tackle the issue of asynchronous communications. We analyze this algorithm when packet drops are also expected to happen. Afterwards, we plan to improve the algorithm to handle this constraint by itself.
If communication noise is present, it is necessary to find robust solutions. Our aim is to prove stability for this case and to construct more general algorithms based on the available ones.

Not only we want to treat the cases where an explicit construction is possible, but also to include the option of self-organizing networks. Setting up the averaging process online is challenging by itself, we now want to incorporate the communication constraints mentioned above.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.

The main theme of the research is the integration of information from several sources. It is already standard in research communities to handle such situations using distributed methods, where the solution does not depend on a single central entity, but is solved using local communication and cooperation.

The principal goal of the research is to realize this in an efficient way, also in the presence of communication constraints (packet drops, noise, asynchronous communication).

This goal can be phrased by the following questions:
A standard averaging algorithm can be interpreted as a Markov-chain. What can we gain in terms of efficiency if we allow to drop the symmetry restriction of reversibility?
In an asynchronous communication network the push-sum algorithm performs the averaging. What error do we expect when packet drops are also possible? How can we modify the algorithm to handle this restriction by itself?
What can we do in the presence of communication noise but when we need a robust algorithm?
Instead of externally setting the parameters of the averaging algorithm, how can we ensure this calibration to happen in a distributed manner?

In the research we focus on the mathematical aspects of the questions mentioned. We hope that the precisely stated theorems and analytic proofs provide results that can serve as a starting point for further research. This is complemented by experimental and simulation work which help to phrase reasonable conjectures and serve as a lead for future research directions.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.

In the view of fundamental research one of the key aspects is the development of tools to handle non-reversible Markov-chains. For mixing efficiency, this is a promising class, where it is still important to improve the theoretical tools. We also expect to raise awareness, both by the proofs and also by the convincing simulations, so that this class becomes the part of the routinely used tool-set. The research also produces several variants of existing algorithms, to extend the possibilities of fellow researchers when tailoring them for other problems related to network studies.

As detailed in the research plan, the problems studies are present in multiple networks active today (sensor networks, smart cities, etc.) An important step during their operation is the aggregation of data present at different nodes of the network, using the communication channel available. In the research project we seek for more efficient and more precise algorithms for the task of distributed averaging. After all, the results obtained can be implemented in the motivating applications to let them advance in terms of reliability and usability.

The special feature of the project is the connection it induces between research activities already present in Hungary. Multiple engineering groups put considerable effort on network research, where fundamental mathematical research activity can be an important supplement. On the other hand, strong probability theory groups might benefit if problems directly motivated by applications are included in their research activity.

The strength of the research project is due to the researcher being able to use both his mathematical qualifications and computer skills to tackle the problems proposed, while making sure not to lose track of the original topics. Strong international connections (UCL, MIT) make it possible to be up-to-date on the advances happening for the research topics.

The actuality and relevance of the research questions is justified knowing that some of them have been proposed by top researchers like Asuman Ozdaglar (MIT) and Itai Benjamini (Weizmann Institute).

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.

During this research we work on a topic that we face over and over again when treating sensor networks, financial networks, smart cities. The task is the following: given a collection of data from various points, it needs to be aggregated by the network. The critical aspect is to solve this in an efficient but also robust manner.

To improve efficiency, we need to step further from the usual symmetric schemes, which are already well understood. It is harder to deal with the asymmetric variants, but simulations already suggest that considerably faster methods are to be expected, and it is important to have a closer look.

For robustness, we plan to handle the possibilities of measurement noise, asynchronous communication or lost messages. For a number of existing algorithms, the effect of such constraints are not yet known. In addition to understanding these cases, we plan to improve these methods to make them more efficient and precise in these realistic situations.

It might be the case in a network that we cannot set up all the parameters externally and in advance. For this setting, we work on solutions where the nodes of the network can set these variables by themselves. We investigate the performance of such algorithms in terms of efficiency and robustness, and compare with the other methods treated before.





 

Final report

 
Results in Hungarian
A projekt fő témája információk összegyűjtési hatékonyságának javítása és mérése hálózatokon, melynek kiegészítő kérdése függetlenség kialakulásának megértése térben és időben. Az eredményeket potenciális alkalmazások tekintetében fogalmazzuk meg, ezek közt szerepel: - Szenzorhálózatok kommunikációjának optimalizálása a mért értékek elosztott átlagolására (konszenzus, push-sum algoritmus és változatai), hogy hatékonyan lefusson az algoritmus és megegyezésre jussanak a hálózat pontjai, minimalizálva az igazi átlagtól való eltérést is. - Mérési hibák kezelése követési távolságoknál jármű menetoszlop tartásához (robust konszenzus), belátva hogy a formáció stabilizálódik, meghatározva az idealizált, hiba nélküli helyzethez képest fellépő eltérést. - Nagy hálózatokon futó lokális algoritmusok kimenetének analízise a hálózat távoli pontjaiban (factor of iid folyamatok), leírva a szükségszerű aszimptotikus függetlenséget, amit a sok lokálisan jelentkező véletlenszerűség összekapcsolása hoz magával. - Pénzügyi idősorok memóriájának vizsgálata (Markov láncok véletlen környezetben), megmutatva az összefüggések lecsengését, melyet motivál a szükséges adathossz megállapítása, ami majd a pontos modell-illesztést lehetővé teszi.
Results in English
The central question of the project is quantifying and improving information aggregation on networks, the dual question being capturing the emergence of independence in time or space. Phrasing in terms of possible applications, results include: - Optimizing communication on a sensor network for distributed averaging of measurement values (consensus, push-sum algorithms and variants), to achieve agreement quickly and minimizing the error from the true average of the initial data. - Dealing with distance measurement errors for safe vehicle platoon formation (robust consensus), proving that a stable arrangement will be reached with bounds on suboptimality. - Analyzing the output of local algorithms on large networks at large distances (factor of iids), quantifying the asymptotic independence caused by the aggregation of small local noises. - Investigating the memory effects of financial time-series (Markov chains in random environments),showing their eventual decay, motivated by determining the necessary length in time for precise model fitting.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=121107
Decision
Yes





 

List of publications

 
Gerencsér B., Hendrickx J.M.: Improved Mixing Rates of Directed Cycles by Added Connection, JOURNAL OF THEORETICAL PROBABILITY 32: (2) pp. 684-701., 2019
Balázs Gerencsér: Analysis of a non-reversible Markov chain speedup by a single edge, arXiv:1905.03223, 2019
Balázs Gerencsér and László Gerencsér: Tight bounds on the convergence rate of generalized ratio consensus algorithms, arXiv:1901.11374, 2019
B Gerencsér, JM Hendrickx: Push sum with transmission failures, IEEE T AUTOMAT CONTR &: , 2018
Gerencser B., Hendrickx J.M.: Push-Sum with Transmission Failures, IEEE TRANSACTIONS ON AUTOMATIC CONTROL 64: (3) pp. 1019-1033., 2019
Balázs Gerencsér: Mixing time of an unaligned Gibbs sampler on the square, Stochastic Processes and their Applications, 129, pp. 3570-3584, 2019
Algo Carè, Balázs C. Csáji, Balázs Gerencsér, László Gerencsér, and Miklós Rásonyi: On the Poisson equation of parameter-dependent Markov chains, arXiv:1906.09464, 2019
Ágnes Backhausz, Balázs Gerencsér, and Viktor Harangi: Entropy inequalities for factors of IID, Groups, Geometry, and Dynamics, 2018
Balázs Gerencsér, Julien M. Hendrickx: Improved Mixing Rates of Directed Cycles by Added Connection, Journal of Theoretical Probability, 2018
Julien M. Hendrickx, Balázs Gerencsér, and Baris Fidan: Trajectory convergence from coordinate-wise decrease of quadratic energy functions, and applications to platoons, IEEE Control Systems Letters, 4, pp. 151-156., 2019
Balázs Gerencsér, Viktor Harangi: Too Acute to Be True: the Story of Acute Sets, American Mathematical Monthly (accepted), 2018
Balázs Gerencsér, Miklós Rásonyi: On the ergodicity of certain Markov chains in random environments, arXiv, 2018
Ágnes Backhausz, Balázs Gerencsér, and Viktor Harangi: Entropy inequalities for factors of IID, Groups, Geometry, and Dynamics, 13, pp. 389-414., 2019
GERENCSÉR B, HARANGI V: Mutual information decay for factors of i.i.d., ERGODIC THEORY AND DYNAMICAL SYSTEMS Published online: 29 April 2018: p. Published online: 29 April 2018., 2019
François Gonze, Vladimir V Gusev, Balázs Gerencsér, Raphaël M Jungers, Mikhail V Volkov: On the interplay between Babai and Černý’s conjectures, Developments in Language Theory, pp. 185-197, 2017
Gerencsér B, Harangi V: Acute Sets of Exponentially Optimal Size, DISCRETE AND COMPUTATIONAL GEOMETRY First Online: 19 March 2018: in press, 2019
Ágnes Backhausz, Balázs Gerencsér, Viktor Harangi, Máté Vizer: Correlation bound for distant parts of factor of IID processes, COMB PROBAB COMPUT &: &, 2017
Balázs Gerencsér, Viktor Harangi: Mutual information decay for factors of iid, ERGOD THEOR DYN SYST &: &, 2017
François Gonze, Vladimir V Gusev, Balázs Gerencsér, Raphaël M Jungers, Mikhail V Volkov: On the interplay between Babai and Černý’s conjectures, , 2017
Balázs Gerencsér, Viktor Harangi: Mutual information decay for factors of iid, ERGOD THEOR DYN SYST &: &, 2018
Balázs Gerencsér: Mixing time of an unaligned Gibbs sampler on the square, STOCH PROC APPL, 2018
Balázs Gerencsér, Viktor Harangi: The optimal exponential rate for acute sets, Discrete & Computational Geometry, 2018
Ágnes Backhausz, Balázs Gerencsér, Viktor Harangi, Máté Vizer: Correlation bound for distant parts of factor of IID processes, COMB PROBAB COMPUT 27: (1) pp. 1-20., 2018
Balázs Gerencsér: Mixing time of an unaligned Metropolis algorithm on the square, arXiv preprint, 2017
Balázs Gerencsér, Viktor Harangi: The optimal exponential rate for acute sets, Discrete & Computational Geometry (accepted), 2017




Back »