Finding Focus of Interest in freely configured sensor networks  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
106374
Type K
Principal investigator Szirányi, Tamás
Title in Hungarian Figyelmi fókuszterület megtalálása véletlen szenzor hálózatban
Title in English Finding Focus of Interest in freely configured sensor networks
Keywords in Hungarian gépi érzékelés, többnézetű kamerarendszerek, szenzor hálózatok, alakfelismerés, 3D scene rekonstrukció, gráf modellezés
Keywords in English machine pereception, multiview vision, sensor networks, pattern recognition, 3D helyszín rekonstrukció, graph structures
Discipline
Automation and Computer Science (Council of Physical Sciences)70 %
Ortelius classification: Automation
Information Technology (Council of Physical Sciences)30 %
Ortelius classification: Informatics
Panel Informatics and Electrical Engineering
Department or equivalent HUN-REN Institute for Computer Science and Control
Participants Kiss, Attila
Kovács, Levente
Maha, Shadaydeh
Manno-Kovács, Andrea
Varga, Domonkos
Starting date 2013-02-01
Closing date 2016-01-31
Funding (in million HUF) 32.994
FTE (full time equivalent) 4.88
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A projekt azt kívánja megmutatni, hogy a hálózatba szervezett szenzorokkal sűrűn ellátott környezetekben a környezeti információ begyűjtése és abból a modell készítése nem feltételezi aktív robotok használatát; sőt, elegendő, ha vannak olyan szenzoraink, amik eleve olyasmit figyelnek, ami arra érdemes, és ha ezt többen teszik és egy részük ugyanazt a területet/eseményt figyeli, akkor ott kell lenni valami fontosnak (FOI), amiről ezután modell, vagy részletes megfigyelés is készülhet.
A feladat azonban nem egyértelmű: mégha topológiailag a szenzorok közel is vannak, nem biztos, hogy ugyanazt figyelik/érzékelik; ha van egy kiemelt FOI, akkor azt hogyan lehet multimodális, sok-látószögű érzékeléssel érdemben leírni?
Mindeközben a megfigyelt FOI mozoghat is: ekkor a megfigyleő szenzorok dinamikusan cserélődnek, miközben lehet, hogy emögött nincsen központi szabályozás, hiszen éppen az a kérdés, van-e megfigyelni való, és azt mik látják?
Napjainkban a sűrű szenzorhálózatok fejlődése ténykérdés; kihasználásuk, modellezésük új tudományos kihívásokat jelent a gráfelmélet, gépi intelligencia, 3D modellezés, szenzor-fúzió, adatbáziskezelés, alakfelismerés területén.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
Virtuális csoportok keresése szenzorágens hálózatokban: ha feltételezzük, hogy az ágensek eleve keresik a fontosnak látszó és felismerhető dolgokat, akkor találjuk meg a figyelmi gócokat jelentő csoportokat tetszőleges érzékelőhálózatokban;
A figyelmi fókuszterület (FOI) megtalálása mint a szenzorok összehangolt, több modalitású érdeklődésének eredménye;
Az érzékelőhálózatok topológiájának kialakulása és fenntartása a FOI megfigyelése, esetleg követése során; speciális gráfstruktúrák és (ön)szerveződési elvek kidolgozása és felimerése.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
Napjainkban a sűrű szenzorhálózatok fejlődése ténykérdés; kihasználásuk, modellezésük új tudományos kihívásokat jelent a gráfelmélet, gépi intelligencia, 3D modellezés, szenzor-fúzió, adatbáziskezelés, alakfelismerés területén.
A szenzorhálózatok FOI alapú önszerveződése, ennek gráfelméleti modellezése, a dinamikusan változó (raj/swarm modell) szenzorágens csapatok virtuális összehangolása új technológiai és tudományos kihívás.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
Napjainkban a sűrű szenzorhálózatok fejlődése ténykérdés: körbevesznek bennünket, és annyi információ keletkezik, amivel már nem tudunk mit kezdeni. Ugyanakkor, egy aktív megfigyelési (pl. forgalom-irányítás) feladatban, vagy gyors beavatkozás (katasztrófa esetén) esetén szükség lenne minden információ kihasználására olyan módon, hogy a szenzor-egységek autonóm módon felfedezzék a fontosnak ítélt dolgokat, és összehangolt megfigyelés alapján szolgáltassanak elegendő információt az adott területről, anélkül, hogy központi kontrollal egyenként kellene ezeket vezérelni.

Ennek a feladatnak a megoldása új tudományos kihívásokat jelent a gráfelmélet, gépi intelligencia, 3D modellezés, szenzor-fúzió, adatbáziskezelés, alakfelismerés területén .
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.
Summary:
The project aims to show that finding cooperative structures in dense sensor networks may substitute conventional robot based exploration. This hypothesis follows the fact that in practice, the number of surrounding networked sensors increases very quickly.
These networks might comprise any number of virtual cores of the whole sensor set targeted towards some temporal focus of interest without any external (human) control. With these developments come new challenges, e.g. finding the coherence among different modalities and arbitrary distributions.
We propose a new solution for the exploration of autonomous sensor networks: instead of controlled robot agents, virtual cooperation is explored in large sensor networks to form temporary cooperation. Novel results are expected regarding the virtual cooperation among sensor swarm agents, in the topic of finding cores of attention in arbitrary sensor nets; also, new graph structures for describing geometrical directional connectedness of sensors will be researched. The exploration of possible sensor fields of interests (FOIs) can be done by finding hidden cooperated sensor structures where agents are neither able to identify each member in the group, nor are controlled by a leader.
The measured environment may change in time, and a different viewpoint of a given sensor may produce a set of features that are different from others originating from other arrangements, even if using the same modality.
Our main goal is to gain additional (semantic) information from sensor networks, characterizing their geometrical and statistical relations with the goal of increasing the effectiveness of their collaboration.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
1. Selecting virtual cooperative groups in the agent network focusing on real or virtual regions of interests; finding cores of attention in arbitrary sensor nets and exploring for hidden groups of virtually related agents;
2. Finding the focus of attention evolving as a coherent action of different sensors and cross-modal interactions;
3. Geometrical and information inference constraints for building the topology of the sensor network: developing new graph structures for describing geometrical (and/or geographical) directional connectedness of sensors, guided by region of interest areas.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
Progress towards dense sensor networks is a main challenge in the near future. Investigating their behaviour and developing new algorithms for high level fusion of the distributed information is an existing demand. With the dense sensor networks around us, the future is less about the actively controlled robots, but more about the definition of virtual cooperation and the formation of sensor clusters inside the network driven by specific scenarios/tasks.
In the fields of sensor networks and data fusion, one objective beyond the state of the art that we address is the development of the fundamental theoretical background and modelling framework for understanding the measured environment in a network of freely configured sensors. Building on results in object recognition from different sensor views, we will work towards achievements beyond currently available results in constructing models of the measured environment and sensor spaces, based on a given set of geometries and a codebook of possible shapes, events and distributions. Novel results will be expected regarding sensor grouping analysis, in the topic of finding cores of attention in arbitrary sensor nets; also, new graph based structures for describing geometrical directional connectedness of sensors will be researched.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
The project aims to show that finding cooperative structures in dense sensor networks may substitute conventional robot based exploration. This hypothesis follows the fact that in practice, the number of surrounding networked sensors increases much faster than that of autonomous robot swarms.
The project will show that the Feature-of-Interest (FOI) area of a freely "interested" sensors in a network around or looking at a FOI area may be configured in special graph structures, describing the connectedness and geometrical features.
Possible applications are related to emerging sensor network technologies, like intelligent city control, surveillance, traffic control, assisted living, augmented reality events, cell phone data gathering networks, robot motion, medical aid to the handicapped or even smart homes. Results may be extended to data analysis and organization in social networks




 

Final report

  
Results in Hungarian
A project célja annak vizsgálata volt, hogy a szenzorok (főként kamerák és infra/lézer eszközök) 3D terében milyen módon lehet a helyszín eseményeit detektálni, követni, felismerni, miközben a követett céltárgyak átmozognak más szenzorok terébe, és a mozgásról és alakzatokról nem rendelkezünk segítő információval. Ehhez meg kellett oldani olyan kérdéseket, mint a 1. Különböző modalitású érzékelők össze-regisztrálása 3D-ben; 2. Alakzatok (elsősorban járókelők) detektálása és követése; 3. A megfigyelt alakzatok kiemelése (Feature of Interest, FOI) és a különböző nézetekhez tartozó FOI-k összeépítése 3D-ben; 4. 3D követés nem egyenletes alapsík esetére; 5. Helyszín alaprajzának detektálása strukturális jellemzők kinyerésével; 6. Képi és videó adatbázisok rendszerezése és visszakeresése; 7. Az ágens hálózatban a hierarchiák keresése; 8. Mozgó objektumok körüli szenzorok figyelmének (FOI) szervezése; 9. Alakzatok felismerésének tanítása (mozgó és álló objektumok is); 10. Tanítóhalmazok (ground truth) ellenőrzött előállítása; 11. Nézetek összedolgozása (wide/random baseline esetekre). A munka során valamennyi fontos kérdésben sikerült jelentős eredményeket elérni. Az eredmények alapján körvonalazódnak ennek a nagyon összetett témakörnek a lehetséges megoldási lehetőségei. A kidolgozás során számos érdekes egyéb tudományos kérdés is felmerült, ami a munka továbbvitelét inspirálja.
Results in English
The goal of the project was an investigation on sensor networks (containing optical and infra cameras, laser scanners), about how they can be used for detection, tracking and recognize in 3D, while we do not have additional information about the events and entities. For this purpose we should have solved the problems of 1. Registration of different sensor modalities in 3D; 2. Object (e.g. pedestrian) detection and tracking; 3. Defining feature of interest areas (FOI) of tracked objects, and registering the sensors by using their FOI-s; 4. Tracking in 3D in case of non-homograph grounds; 5. Detection of scene footprint based on new structural features; 6. Indexing and retrieval in image- and video-database; 7. Searching for hierarchies in agents’ network; 8. FOI definition in large scale sensor networks is tracking objects; 9. Training for recognition of moving objects; 10. Generating Ground-truth and its validation process; 11. Fusing different camera scans of a chain of independent views. During the project all the important issues have been addressed and important results have been achieved. Based on the new results we can better outline the possible solutions for this complex topic. The project work initiated several new ideas and scientific problems, which should be considered in the future continuation of the efforts.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=106374
Decision
Yes





 

List of publications

  
Havasi László, Kiss Attila, Spórás László, Szirányi Tamás: Calibrationless sensor fusion using linear optimization for depth matching, In: International Workshop on Combinatorial Image Analysis: IWCIA 2014. Brno, Csehország, 2014.05.28-2014.05.30. Kiadvány: Brno: Springer Verlag, 2014. Paper 18. (Lecture Notes in Computer Science) LNCS, 2014
Szirányi Tamás, Shadaydeh Maha: Segmentation of remote sensing images using similarity measure based fusion-MRF model, IEEE GEOSCI REMOTE S 11: , 2014
Kiss Ákos, Szirányi Tamás: Multi-view People Detection on Arbitrary Ground in Real-Time, In: Sebastiano Battiato, José Braz (szerk.) (szerk.) VISAPP 2013 - Proceedings of the International Conference on Computer Vision Theory and Applications, Volume 1. Barcelona: SciTePress, 2013. pp. 675-680., 2013
Kiss Ákos, Szirányi Tamás: Localizing people in multi-view environment using height map reconstruction in real-time, PATTERN RECOGN LETT 34: (16) 2135-2143, 2013
Kiss Ákos, Szirányi Tamás: Evaluation of Manually Created Ground Truth for M ulti-view People Localization, In: Concetto Spampinato (szerk.) (szerk.) VIGTA '13 Proceedings of the International Workshop on Video and Image Ground Truth in Computer Vision Applications. New York: ACM Press, 2013. pp. 1-6., 2013
Szirányi Tamás, Shadaydeh Maha: Improved segmentation of a series of remote sensing images by using a fusion MRF model, In: Czúni L, Schöffmann K, Szirányi T (szerk.) (szerk.) 11th International Workshop on Content-Based Multimedia Indexing. CBMI 2013. Veszprém: IEEE, 2013. pp. 137-142., 2013
Havasi László, Szabó Mihály, Pataki Máté, Varga Domonkos, Szirányi Tamás, Kovács László: Search in WikiImages using Mobile Phone, In: Czúni L, Schöffmann K, Szirányi T (szerk.) (szerk.) 11th International Workshop on Content-Based Multimedia Indexing. CBMI 2013. Veszprém: IEEE, 2013. pp. 219-222., 2013
Manno-Kovács A, Szirányi T: Multidirectional Building Detection in Aerial Images Without Shape Templates, In: [S n ] (szerk.) (szerk.) International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-1/W1, ISPRS Hannover Workshop . Hannover, Németország, 2013.05.21-2013.05.24. Kiadvány: Hannover: ISPRS, 2013. pp. 227-232., 2013
Kovács Andrea, Szirányi Tamás: Improved Harris Feature Point Set for Orientation-Sensitive Urban-Area Detection in Aerial Images, IEEE GEOSCI REMOTE S 10: (4) 796-800, 2013
Kovács Levente, Keszler Anita, Szirányi Tamás: Component evolution analysis in descriptor graphs for descriptor ranking, DIGITAL SIGNAL PROCESSING 31:(8) pp. 1-12. (2014), 2014
Havasi L, Varga D, Szirányi T: LHI-tree: An efficient disk-based image search application, IWCIM 2014, IEEE, 2014
Shadaydeh, M., Sziranyi, T.: An improved local similarity measure estimation for change detection in remote sensing images, IEEE International Conference on Aerospace Electronics and Remote Sensing Technology (ICARES), 2014
Kiss Attila, Szirányi Tamás: Szenzorhálózatok 3D összefűzése, KEPAF 2015 (Képfeldolgozók és Alakfelismerők Társaságának 10. országos konferenciája), 2015
Attila Kiss, Anna Mándli, Tamás Szirányi: Unsupervised Error Estimation of Autonomous Agent Networks, Seventh Cracow Conference On Graph Theory, Rytro, Poland, 2014, 2014
Attila Kiss, András Recski: Universal Spacings for the 3-Dimensional VLSI Routing in the Cube, Int. Colloquium on Graph Theory and Combinatorics, Grenoble, France, 2014.06.30-07.04., 2014
Csaba Benedek, Maha Shadaydeh, Zoltan Kato, Tamas Sziranyi, Josiane Zerubia: Multilayer Markov Random Field Models for Change Detection in Optical Remote Sensing Images, ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING, 2015
Kiss Attila, Szirányi Tamás: Szenzorhálózatok 3D összefűzése, KEPAF 2015 (Képfeldolgozók és Alakfelismerők Társaságának 10. országos konferenciája), 2015
Csaba Benedek, Maha Shadaydeh, Zoltan Kato, Tamas Sziranyi, Josiane Zerubia: Multilayer Markov Random Field Models for Change Detection in Optical Remote Sensing Images, ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING, 2015
Manno-Kovacs A, Sziranyi T: Orientation-selective building detection in aerial images, ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 108: pp. 94-112. (2015), 2015
Domonkos Varga, Tamás Szirányi, László o Havasi, Attila Kiss, László Spórás: A multi-view pedestrian tracking method in an uncalibrated camera network, ICCV 2015 (IEEE International Conference on Computer Vision Workshops), 2015
Varga D, Szirányi T: Robust real-time pedestrian detection in surveillance videos, Rev.version is under review: J Ambient Intelligence and Humanized Computing, 2016
Kovács Levente: Single Image Visual Obstacle Avoidance for Low Power Mobile Sensing, LNCS 9386: Advanced Concepts for Intelligent Vision Systems. 16th International Conference, ACIVS , pp. 261-272, 2015
Varga D, Szirányi T: Detecting pedestrians in surveillance videos based on Convolutional Neural Network and Motion, submitted to Eusipco, 2016




 

Events of the project

  
2015-03-18 14:43:54
Résztvevők változása
2014-03-06 15:54:08
Résztvevők változása



Back »