Struktúrális információ az érzékelők mérési terében
Title in English
Structural information in the space of sensor networks
Keywords in Hungarian
szenzorhálózatok, felügyeleti kamerarendszer, videó és kép feldolgozása, képtömörítés, háromdimenziós képmodellek, esemény és helyszín visszakeresés
Keywords in English
sensor networks, surveillance cameras, video and image processing, image compression, 3D image models, event and scene retrieval
Discipline
Automation and Computer Science (Council of Physical Sciences)
80 %
Ortelius classification: Automation
Information Technology (Council of Physical Sciences)
20 %
Ortelius classification: Applied informatics
Panel
Informatics and Electrical Engineering
Department or equivalent
HUN-REN Institute for Computer Science and Control
Participants
Manno-Kovács, Andrea
Starting date
2008-10-01
Closing date
2012-10-31
Funding (in million HUF)
22.012
FTE (full time equivalent)
3.37
state
closed project
Summary in Hungarian
Struktúrális információ az érzékelők mérési terében: • Érzékelőkkel mérünk egy térrészt. Hogyan tudjuk megállapítani, hogy a dinamikusan változó térben valami jelentős történik? • Meg tudjuk-e mérni, hogy a mért térben zajló eseményeknek mi a szabadsági foka? • Lehet a passzív méréssel becslést tenni arra, hogy a térrészben külső beavatkozás történt? • Ha célzottan beavatkozunk, tudjuk-e mérni a hatást? A hatás alatt a térrész folyamatainak célzott és a beavatkozástól függő megváltozását értjük. • Milyen geometria szerkezetek és fizikai folyamatok becsülhetők meg érzékelő-hálózatok kiértékelésének segítségével, ha nincsen a priori modellünk a megfigyelt területről? Ezek a kérdések izgalmas kihívásként jelennek meg felügyleti kamerarendszerek, forgalomirányítás, riasztórendszerek, automatizált beágyazott orvosi műszerek és biztonsági alkalmazások esetén. A munka fő kérdése az, hogy egy helyszínt érzékelőkkel mérve, valójában mi az az érdemi információs mennyiség, amit úgy lehet megkapni, hogy önmagában használható legyen, pl. összehasonlítás és visszakeresés céljaira. Egy adott helyszín (pl. kamerafelügyelet, ipari mérőhely, orvosi megfigyelés) esetén az értékelhető információ nem létezik önmagában, csak a térben és időben kapcsolódó helyszínekhez képest viszonyítva. Arra a kérdésre, hogy mi érdemleges, össze kell hasonlítanunk a mért paramétereket más események/helyszínek paramétereivel. Problémát jelenthet azonban, hogy másutt/máskor eltérőek a lényeges paraméterek típusai, számossága. Ezért a feladat nem egyszerűen indexálás és visszakeresés, hanem a paraméterhalmazok részben átfedő osztályainak láncolt összekapcsolása. A magasabb absztrakciós szintre emelés sem segít önmagában: egyirányú lépés, és feltételezi az előzetes klasszifikációt. Éppen ezt kell elkerülni: nem az a kérdés, hogy amit mérünk, mihez hasonlít, hanem hogy hasonlít-e valamihez annyira, hogy érdemlegesen foglalkozzunk vele?
A mért eseménytérbe beavatkozhatunk: lekérdezéssel, beállításokal, a feldolgozás szintjeinek és az érzékelők összekapcsolásának változtatásával. A beavatkozás megerősített tanulásként is funkcionálhat, vagy éppen egy megerősített lekérdezés épül be a kiértékelésbe. A beavatkozás módosíthat a mérhető információtartalmon, struktúrálva az objektumok közötti kapcsolatokat. A képtérben az objektumok között geometria, fizikai és oksági kapcsolatok lehetnek. Ezek felderítése sokban hozzájárulhat a helyszín értékeléséhez.be
Summary
When we apply sensors to measure a workspace, we can meet some interesting questions about the information content of he examined system: • How can we estimate that something important happened in that space? • Can we estimate the degree of freedom of the space of events? • Measuring the events in the space, can we estimate the effect of an external impact? • If we directly manipulate some processes in the events’ space, can we measure the effect? Meaning that we want to measure the change in the events' process affected by the intrusion. • Without having a priori knowledge about the space, how much measure of geometrical structures or physical processes can be estimated through evaluating the sensor network? These questions appear as exciting challenges in surveillance systems, traffic control, alarm systems, embedded medical devices and security applications. When measuring a scene with a network of sensors, what is the measure of valuable information, which can be used as a feature-set for definite problems, like as indexing and retrieval. In a given scene (surveillance, industrial testbed, medical supervision) the valuable information does not exist alone; it must be related to joint scenes and time instants. We should compare the measured parameters to that of the other scenes and time instants that may have a different set of significant parameters. For this reason the task of comparison is not a simple indexing and retrieval, but chaining partly overlapping sets of parameters. When climbing to a higher level of abstraction, we may ask: the question is not ''what is it similar to?'', but ''Is it similar to anything so much that we should consider it?''.
We can manipulate the measured space of events. This control can affect the measured information content, resulting in a more structured association among objects. The scene may contain geometrical, physical and causality relations, what can be considered to better evaluate the scene.
Final report
Results in Hungarian
A projekt során különböző körülmények között végeztünk méréseket, és ennek megfelelő feladatokban értünk el eredményeket:
1. Több kamera használatával: mozgáskövetés, mozgásjelleg/viselkedés felismerés, helyszín geometria viszonyainak bemérése.
2. Mélységi detekcióra alkalmas eszközökkel: LIDAR és TOF kamera képeiből illetve pontfelhőjéből detektáltunk mozgásjellemzőket, 3D alakzatokat.
3. Légi és orvosi képeken illetve képsorozatokon: változások követése, jellegzetes struktúrák detektálása.
A projekt során jelentős elméleti eredmények születettek:
1. A vizsgált helyszín jellemző struktúráinak illetve változásainak felismerésére,
2. Új képleírók kidolgozása gyenge felbontású alakzatok felismeréséhez és finom felbontású aktív kontúr előállítására,
3. Videókép sorozatokon a szokatlan mozgássorok illetve speciális viselkedések felismerése, követése,
4. Mélységi információk szűrése 2D (gráfok, dekonvolúció), illetve 3D (LIDAR, TOF) adatokon.
Az eredményeket a téma szakkonferenciáin, illetve a szakma jelentős folyóirataiban publikáltuk.
Results in English
We have built up several measurement environments for the project’ purposes, and we have achieved results evaluating the experiments in these setups:
1. Multicamera system: motion tracking, recognition of the behavior of the objects, the structural geometry given by the scene events,
2. Devices for depth measurements: images and point-clouds of LIDAR and Time-of-Flight cameras for motion tracking and shape detection,
3. Aerial and medical images/image series: detection of changes, finding featuring structures.
During the project the following important theoretical results have been published in the most important conferences and journals:
1. Change detection and structure recognition of the given scene,
2. Improved feature point set for low resolution pattern recognition and enhanced active contour detection,
3. Unusual motion flow pattern and crowd behavior detection on video sequences,
4. Depth information filters in 2D (graphs, deconvolution) and in 3D (LIDAR, TOF).
Utasi Ákos, Kiss Ákos, Szirányi Tamás: Statistical Filters for Crowd Image Analysis, 11th IEEE International Workshop on Performance Evaluation of Tracking and Surveillance: PETS 2009, in Conjunction with IEEE Computer Soc. Conf.on Computer Vision and Pat, 2009
Máttyus Gellért, Benedek Csaba, Szirányi Tamás: Multi target tracking on aerial videos, In: ISPRS Workshop 2010: Modeling of optical airborne and space borne sensors. Modeling of optical airborne and space borne sensors. Isztambul, Törökország, 2010.10.11-20, 2010
Andrea Kovács, Tamás Szirányi: Improved force field for Vector Field Convolution method, ICIP - IEEE International Conference on Image Processing. Bruxelles, Belgium, 2011.09.11, 2011
Keszler Anita, Szirányi Tamás: Kis mélységélességű képek fókuszált területeinek kiválasztása gráf alapú eljárással, Képfeldolgozók és Alakfelismerők Társaságának (KÉPAF), 2011
D. Szolgay, T. Sziranyi: Orthogonality based stopping condition for iterative image deconvolution methods, Képfeldolgozók és Alakfelismerők Társaságának (KÉPAF), 2011
Kovács Andrea, Szirányi Tamás, Barsi Péter: Automatic detection of structural changes in single channel long time-span brain MRI images using saliency map and active contour methods, 19th IEEE international conference on image processing, ICIP, Orlando, 2012
Kovács Andrea és Szirányi Tamás: Orientation Based Building Outline Extraction in Aerial Images, XXII ISPRS Congress of the International Society for Photogrammetry and Remote Sensing: ISPRS Annals of Photogrammetry, Remote Sensing and the Spatial Information Science, 2012
