gépi mintafelismerés, távérzékelés, változásérzékelés, 2-D és 3-D struktúraillesztés
angol kulcsszavak
computer based pattern recognition, remote sensing, change detection, 2-D and 3-D stucture extraction
megadott besorolás
Informatika (Műszaki és Természettudományok Kollégiuma)
100 %
Ortelius tudományág: Alkalmazott informatika
zsűri
Informatikai–Villamosmérnöki
Kutatóhely
HUN-REN Számítástechnikai és Automatizálási Kutatóintézet
projekt kezdete
2012-01-01
projekt vége
2014-12-31
aktuális összeg (MFt)
11.999
FTE (kutatóév egyenérték)
2.40
állapot
lezárult projekt
magyar összefoglaló
A földfelszín megfigyelése napjaink kiemelt kutatási területe, mivel kulcsszerepet tölt be a mindennapi élet számos különböző területén, például mezőgazdasági tevékenységek felügyeletében, szennyezés mérésekor, információt adhat bűncselekmények felderítéséhez, lehetővé teszi városok fejlődésének vizsgálatát vagy válaszol nemzetbiztonsági kérdésekre. Ugyanakkor a szolgáltatott nagy mennyiségű távérzékelt adat feldolgozása jelenleg hatalmas emberi erőforrást igényel, figyelembe véve az adatbázisok folyamatos frissülését és a szükséges kiértékelési módszerek és szempontok bővülését. A feldolgozásban ezért nagy mértékű automatizálásra van szükség, amit mind hazai, mind a nemzetközi igények alátámasztanak. A pályázatban vázolt munka megcélozza egy általános keretrendszer és programkönyvtár létrehozását különböző alakzatok, hierarchikus struktúrák és változásosztályok egységes reprezentálására, különféle 2D (légi képek) és 3D (LIDAR, ISAR vagy DEM) távérzékelt adatok alapján. A fejlesztett módszerek különböző alkalmazásokban felmerülő, de hasonlóan modellezhető problémákat céloznak meg összegyűjteni és módszertani szinten egységesen kezelni. A létrejövő modellek fontos tulajdonsága, hogy az adat- alkalmazásfüggő részek leválaszthatók az absztrakt struktúráról, ami a képpont, objektum, objektumcsoport, területi osztály szintekből épül fel. A feladatok kezdeti megfogalmazása különböző konkrét alkalmazások eddig megoldatlan vagy csak részben megoldott kérdéseihez lesz köthető, ami kiindulási alapot nyújt a problémák csoportosításához és az általánosításhoz.
angol összefoglaló
Earth observation is a growing field of interest in various application areas, such as monitoring agricultural activity, detection of pollution and environmental crimes, management of urban area expansion, crisis management, including civil protection, or homeland security. However, the evaluation of the collected remotely needs exhausting human intervention up to now due to the rich and continuously augmenting content and various aspects of assessment. For this reason, necessity of automated recognition problems in remote sensing is raised by both national and international demands. The work will focus on the research towards a generalized framework and procedure library for representing different targets, hierarchic structures and various levels of changes using remotely sensed 2-D images and 3-D (LIDAR, ISAR or DEM) data. The developed methods attempt to collect similar tasks appearing in different application areas, and handle them in a joint methodological approach. An important feature of the proposed models will be the separation of the data and application dependent elements from the abstract hierarchical structure which has various levels, such as pixel, region, object, object group and land cover class. Task definitions will origin from specific applications, followed by problem grouping, abstraction and generalization.
Zárójelentés
kutatási eredmények (magyarul)
A projekt fő célja többszintű vizuális környezetelemző eljárások kifejlesztése volt különböző távérzékelési technológiák méréssorozatait felhasználva.
A projekt első részében általánosítottuk a Jelölt Pontfolyamat (Marked Point Process, MPP) módszercsaládot különböző valós életből származó kihívások kezelésére. Három módszertani újdonságot vezettünk be az MPP keretrendszerbe, objektum-csoportosítás, részobjektumok kezelése és idősorozat-elemzés funkciókkal. A modellt különböző alkalmazási környezetekben teszteltük: beépített területek analíziséhez légi fotókon, forgalomelemzéshez légi Lidar adatok alapján, célpontkövetéshez ISAR képsorozatokon és - kitekintésként - optikai áramkör-analízis során. Kifejlesztettünk egy 3D MPP módszert is személyek lokalizációjára és magasságuk becslésére több kamerakép alapján.
A projekt második felében új modelleket javasoltunk dinamikus városi környezet analízisére és rekonstrukciójára, többsugaras forgó Lidar szenzor méréseit felhasználva. Valós idejű megoldásokat adtunk több személy együttes 3D-ben történő követésére és újra-felismerésére, önjáró autók látórendszerének különböző feladataira, és új eljárásokat mutattunk be 4D jelenetek vizualizációjára és virtuális városrekonstrukcióra. A projekt záró szakaszában elkészítettünk egy összehasonlító tanulmányt különböző többrétegű markovi változásdetekciós modellekről.
kutatási eredmények (angolul)
The main goal of the project has been to develop established methods for multi-level content analysis of visual information provided by various remote sensing (RS) technologies.
In the first part, we have generalized the established Marked Point Process (MPP) method family in various ways adapting them to several real life problems. In particular, three new issues have been introduced in the MPP framework: object grouping, sub-object encapsulation, and temporal sequence analysis. The methodological contributions were tested in different application domains, such us build-in area analysis from airborne photos, traffic monitoring by aerial Lidar, target tracking in ISAR image sequences, and - as an outlook from RS - optical circuit inspection. A new 3D MPP approach has also be developed for multi-camera people localization and person height estimation for surveillance applications.
In the second part of the project, new models have been introduced for dynamic environment perception and 4D reconstruction using a mobile Rotating Multi-beam Lidar sensor. We have proposed a real time method on 3D people surveillance with person re-identification, designed various vision algorithms for self-driving cars, and also introduced novel approaches on 4D scene visualization and virtual city reconstruction. In the closing part of the project, a survey on various multilayer Markovian change detection models was prepared.
Cs. Benedek, M. Shadaydeh, Z. Kato, T. Szirányi and J. Zerubia: Multilayer Markov Random Field Models for Change Detection in Optical Remote Sensing Images, ISPRS Journal of Photogrammetry and Remote Sensing, MINOR REVISION, 2015
Börcs A, Benedek Cs: Extraction of Vehicle Groups in Airborne Lidar Point Clouds with Two-Level Point Processes, IEEE T GEOSCI REMOTE 53: (3) 1475-1489, 2015
Benedek Cs, Martorella M: Moving Target Analysis in ISAR Image Sequences With a Multiframe Marked Point Process Model, IEEE T GEOSCI REMOTE 52: (2) 2234-2246, 2014
Benedek Cs: 3D People Surveillance on Range Data Sequences of a Rotating Lidar, PATTERN RECOGN LETT 50: 149-158, 2014
Benedek Cs, Krammer O, Janóczki M, Jakab L: Solder Paste Scooping Detection by Multilevel Visual Inspection of Printed Circuit Boards, IEEE T IND ELECTRON 60: (6) 2318-2331, 2013
Utasi Á, Benedek Cs: A Bayesian Approach on People Localization in Multicamera Systems, IEEE T CIRC SYST VID 23: (1) 105-115, 2013
C. Benedek: Hierarchikus jelölt pontfolyamat modell objektumpopulációk többszintű elemzéséhez (Hierarchical marked point process model for multi-level object population analysis), Conference of Hungarian Association for Image Analysis and Pattern Recognititon (KÉPAF), 2015
B. Nagy, C. Benedek and Z. Jankó: Mozgó személyek követése és 4D vizualizációja Lidar alapú járáselemzéssel (Moving people tracking and 4D visualization through Lidarbased gait analysis), Conference of Hungarian Association for Image Analysis and Pattern Recognititon (KÉPAF), 2015
A. Börcs, B. Nagy, and C. Benedek: Valós idejű járműdetekció LIDAR pontfelhő sorozatokon (Real time vehicle detection in LIDAR point cloud sequences), Conference of Hungarian Association for Image Analysis and Pattern Recognititon (KÉPAF), 2015
A. Börcs, B. Nagy and Cs. Benedek: Dynamic environment perception and 4D reconstruction using a mobile Rotating Multi-beam Lidar sensor, Visual Perception and Intelligent Control for Single and Multiple Robots, Springer, INVITED, TO APPEAR, 2015
Cs. Benedek, D. Molnár and T. Szirányi: A Dynamic MRF Model for Foreground Detection on Range Data Sequences of Rotating Multi-Beam Lidar, International Workshop on Depth Image Analysis, 2012
A. Börcs and Cs. Benedek: Urban Traffic Monitoring from Aerial LIDAR Data with a Two-Level Marked Point Process Model, International Conference on Pattern Recognition, 2012
Cs. Benedek and M. Martorella: Ship Structure Extraction in ISAR Image Sequences by a Markovian Approach, IET International Conference on Radar Systems, 2012
A. Börcs and Cs. Benedek: A marked point process model for vehicle detection in aerial lidar point clouds, XXII ISPRS Congress, 2012
Á. Utasi, Cs. Benedek: A Multi-View Annotation Tool for People Detection Evaluation, International Workshop on Visual Interfaces for Ground Truth Collection in Computer Vision Applications, 2012
A. Börcs, B. Nagy and Cs. Benedek: On board 3D Object Perception in Dynamic Urban Scenes, IEEE International Conference on Cognitive Infocommunications, 2013
Cs. Benedek, Z. Jankó, Cs. Horváth, D. Molnár, D. Chetverikov and T. Szirányi: An Integrated 4D Vision and Visualisation System, International Conference on Computer Vision Systems, 2013
Cs. Benedek: A Two-Layer Marked Point Process Framework for Multilevel Object Population Analysis, International Conference on Image Analysis and Recognition (ICIAR), 2013
A. Börcs, O. Józsa and Cs. Benedek: Object Extraction in Urban Environments from Large-Scale Dynamic Point Cloud Dataset, IEEE International Workshop on Content-Based Multimedia Indexing (CBMI), 2013
Cs. Benedek and M. Martorella: Mozgó célpontok vizsgálata radar képsorozatokon jelölt pontfolyamat modellell, Conference of Hungarian Association for Image Analysis and Pattern Recognititon (KÉPAF), 2013
A. Börcs and Cs. Benedek: Városi forgalomfelügyelet kétszintű jelölt pontfolyamat modellel légi LiDAR felvételeken, Conference of Hungarian Association for Image Analysis and Pattern Recognititon (KÉPAF), 2013
Cs. Horváth, D. Molnár, Cs. Benedek and T. Szirányi: MRF alapú előtérdetekció és objektumkövetés Lidar pontfelhő szekvenciákon, Conference of Hungarian Association for Image Analysis and Pattern Recognititon, 2013
Benedek Cs, Martorella M: Moving Target Analysis in ISAR Image Sequences With a Multiframe Marked Point Process Model, IEEE T GEOSCI REMOTE 52: (2) 2234-2246, 2014
