Change detection and event recognition with fusion of images and Lidar measurements  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
125681
Type KH
Principal investigator Benedek, Csaba
Title in Hungarian Változásdetekció és eseményfelismerés képi és Lidar mérések fúziójával
Title in English Change detection and event recognition with fusion of images and Lidar measurements
Keywords in Hungarian Mintafelismerés, adatfúzió, kamerakép, Lidar, pontfelhő
Keywords in English Pattern recognition, data fusion, camera image, Lidar, point cloud
Discipline
Information Technology (Council of Physical Sciences)100 %
Ortelius classification: Applied informatics
Panel Natural Sciences Committee Chairs
Department or equivalent HUN-REN Institute for Computer Science and Control
Participants Jankó, Zsolt
Kovács, Levente
Starting date 2017-10-01
Closing date 2019-09-30
Funding (in million HUF) 19.628
FTE (full time equivalent) 1.60
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.

A gépi környezet-értelmezés központi feladatai közé tartozik a megfigyelt régióban található objektumok automatikus észrevétele és felismerése, navigáció vonatkozásában ezek elkerülése, bizonyos esetekben követése. A különböző működési elven dolgozó vizuális, illetve közvetlen 3D térbeli méréseket szolgáltató szenzorok fuzionálásával eltérő modalitások előnyei ötvözhetők (nagy időbeli és térbeli felbontás, távolság, szín és megvilágítás invariancia), ugyanakkor a különböző adattípusok összeillesztése gyakran a szenzorokra jellemző egyedi kihívásokat hordoz magában. Mivel a közelmúltban megjelent 3D lézeres értékelők adatkarakterisztikái merőben eltérnek a korábbi méréstípusokétól, a fúziós lehetőségek kiaknázása még kezdeti fázisban tart nemzetközi viszonylatban is. A kutatás a fenti kérdésekre keres újszerű megoldásokat. Az eredményekre nem csak a tudományos szemszögből, hanem a szenzortípusok későbbi felhasználhatóságának becslésére, és hardverfejlesztés további irányainak kijelölésére is szükség van.
Szintén kritikus feladat a dinamikus események felismerése és a változások detekciója. A pályázat alapjául szolgáló közlemény ebből a szempontból fontos előzménye a projektnek, ahol jellemzőfúzión alapuló különböző változásdetekciós Markovi módszerek kerültek bevezetésre. A cikk összehasonlította a direkt jellemzőkülönbségen, és utólagos szegmentációs címkeösszehasonlításon alapuló megközelítéseket, aminek a háromdimenziós mérési adatokon vett általánosításai kidolgozhatók lesznek a projekt során. A projekt lehetőséget fog nyújtani tehetséges egyetemi hallgatók, és PhD hallgatók bevonására a kutatómunkába, elsősorban a PPKE ITK és BME VIK mesterképzéseiből.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.

A pályázat fő célja az újszerű 3D érzékelők és a hagyományos nagyfelbontású kamerák egyesítésével új objektumfelismerési, helyszín- és változáselemzési valamint dinamikus eseményfelismerésre alkalmas eljárások létrehozása, illetve a rendelkezésre álló eljárások érvényességi körének kibővítése, azok pontosítása. Noha nem képi szenzorok – radar, Lidar, szonár – bizonyos mértékig (a szenzortól mért távolságuk függvényében) alkalmasak akadályok és objektumok jelzésére, a képi jellemzők szoros integrálásával ezek hatékonysága nagyban növelhető. Ezen szenzorok, pl. Lidar által implicit szolgáltatott mélységi és térbeli információk és az adott környezetből kinyert Lidar pontfelhőkhöz igazított képi felvételekből kinyert tulajdonságok fúziója különösképpen alkalmas lehet pontos objektum-észlelési és felismerési feladatokra. Ilyen fúziók jelenthetik nem csupán a korábban már kutatott színes kamera-felvételek Lidar pontfelhőkhöz történő regisztrálását, hanem – újszerű megoldásként – különféle kiemelt képi tartalmi tulajdonság-térképek (ú.n. szaliencia térképek, relatív mélység-élesség térképek, fókuszban lévő területek kiemelése stb.) pontfelhőkkel együtt történő feldolgozását. Míg az előbbi módszerek elsősorban felismerési és osztályozási, az utóbbiak inkább akadály-jelzési és elkerülési feladatok megoldásában jelenthetnek előrelépést.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!

A projekt eredményei különböző alkalmazási területen hozhatnak fejlődést: videofelügyeleti rendszerekben, gépjármű-vezetést segítő rendszerekben, illetve a gyártástechnológiai ellenőrző rendszerekben, ahol a hagyományos egyszenzoros érzékelés felismerési eredményei nem elég hatékonyak, vagy nem elég általánosak. Mivel az új típusú szenzorok adatainak optimális feldolgozására nem állnak még rendelkezésre kiforrott módszerek, a projektben elvégzett fejlesztések várhatóan nemzetközi szinten is újdonságot fognak hozni. Másrészről a különböző szenzorgyártók számára is fontos visszajelzés egy-egy új felhasználási terület megtalálása, ami a szenzorok továbbfejlesztési irányait is befolyásolhatja.
A kutatás nagy gyakorlati jelentőségű és gyors technológiai fejlődés által meghatározott területet érint, azonban a nemzetközi szintű versenyképességét biztosítani fogja a legújabb 2D és 3D szenzorrendszerek rendelkezésre állása, az MTA SZTAKI és a projektcsapat szakmai tapasztalata és kiválósága 3D adatfeldolgozás és gépi felismerés területén, valamint a vezető ipari partnerekkel való együttműködés lehetősége. Az autós érzékelés oldaláról a projekt felhasználja a befogadó intézet 2015-ös akadémiai infrastruktúra pályázatának támogatásával felszerelt autonóm járműirányítási kutatólaboratóriumot, valamint háttérmodellnek a Budapest Közút Zrt. Közúti Adatgyűjtő REndSzere által biztosított 3cm-es felbontású pontfelhő térképet.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.

A gépi környezetmegfigyelés sokféle érzékelőt és kiforrott intelligens módszert használ, ám egyszerre csupán egy szemüvegen keresztül vizsgálva a világot gyakran hibázhatunk. Mivel napról napra új, különböző elveken működő eszközök jelennek meg a piacon, a megfelelő szenzorok kiválasztása és használatuk optimális ötvözése egyre szerte ágazóbb kihívásokat hordoz magában. A pályázó kutatócsoport több éve intenzíven foglalkozik különböző vizuális kamera alapú érzékelők, illetve valós idejű 3D adatokat szolgáltató lézerszkennerek adatainak elemzésével külön útvonalakon, felmérve az egyes szenzorok előnyeit és hátrányait egyaránt. A jelen pályázatban a két modalitás egyesítésével fogunk az eddigieknél pontosabb és megbízhatóbb alakzat- és eseményfelismerő módszereket kidolgozni, elsősorban kültéri környezetben végzett felismerési problémákat megcélozva. Megvizsgáljuk, hogy a képi alapú felismerési eljárásaink milyen mértékben bővíthetők és fejleszthetők az alacsony térbeli sűrűségű de pontos 3D méréseket rendelkezésre bocsátó Lidar szenzorok figyelembe vételével, illetve a Lidaros, elsősorban geometriai jellegű adatelemzésen alapuló navigációs módszerek mennyire pontosíthatók a képek különleges, magas szintű tartalmi leíróinak integrálásával. A projekt eredményei különböző, a mindennapjainkat érintő alkalmazási területeken hozhatnak fejlődést, úgy, mint videofelügyeleti rendszerekben, gépjármű-vezetést segítő rendszerekben, valamint gyártástechnológiai ellenőrző alkalmazásokban.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.

Various key aspects of machine-based environment interpretation are the automatic detection and recognition of objects, obstacle avoidance in navigation, and object tracking in certain applications. Integrating visual sensors, such as video cameras, with sensors providing direct 3D spatial measurements, such as Lidars may offer various benefits (high spatial and temporal resolution, distance, color or illumination invariance). However, fusing the different data modalities often implies sensor specific unique challenges. Since the data characteristics provided by the recently appeared 3D laser scanners is significantly different from earlier sensors, the options of data fusions are not widely exploited yet in the literature. On the other hand, the results are not only interesting from a scientific point of view, but they also provide useful information regarding possible future utilization, which may mean benefits for hardware manufacturers.
Another set of critical problems are dynamic event recognition and change detection. The research article counted as the basis of the proposal contains important preliminary results regarding this aspect, presenting various Markovian change detection methods based on feature fusion. The article compared direct feature-differencing based techniques to post classification comparison approaches, which experiences can be highly utilized in the project by generalization to 3D data processing. The project will also offer possibilities to gifted undergraduate and PhD students to join the addressed research work, particularly for master students of the Pázmány Catholic University, and the Budapest University of Technology and Economics.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.

The main goal of the project is to combine the newest 3D sensors with traditional high resolution cameras to obtain new pattern recognition, scene understanding event and change detection methodologies, extend the validity of the existing methods or making them more accurate. Although sensors other than optical cameras - radars, Lidars, sonars – are appropriate at a certain degree (depending on sensor-to-object distance) to detect obstacles and field objects, fusing them with image features can significantly enhance their performance. Fusing the implicit depth maps and 3D spatial data provided by active sensors, such as Lidars, with camera images aligned to the point clouds may provide particular benefits in object detection and recognition. Such fusion processes can be based not only on standard registration methodologies of colored camera images and Lidar point clouds, but also may use image content-based feature maps (saliency maps, relative depth maps, focus regions etc), integrated with point clouds. While the earlier mentioned methods can efficiently contribute to recognition and classification tasks, the later ones may facilitate the solution of obstacle detection and avoidance problems.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.

The results of the project will allow progress various application fields: video surveillance systems, advanced driving assistant systems or in fabric quality inspection systems, where the traditional single sensor based perception is not efficient enough, does not work under certain circumstances. Since for the optimal utilization of the new generation sensor data still does not have established methodologies, the developments of the project will ensure international relevance. On the other hand, by finding new application areas we may give important feedbacks for the sensor manufacturers, which may influence the directions of further hardware developments.
The proposed topic will address a field with high practical relevancy, where the background is determined by extremely quickly developing technology. High international competitiveness of the project is ensured through the availability of the latest 2D and 3D sensors, experience and excellence of MTA SZTAKI and the project team in 3D data processing and machine vision, and cooperation with outstanding industrial partners. For onboard 3D and visual test data collection the project will utilize the host institute's new autonomous driving control laboratory, obtained by an academic infrastructure grant in 2015, and as background data, dense point cloud maps provided by the Budapest's Road Management Department.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.

Machine based environment perception uses various sorts of sensing hardware and established software tools, however, observing the world using a single sensor may often lead to errors and misdetections. Since nowadays newer and newer commercial sensors appear, following various technological principles, optimal sensor selection and the way of data fusion indicates a number of challenges. The research group of the proposer has intensively dealt with analyzing camera images, and real time 3D data provided by laser scanners separately for several years, and the advantages and drawbacks of the different sensors have already been investigated. In the present project, we will integrate the two modalities to obtain more accurate and more reliable objects and event recognition methods. We will examine, how our image based recognition methods can be extended and improved with using low density but accurate 3D Lidar measurements, while the Lidar based, primarily geometry level algorithms used in navigation can be improved with adopting particular, high level content descriptors extracted from images. The results of the project will allow progress in various application fields from our everyday life, such as video surveillance, advanced driving assistant systems or in fabric quality inspection systems.





 

Final report

 
Results in Hungarian
A pályázati munka fő célja a megfigyelt környezetünk elemzésére alkalmas új eljárások létrehozása volt különböző újszerű 3D érzékelők és hagyományos nagyfelbontású kamerák együttes felhasználásával. A munka során kidolgoztunk egy automatikus LIDAR-kamera regisztrációs módszert, amely teljesen automatikus és a jármű haladása közben képes a szenzor elmozdulásokból fakadó regisztrációs hibákat kijavítani, helyettesítve a hosszadalmas és gyakran ismétlésre szoruló kézi kalibrációs megközelítéseket. Új eljárást dolgoztunk ki különböző felbontású és karakterisztikájú pontfelhő adatok gyors és automatikus összeillesztésére, amely például járművek és gyalogosok észlelését és a 3D várostérképeken történő pontos lokalizációjukat teszi lehetővé. Új eljárásokat adtunk objektumok felismerésére alacsony felbontású pontfelhőkön, és radarképeken. Kidolgoztunk egy mélytanulás alapú eljárást, amely képes osztályozni a pontfelhő egyes pontjait, azok rögzített sugarú környezetének vizsgálatával, akár 9 különböző típusú régiót megkülönböztetve (úttest, jármű, gyalogos, mozgó fantom stb). Javasoltunk egy mélytanulásos Watershed transzformáció alapú módszert az egyes téglák/építőkövek kontúrjainak automatikus bejelölésére épületfalakról készített fényképeken. Bemutattuk, hogy az eljárás robusztusan használható eltérő faltípusok (pl műemlékek vagy modern épületek) esetén is. A módszereket a szakterület vezető folyóirataiban és konferenciáin publikáltuk.
Results in English
The project focused on the development of new methods analyzing the observed environment jointly using novel 3D sensors and regular high resolution cameras. We proposed an automatic LIDAR-camera registration approach, which is able to compensate the registration errors originated from the sensor vibration during driving, replacing time-consuming and frequently required manual re-calibration steps. We introduced a new technique for quick and automatic alignment of point clouds with different density characteristic, which can enable, for example, the detection of vehicles and pedestrians, and their accurate localization in 3D city maps. We developed a new object recognition methods for low density point clouds and radar images. We proposed a deep-learning based approach for point classification in large point clouds, through analyzing local neighborhoods, which technique could discriminate up to 9 different semantic classes (road, vehicle, pedestrian, moving phantom, etc). We introduced a deep-learning and Watershed transform based method, for automatic extraction of the contours of bricks/building stones in images taken from different wall structures. We have shown that the procedure can be robustly fitted to different wall types, such as monuments and modern building walls. The introduced techniques were published in the field’s leading journals and conferences.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=125681
Decision
Yes





 

List of publications

 
B. Nagy and Cs. Benedek: 3D CNN Based Semantic Labeling Approach for Mobile Laser Scanning Data, IEEE Sensors Journal, 2019
A. Manno-Kovacs, E. Giusti, F. Berizzi and L. Kovács: Image Based Robust Target Classification for Passive ISAR, IEEE Sensors Journal, 2019
Z. Rózsa and T. Szirányi: Object detection from a few LIDAR scanning planes, IEEE Transactions on Intelligent Vehicles, 2019
B. Nagy and Cs. Benedek: 3D CNN Based Semantic Labeling Approach for Mobile Laser Scanning Data, IEEE Sensors Journal (biralat alatt), 2019
A. Manno-Kovacs, E. Giusti, F. Berizzi and L. Kovács: Image Based Robust Target Classification for Passive ISAR, IEEE Sensors Journal, accepted for publication, in press, 2019
B. Nagy, and Cs. Benedek: Real-time point cloud alignment for vehicle localization in a high resolution 3D map, Workshop on Computer Vision for Road Scene Understanding and Autonomous Driving at ECCV, 2018
Cs. Benedek and B. Nagy,: Lidar based environment perception and mapping for autonomous vehicles, AutoSens, Brussels, 2018
B. Nagy, L. Kovács and Cs. Benedek: Online Targetless End-to-End Camera-LIDAR Self-calibration, International Conference on Machine Vision Applications (MVA), 2019
B. Nagy, L. Kovács and Cs. Benedek: SFM and Semantic Information Based Online Targetless Camera-Lidar Self-Calibration, IEEE International Conference on Image Processing (ICIP), 2019
Y. Ibrahim, B. Nagy and Cs. Benedek: CNN-based Watershed Marker Extraction for Brick Segmentation in Masonry Walls, International Conference on Image Analysis and Recognition (ICIAR), Lecture Notes in Computer Science, 2019
Ö. Zováthi, B. Nagy and Cs. Benedek: Valós idejű pontfelhőillesztés és járműlokalizáció nagy felbontású 3D térképen, Képfeldolgozók és Alakfelismerők Társaságának 12. konferenciája, 2019
B. Nagy and Cs. Benedek: 3D CNN alapú MLS pontfelhőszegmentáció, Képfeldolgozók és Alakfelismerők Társaságának 12. konferenciája, 2019




Back »