Change detection and event recognition with fusion of images and Lidar measurements  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
125681
Type KH
Principal investigator Benedek, Csaba
Title in Hungarian Változásdetekció és eseményfelismerés képi és Lidar mérések fúziójával
Title in English Change detection and event recognition with fusion of images and Lidar measurements
Keywords in Hungarian Mintafelismerés, adatfúzió, kamerakép, Lidar, pontfelhő
Keywords in English Pattern recognition, data fusion, camera image, Lidar, point cloud
Discipline
Information Technology (Council of Physical Sciences)100 %
Ortelius classification: Applied informatics
Panel Natural Sciences Committee Chairs
Department or equivalent Computer and Automation Research Institute HAS
Participants Jankó, Zsolt
Kovács, Levente
Starting date 2017-10-01
Closing date 2019-09-30
Funding (in million HUF) 19.628
FTE (full time equivalent) 1.60
state running project





 

Final report

 
Results in Hungarian
A pályázati munka fő célja a megfigyelt környezetünk elemzésére alkalmas új eljárások létrehozása volt különböző újszerű 3D érzékelők és hagyományos nagyfelbontású kamerák együttes felhasználásával. A munka során kidolgoztunk egy automatikus LIDAR-kamera regisztrációs módszert, amely teljesen automatikus és a jármű haladása közben képes a szenzor elmozdulásokból fakadó regisztrációs hibákat kijavítani, helyettesítve a hosszadalmas és gyakran ismétlésre szoruló kézi kalibrációs megközelítéseket. Új eljárást dolgoztunk ki különböző felbontású és karakterisztikájú pontfelhő adatok gyors és automatikus összeillesztésére, amely például járművek és gyalogosok észlelését és a 3D várostérképeken történő pontos lokalizációjukat teszi lehetővé. Új eljárásokat adtunk objektumok felismerésére alacsony felbontású pontfelhőkön, és radarképeken. Kidolgoztunk egy mélytanulás alapú eljárást, amely képes osztályozni a pontfelhő egyes pontjait, azok rögzített sugarú környezetének vizsgálatával, akár 9 különböző típusú régiót megkülönböztetve (úttest, jármű, gyalogos, mozgó fantom stb). Javasoltunk egy mélytanulásos Watershed transzformáció alapú módszert az egyes téglák/építőkövek kontúrjainak automatikus bejelölésére épületfalakról készített fényképeken. Bemutattuk, hogy az eljárás robusztusan használható eltérő faltípusok (pl műemlékek vagy modern épületek) esetén is. A módszereket a szakterület vezető folyóirataiban és konferenciáin publikáltuk.
Results in English
The project focused on the development of new methods analyzing the observed environment jointly using novel 3D sensors and regular high resolution cameras. We proposed an automatic LIDAR-camera registration approach, which is able to compensate the registration errors originated from the sensor vibration during driving, replacing time-consuming and frequently required manual re-calibration steps. We introduced a new technique for quick and automatic alignment of point clouds with different density characteristic, which can enable, for example, the detection of vehicles and pedestrians, and their accurate localization in 3D city maps. We developed a new object recognition methods for low density point clouds and radar images. We proposed a deep-learning based approach for point classification in large point clouds, through analyzing local neighborhoods, which technique could discriminate up to 9 different semantic classes (road, vehicle, pedestrian, moving phantom, etc). We introduced a deep-learning and Watershed transform based method, for automatic extraction of the contours of bricks/building stones in images taken from different wall structures. We have shown that the procedure can be robustly fitted to different wall types, such as monuments and modern building walls. The introduced techniques were published in the field’s leading journals and conferences.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=125681
Decision
Yes





 

List of publications

 
B. Nagy and Cs. Benedek: 3D CNN Based Semantic Labeling Approach for Mobile Laser Scanning Data, IEEE Sensors Journal, 2019
A. Manno-Kovacs, E. Giusti, F. Berizzi and L. Kovács: Image Based Robust Target Classification for Passive ISAR, IEEE Sensors Journal, 2019
Z. Rózsa and T. Szirányi: Object detection from a few LIDAR scanning planes, IEEE Transactions on Intelligent Vehicles, 2019
B. Nagy and Cs. Benedek: 3D CNN Based Semantic Labeling Approach for Mobile Laser Scanning Data, IEEE Sensors Journal (biralat alatt), 2019
A. Manno-Kovacs, E. Giusti, F. Berizzi and L. Kovács: Image Based Robust Target Classification for Passive ISAR, IEEE Sensors Journal, accepted for publication, in press, 2019
B. Nagy, and Cs. Benedek: Real-time point cloud alignment for vehicle localization in a high resolution 3D map, Workshop on Computer Vision for Road Scene Understanding and Autonomous Driving at ECCV, 2018
Cs. Benedek and B. Nagy,: Lidar based environment perception and mapping for autonomous vehicles, AutoSens, Brussels, 2018
B. Nagy, L. Kovács and Cs. Benedek: Online Targetless End-to-End Camera-LIDAR Self-calibration, International Conference on Machine Vision Applications (MVA), 2019
B. Nagy, L. Kovács and Cs. Benedek: SFM and Semantic Information Based Online Targetless Camera-Lidar Self-Calibration, IEEE International Conference on Image Processing (ICIP), 2019
Y. Ibrahim, B. Nagy and Cs. Benedek: CNN-based Watershed Marker Extraction for Brick Segmentation in Masonry Walls, International Conference on Image Analysis and Recognition (ICIAR), Lecture Notes in Computer Science, 2019
Ö. Zováthi, B. Nagy and Cs. Benedek: Valós idejű pontfelhőillesztés és járműlokalizáció nagy felbontású 3D térképen, Képfeldolgozók és Alakfelismerők Társaságának 12. konferenciája, 2019
B. Nagy and Cs. Benedek: 3D CNN alapú MLS pontfelhőszegmentáció, Képfeldolgozók és Alakfelismerők Társaságának 12. konferenciája, 2019




Back »