 |
Change detection and event recognition with fusion of images and Lidar measurements
|
Help 
Print 
|
Here you can view and search the projects funded by NKFI since 2004
Back »
|
| |
Details of project |
|
|
| Identifier |
125681 |
| Type |
KH |
| Principal investigator |
Benedek, Csaba |
| Title in Hungarian |
Változásdetekció és eseményfelismerés képi és Lidar mérések fúziójával |
| Title in English |
Change detection and event recognition with fusion of images and Lidar measurements |
| Keywords in Hungarian |
Mintafelismerés, adatfúzió, kamerakép, Lidar, pontfelhő |
| Keywords in English |
Pattern recognition, data fusion, camera image, Lidar, point cloud |
| Discipline |
| Information Technology (Council of Physical Sciences) | 100 % | | Ortelius classification: Applied informatics |
|
| Panel |
Natural Sciences Committee Chairs |
| Department or equivalent |
HUN-REN Institute for Computer Science and Control |
| Participants |
Jankó, Zsolt
Kovács, Levente
|
| Starting date |
2017-10-01 |
| Closing date |
2019-09-30 |
| Funding (in million HUF) |
19.628 |
| FTE (full time equivalent) |
1.60 |
| state |
closed project |
Summary in Hungarian A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A gépi környezet-értelmezés központi feladatai közé tartozik a megfigyelt régióban található objektumok automatikus észrevétele és felismerése, navigáció vonatkozásában ezek elkerülése, bizonyos esetekben követése. A különböző működési elven dolgozó vizuális, illetve közvetlen 3D térbeli méréseket szolgáltató szenzorok fuzionálásával eltérő modalitások előnyei ötvözhetők (nagy időbeli és térbeli felbontás, távolság, szín és megvilágítás invariancia), ugyanakkor a különböző adattípusok összeillesztése gyakran a szenzorokra jellemző egyedi kihívásokat hordoz magában. Mivel a közelmúltban megjelent 3D lézeres értékelők adatkarakterisztikái merőben eltérnek a korábbi méréstípusokétól, a fúziós lehetőségek kiaknázása még kezdeti fázisban tart nemzetközi viszonylatban is. A kutatás a fenti kérdésekre keres újszerű megoldásokat. Az eredményekre nem csak a tudományos szemszögből, hanem a szenzortípusok későbbi felhasználhatóságának becslésére, és hardverfejlesztés további irányainak kijelölésére is szükség van.
Szintén kritikus feladat a dinamikus események felismerése és a változások detekciója. A pályázat alapjául szolgáló közlemény ebből a szempontból fontos előzménye a projektnek, ahol jellemzőfúzión alapuló különböző változásdetekciós Markovi módszerek kerültek bevezetésre. A cikk összehasonlította a direkt jellemzőkülönbségen, és utólagos szegmentációs címkeösszehasonlításon alapuló megközelítéseket, aminek a háromdimenziós mérési adatokon vett általánosításai kidolgozhatók lesznek a projekt során. A projekt lehetőséget fog nyújtani tehetséges egyetemi hallgatók, és PhD hallgatók bevonására a kutatómunkába, elsősorban a PPKE ITK és BME VIK mesterképzéseiből.
Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
A pályázat fő célja az újszerű 3D érzékelők és a hagyományos nagyfelbontású kamerák egyesítésével új objektumfelismerési, helyszín- és változáselemzési valamint dinamikus eseményfelismerésre alkalmas eljárások létrehozása, illetve a rendelkezésre álló eljárások érvényességi körének kibővítése, azok pontosítása. Noha nem képi szenzorok – radar, Lidar, szonár – bizonyos mértékig (a szenzortól mért távolságuk függvényében) alkalmasak akadályok és objektumok jelzésére, a képi jellemzők szoros integrálásával ezek hatékonysága nagyban növelhető. Ezen szenzorok, pl. Lidar által implicit szolgáltatott mélységi és térbeli információk és az adott környezetből kinyert Lidar pontfelhőkhöz igazított képi felvételekből kinyert tulajdonságok fúziója különösképpen alkalmas lehet pontos objektum-észlelési és felismerési feladatokra. Ilyen fúziók jelenthetik nem csupán a korábban már kutatott színes kamera-felvételek Lidar pontfelhőkhöz történő regisztrálását, hanem – újszerű megoldásként – különféle kiemelt képi tartalmi tulajdonság-térképek (ú.n. szaliencia térképek, relatív mélység-élesség térképek, fókuszban lévő területek kiemelése stb.) pontfelhőkkel együtt történő feldolgozását. Míg az előbbi módszerek elsősorban felismerési és osztályozási, az utóbbiak inkább akadály-jelzési és elkerülési feladatok megoldásában jelenthetnek előrelépést.
Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
A projekt eredményei különböző alkalmazási területen hozhatnak fejlődést: videofelügyeleti rendszerekben, gépjármű-vezetést segítő rendszerekben, illetve a gyártástechnológiai ellenőrző rendszerekben, ahol a hagyományos egyszenzoros érzékelés felismerési eredményei nem elég hatékonyak, vagy nem elég általánosak. Mivel az új típusú szenzorok adatainak optimális feldolgozására nem állnak még rendelkezésre kiforrott módszerek, a projektben elvégzett fejlesztések várhatóan nemzetközi szinten is újdonságot fognak hozni. Másrészről a különböző szenzorgyártók számára is fontos visszajelzés egy-egy új felhasználási terület megtalálása, ami a szenzorok továbbfejlesztési irányait is befolyásolhatja.
A kutatás nagy gyakorlati jelentőségű és gyors technológiai fejlődés által meghatározott területet érint, azonban a nemzetközi szintű versenyképességét biztosítani fogja a legújabb 2D és 3D szenzorrendszerek rendelkezésre állása, az MTA SZTAKI és a projektcsapat szakmai tapasztalata és kiválósága 3D adatfeldolgozás és gépi felismerés területén, valamint a vezető ipari partnerekkel való együttműködés lehetősége. Az autós érzékelés oldaláról a projekt felhasználja a befogadó intézet 2015-ös akadémiai infrastruktúra pályázatának támogatásával felszerelt autonóm járműirányítási kutatólaboratóriumot, valamint háttérmodellnek a Budapest Közút Zrt. Közúti Adatgyűjtő REndSzere által biztosított 3cm-es felbontású pontfelhő térképet.
A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
A gépi környezetmegfigyelés sokféle érzékelőt és kiforrott intelligens módszert használ, ám egyszerre csupán egy szemüvegen keresztül vizsgálva a világot gyakran hibázhatunk. Mivel napról napra új, különböző elveken működő eszközök jelennek meg a piacon, a megfelelő szenzorok kiválasztása és használatuk optimális ötvözése egyre szerte ágazóbb kihívásokat hordoz magában. A pályázó kutatócsoport több éve intenzíven foglalkozik különböző vizuális kamera alapú érzékelők, illetve valós idejű 3D adatokat szolgáltató lézerszkennerek adatainak elemzésével külön útvonalakon, felmérve az egyes szenzorok előnyeit és hátrányait egyaránt. A jelen pályázatban a két modalitás egyesítésével fogunk az eddigieknél pontosabb és megbízhatóbb alakzat- és eseményfelismerő módszereket kidolgozni, elsősorban kültéri környezetben végzett felismerési problémákat megcélozva. Megvizsgáljuk, hogy a képi alapú felismerési eljárásaink milyen mértékben bővíthetők és fejleszthetők az alacsony térbeli sűrűségű de pontos 3D méréseket rendelkezésre bocsátó Lidar szenzorok figyelembe vételével, illetve a Lidaros, elsősorban geometriai jellegű adatelemzésen alapuló navigációs módszerek mennyire pontosíthatók a képek különleges, magas szintű tartalmi leíróinak integrálásával. A projekt eredményei különböző, a mindennapjainkat érintő alkalmazási területeken hozhatnak fejlődést, úgy, mint videofelügyeleti rendszerekben, gépjármű-vezetést segítő rendszerekben, valamint gyártástechnológiai ellenőrző alkalmazásokban.
| Summary Summary of the research and its aims for experts
Describe the major aims of the research for experts.
Various key aspects of machine-based environment interpretation are the automatic detection and recognition of objects, obstacle avoidance in navigation, and object tracking in certain applications. Integrating visual sensors, such as video cameras, with sensors providing direct 3D spatial measurements, such as Lidars may offer various benefits (high spatial and temporal resolution, distance, color or illumination invariance). However, fusing the different data modalities often implies sensor specific unique challenges. Since the data characteristics provided by the recently appeared 3D laser scanners is significantly different from earlier sensors, the options of data fusions are not widely exploited yet in the literature. On the other hand, the results are not only interesting from a scientific point of view, but they also provide useful information regarding possible future utilization, which may mean benefits for hardware manufacturers.
Another set of critical problems are dynamic event recognition and change detection. The research article counted as the basis of the proposal contains important preliminary results regarding this aspect, presenting various Markovian change detection methods based on feature fusion. The article compared direct feature-differencing based techniques to post classification comparison approaches, which experiences can be highly utilized in the project by generalization to 3D data processing. The project will also offer possibilities to gifted undergraduate and PhD students to join the addressed research work, particularly for master students of the Pázmány Catholic University, and the Budapest University of Technology and Economics.
What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
The main goal of the project is to combine the newest 3D sensors with traditional high resolution cameras to obtain new pattern recognition, scene understanding event and change detection methodologies, extend the validity of the existing methods or making them more accurate. Although sensors other than optical cameras - radars, Lidars, sonars – are appropriate at a certain degree (depending on sensor-to-object distance) to detect obstacles and field objects, fusing them with image features can significantly enhance their performance. Fusing the implicit depth maps and 3D spatial data provided by active sensors, such as Lidars, with camera images aligned to the point clouds may provide particular benefits in object detection and recognition. Such fusion processes can be based not only on standard registration methodologies of colored camera images and Lidar point clouds, but also may use image content-based feature maps (saliency maps, relative depth maps, focus regions etc), integrated with point clouds. While the earlier mentioned methods can efficiently contribute to recognition and classification tasks, the later ones may facilitate the solution of obstacle detection and avoidance problems.
What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
The results of the project will allow progress various application fields: video surveillance systems, advanced driving assistant systems or in fabric quality inspection systems, where the traditional single sensor based perception is not efficient enough, does not work under certain circumstances. Since for the optimal utilization of the new generation sensor data still does not have established methodologies, the developments of the project will ensure international relevance. On the other hand, by finding new application areas we may give important feedbacks for the sensor manufacturers, which may influence the directions of further hardware developments.
The proposed topic will address a field with high practical relevancy, where the background is determined by extremely quickly developing technology. High international competitiveness of the project is ensured through the availability of the latest 2D and 3D sensors, experience and excellence of MTA SZTAKI and the project team in 3D data processing and machine vision, and cooperation with outstanding industrial partners. For onboard 3D and visual test data collection the project will utilize the host institute's new autonomous driving control laboratory, obtained by an academic infrastructure grant in 2015, and as background data, dense point cloud maps provided by the Budapest's Road Management Department.
Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
Machine based environment perception uses various sorts of sensing hardware and established software tools, however, observing the world using a single sensor may often lead to errors and misdetections. Since nowadays newer and newer commercial sensors appear, following various technological principles, optimal sensor selection and the way of data fusion indicates a number of challenges. The research group of the proposer has intensively dealt with analyzing camera images, and real time 3D data provided by laser scanners separately for several years, and the advantages and drawbacks of the different sensors have already been investigated. In the present project, we will integrate the two modalities to obtain more accurate and more reliable objects and event recognition methods. We will examine, how our image based recognition methods can be extended and improved with using low density but accurate 3D Lidar measurements, while the Lidar based, primarily geometry level algorithms used in navigation can be improved with adopting particular, high level content descriptors extracted from images. The results of the project will allow progress in various application fields from our everyday life, such as video surveillance, advanced driving assistant systems or in fabric quality inspection systems.
|
|
|
|
|
|
|
|
|
|
