Exploration of the environment in dynamic scenery from partial views  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
120499
Type K
Principal investigator Szirányi, Tamás
Title in Hungarian Tájékozódás dinamikus környezetben részleges látványokból
Title in English Exploration of the environment in dynamic scenery from partial views
Keywords in Hungarian gépi látás, mélytanulás, képi jellemzők, szimultán lokalizáció és feltérképezés, változás detekció
Keywords in English machine vision, deep learning, salient features, simultan localization and mapping, alteration detection
Discipline
Information Technology (Council of Physical Sciences)70 %
Ortelius classification: Informatics
Electronic Devices and Technologies (Council of Physical Sciences)30 %
Panel Natural Sciences Committee Chairs
Department or equivalent Computer and Automation Research Institute HAS
Participants Huszák, Árpád
Maha, Shadaydeh
Majdik, András László
Manno-Kovács, Andrea
Manno-Kovács, Andrea
Starting date 2016-10-01
Closing date 2019-09-30
Funding (in million HUF) 35.516
FTE (full time equivalent) 4.72
state running project





 

Final report

 
Results in Hungarian
Ebben a munkában a cél az volt, hogy különböző optikai szenzorok adatait minél jobban fúzionáljuk, és hiányos vagy zajos adatkészletek esetére is dolgozzunk ki szemantikusan is értékelhető eljárásokat. Eredményeink között van a légi-felvételeken alapuló magas szintű képszegmentálási megoldás, vagy a szimultán lokalizáció és térképezés folyamatának kiterjesztése változásdetekcióval is, ahelyett, hogy 3D modellek generálása útján érjünk el költséges összehasonlításokat. Az útvonalak helyes geometriájának becsléséhez kidolgoztunk új gráf-elemző eljárásokat, valamint kezdeti-gráf becslő eljárást. A 3D felismerés céljaira új, részben mélytanulás alapú, módszertant hoztunk létre, melyeket valós körülmények között teszteltünk. A 3D források és nézetek kalibrálására új módszereket dolgoztunk ki, ahol az optimalizálandó becslés szabadsági fokát megfelelő geometriai kapcsolat esetén sikerült jelentősen csökkenteni. A különböző modalitások idő és tér-alapú fúziója az eddigieknél robusztusabb és pontosabb kép szegmentálási megoldásokhoz vezettek. Új adatbázisokat hoztunk létre a módszerek teszteléséhez valós körülmények között is.
Results in English
In this work, we fused the image-like data from different modalities: camera, Lidar, infra, multi-channel. We used new solutions for data-fusion, recognition and calibration in 3D computer geometry. For the positioning and repeated SLAM tracking we have introduced a new fast and robust algorithm for pose-graph initialization, and a wormhole detection method to find source-errors in the sensors’space. We also have developed a novel change detection solution from SLAM error-estimation procedure instead of 3D point cloud generation and comparison. Deep learning has important role in several cases in the project to define semantic information: monocular depth map and object categorization, finding the most appropriate colors for color-less images as a semantic proof, recognition of objects of poor data-set, or blind image- or video-quality estimation. For the above works we had to generate some own image/video databases, and also using reference data-sets for correct comparison. The proof of the development in this competitive area is a serious demand, with time-consuming evaluation. However, we have achieved strong development in several cases, published them in the best journals and conferences. In many cases, the sensorial information is incomplete or noisy; we had solutions for these cases to retrieve as much additional semantic meaning from the data as possible.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=120499
Decision
Yes





 

List of publications

 
Rozsa Z, Sziranyi T: Object detection from a few LIDAR scanning planes, IEEE Transactions on Intelligent Vehicles xx: (x) pp. 1-13., 2019
Zoltan Rozsa, Marcell Golarits , Tamas Sziranyi: Localization of map changes by exploiting SLAM residuals, ACIVS 2020 submitted, 2020
Karoly Harsanyi, Attila Kiss, Tamas Sziranyi, Andras Majdik: MASAT: a fast and robust algorithm for pose-graph initialization, Pattern Recognition Letters, revision submitted, 2019
Vlad Hosu, Hanhe Lin, Tamas Sziranyi, Dietmar Saupe: KonIQ-10k: An ecologically valid database for deep learning of blind image quality assessment, IEEE TRANSACTIONS ON IMAGE PROCESSING, AQ subm, 2019
Rozsa Z, Sziranyi T: Street object classification via LIDARs with only a single or a few layers, In: IEEE (szerk.) 3rd IEEE International Conference on Image Processing, Applications and Systems, IPAS 2018, IEEE (2019) pp. 156-161., 2019
Rózsa Z, Szirányi T: Utcai objektumok osztályozása LIDAR adatokon csak egyetlen vagy néhány síkból, In: KÉPAF 2019. Képfeldolgozók és Alakfelismerők Társaságának 12. országos konferenciája, (2019) pp. 1-15., 2019
Szirányi T, Kriston A, Majdik A, Tizedes L: Fusion Markov Random Field Image Segmentation for a Time Series of Remote Sensed Images, In: Faragó, I; Izsák, F; Simon, P L (szerk.) Progress in Industrial Mathematics at ECMI 2018, 20th European Conference on Mathematics for Industry, Springer (2019) pp. 99-107., 2019
Varga D, Szirányi T: No-reference video quality assessment via pretrained CNN and LSTM networks, SIGNAL IMAGE AND VIDEO PROCESSING pp. 1-8., 2019
Manno-Kovács A, Majdik A, Szirányi T: Satellite and Aerial Image Processing for Smart Farming and Biodiversity Conservation, ERCIM NEWS (113) pp. 33-34., 2018
Szirányi T, Havasi L: Observation on Earth and from the sky, In: Finszter, G; Sabjanics, I (szerk.) Security challenges in the 21st century, Dialóg Campus Kiadó (2018) pp. 401-410., 2018
Majdik AL; Till C; Scaramuzza D: The Zurich urban micro aerial vehicle dataset, INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH, 2017
Varga D, Szabó Cs A, Szirányi T: Automatic Cartoon Colorization Based on Convolutional Neural Network, In: ACM (szerk.) (szerk.) CBMI '17. Proceedings of the 15th International Workshop on Content-Based Multimedia Indexing. New York: ACM Press, 2017. pp. 1-6., 2017
Varga D, Szirányi T: Robust real-time pedestrian detection in surveillance videos, J AMBIENT INTELL HUMAN COMPUT 8: (1) 79-85, 2017
Varga D, Szirányi T: Twin deep convolutional neural network for example-based image colorization, LECT NOTES ARTIF INT 10424: 184-195, 2017
Varga D, Szirányi T: Person Re-identification based on Deep Multi-instance Learning, In: EURASIP (szerk.) (szerk.) 25th European Signal Processing Conference (EUSIPCO). Kos: EURASIP, 2017. pp. 1604-1608., 2017
Majdik A L, Tizedes L, Bartus M, Szirányi T: Photogrammetric 3D reconstruction of the old slaughterhouse in budapest, In: IEEE (szerk.) (szerk.) 2016 International Workshop on Computational Intelligence for Multimedia Understanding (IWCIM). Piscataway: IEEE, 2016. pp. 1-5., 2016
Varga D, Szirányi T: Fast content-based image retrieval using Convolutional Neural Network and hash function, In: Szakál A (szerk.) (szerk.) 2016 IEEE International Conference on Systems, Man, and Cybernetics Conference Proceedings: SMC 2016. Budapest: IEEE, 2016. pp. 2636-2640., 2016
Varga D, Szirányi T: Fully automatic image colorization based on Convolutional Neural Network, In: IEEE (szerk.) (szerk.) 23rd International Conference on Pattern Recognition (ICPR). Cancun: IEEE, 2016. pp. 3680-3685., 2016
Hosu V, Hahn F, Jenadeleh M, Lin H, Men H, Szirányi T, Li S, Saupe D: The Konstanz natural video database (KoNViD-1k), In: [sn] (szerk.) (szerk.) 9th International Conference on Quality of Multimedia Experience, QoMEX 2017. [s. l.] - Nemzetközi: IEEE, 2017. pp. 1-6., 2017
Shadaydeh, M, Zlinszky, A, Manno-Kovács, A , Sziranyi,T: Wetland mapping by fusion of airborne laser scanning and multi-temporal multispectral satellite imagery, INT J REMOTE SENS 38: (23) 7422-7440, 2017
Rozsa Z, Sziranyi T: Object detection from partial view street data, In: IEEE (szerk.) (szerk.) 2016 International Workshop on Computational Intelligence for Multimedia Understanding (IWCIM). Piscataway: IEEE, 2016. pp. 1-5., 2016
Manno-Kovács Andrea, Kovács Levente: Lightweight Monocular Obstacle Avoidance by Salient Feature Fusion, ICCV 2017, IEEE, Velence, 2017
Varga D, Szirányi T: Robust real-time pedestrian detection in surveillance videos, J AMBIENT INTELL HUMAN COMPUT 8: (1) 79-85, 2017
Harsányi K, Kiss A, Majdik A, Sziranyi T: A Hybrid CNN Approach for Single Image Depth Estimation: A Case Study, Multimedia and Network Information Systems. Proceedings of the 11th International Conference MISSI 2018. Konferencia helye, ideje: Wrocław, Lengyelország, 2018
Rózsa Z, Szirányi T: Obstacle Prediction for Automated Guided Vehicles Based on Point Clouds Measured by a Tilted LIDAR Sensor, IEEE Transactions on Intelligent Transportation Systems, 2018
Harsányi Károly, Kiss Attila, Szirányi Tamás: Wormhole Detection in Wireless Sensor Networks Using Spanning Trees, 2018 IEEE International Conference on Future IoT Technologies, Future IoT 2018., 2018
Varga D, Szirányi T: A comparative study of about how image quality influences convolutional neural networks, IX. magyar számítógépes grafika és geometria konferencia, GRAFGEO 2018., 2018
Rózsa Z, Szirányi T: Városi objektum felismerés mindösszesen néhány LIDAR szkennelési síkból, IX. magyar számítógépes grafika és geometria konferencia, GRAFGEO 2018., 2018
Varga D, Saupe D, Szirányi T: DeepRN: A Content Preserving Deep Architecture for Blind Image Quality Assessment, IEEE International Conference on Multimedia and Expo (ICME) 2018. San Diego, 2018
Harsányi K, Kiss A, Majdik A, Szirányi T: Robusztus kezdeti pozíció-gráf előállítása hatékony szimultán helymeghatározási és térképezési rendszerekhez, NJSZT KÉPAF 2017: Képfeldolgozók és Alakfelism, 2017
Baráth D, Hajder L: Efficient Recovery of Essential Matrix From Two Affine Correspondences, IEEE Tr. Image Processing, 2018
Barath D: Approximate Epipolar Geometry from Six Rotation Invariant Correspondences, Proceedings of the 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - Volume 5: VISAPP, 464-471, 2018, Funch, 2018
Daniel Barath: Recovering Affine Features from Orientation- and Scale-Invariant Ones, ACCV 2018: Computer Vision – ACCV 2018 pp 266-281, LNCS V. 11361, 2019
Daniel Barath, Ivan Eichhardt, Levente Hajder: Optimal Multi-View Surface Normal Estimation Using Affine Correspondences, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 7, JULY 2019, 2019
Ivan Eichhardt,: Optimal Multi-view Correction of Local Affine Frames, 30th British Machine Vision Conference, BMVC 2019, pp. 1-12. Paper: 0816, 2019





 

Events of the project

 
2018-01-29 12:28:35
Résztvevők változása




Back »