Consortional main: Beyond Point-based Geometric Alignment, Fusion, 3D Reconstruction and Recognition of Visual Objects  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
120366
Type K
Principal investigator Kató, Zoltán
Title in Hungarian Konzorcium, fő p.: Vizuális objektumok geometriai illesztése, fúziója, 3D rekonstrukciója és felismerése pontmegfeleltetések nélkül
Title in English Consortional main: Beyond Point-based Geometric Alignment, Fusion, 3D Reconstruction and Recognition of Visual Objects
Keywords in Hungarian multimodális regisztráció, illesztés, fúzió, rekonstrukció, 3D objektumfelismeres kamera kalibráció, körbelátó kamera, Lidar
Keywords in English multimodal registration, alignment, fusion, reconstruction, 3D object recognition, camera calibration, omni camera, Lidar
Discipline
Information Technology (Council of Physical Sciences)100 %
Ortelius classification: Informatics
Panel Natural Sciences Committee Chairs
Department or equivalent Department of Image Processing and Computer Graphics (University of Szeged)
Participants Abdellali, Hichem
Fröhlich, Róbert
Sánta, Zsolt
Tanács, Attila
Starting date 2016-12-01
Closing date 2021-11-30
Funding (in million HUF) 21.907
FTE (full time equivalent) 8.04
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
Mit is jelent egy kép megértése? Napjaink számítógépes látás rendszereiben a tisztán szegmens szintű feldolgozás kevés információval szolgál az objektum 3D térben való elhelyezkedéséről. Az újabb kutatási munkák a színteret 3D térfogatok és felszínek által próbálják értelmezni, ezáltal képesek az objektumokat úgy leírni, ahogy azok a 3D világban léteznek, elrugaszkodva a képsík megkötéseitől. Az ilyen megközelítésnek számtalan alkalmazása lehetséges úgy, mint objektum detektálás, autonóm járművek, navigáció, SmartCity vagy akár kulturális örökségvédelem. Mivel a mélység szenzorok csak tisztán geometriai adatot szolgáltatnak a színtérről, radiometriai méréseket külön spektrális kamerával szükséges rögzítenünk. Ezért a vizuális adatok teljes megértéséhez ezeknek egy összevont reprezentációjára van szükség. Egy ilyen összetett adat előállításához elengedhetetlen a különböző szenzorok fúziója, tehát egy modern 3D kamerarendszer kulcsfontosságú része a 2D képek 3D pontfelhővel való geometriai illesztése. Például a Kinect egy színes kamerát és egy strukturált fény alapú mélység szenzort tartalmaz, ezeket viszont gyárilag mereven rögzítik, így a geometriai illesztésük már gyártáskor megtörténik. Sajnos az ilyen típusú 2D-3D eszközök korlátozott nézeteket képesek csak produkálni, és a beépített szenzorok képességei is erős megkötéseket adhatnak. A projektben a felsimerés, rekonstrukció, regisztráció és heterogén szenzorokból, különösen Lidar és ToF kamerákból származó 3D adatok fúziójának alapvető problémáit valamint a perspektív és nem-perspektív képekből passzív sztereó és többnézetes rekonstrukció feladatait kutatjuk, mindezt egy új, régió alapú megközelítésben.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
A projektben a rekonstrukció, regisztráció, fúzió és a heterogén 2D/3D adatból történő felismerés alapvető problémáit tárgyaljuk.
1) Egy folt alapú kamera független 3D rekonstrukció kidolgozása, amely a-priori részleges 3D információt is felhasználva modern energia minimalizációs módszerekre (pl. gráfvágás) és valószínűségi modellekre (MRF, CRF) épül.
2) Mind a regisztráció, mind a rekonstrukció során szükség van a bemeneti adatok megfeleltetésére. A mi megközelítésünkben folt-megfeleltetésekre van szükség, erre új, különböző modalitásokon működő folt megfeleltető módszereket dolgozunk ki.
3) Hogyan lehetséges különböző szenzorok adataiból készült 3D rekonstrukciók hatékony fúziója? Ha adott a színtér referencia 3D modellje, hogyan illesszünk erre 2D képeket, vagy hogyan detektáljuk a referencia állapothoz képest történt változást?
4) Különböző mélység szenzorokkal vagy akár 2D képekből 3D rekonstrukcióval generált 3D pontfelhők egyesítése alapvető feladat egy komplex objektum 3D modelljének előállításában. Olyan módszereket dolgozunk ki amelyekkel mélység kamerák és más, részleges átfedésben levő szenzorok egyesíthetőek, ezáltal a mélység szenzorok korlátozásait (pl. üveg felületek, takarás) legyőzve.
5) A legtöbb objektum-felismerő rendszer 2D kamerákat használ, mivel a 3D információ kinyeréséhez speciális szenzorokra lenne szükség, amelyek nem mindenhol állnak rendelkezésre, vagy „structure from motion” megoldásra, ami viszont túl nagy számításigényű. A mi megközelítésünkben IMU szenzorokat és 2D kamerákat használva egy interaktív felismerő modellt készíthetünk a 3D információ kevésbé precíz mérésére.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
Különböző modalitásokon történő 3D rekonstrukcióval, regisztrációval, fúzióval és felismeréssel foglalkozunk. A legfőbb elméleti hozzájárulásunk egy általános keretrendszer kidolgozása a kamera modelltől független geometriai illesztésre és rekonstrukcióra. Míg a szakirodalom kulcspontok megfeleltetésével és komplex optimalizálással oldja meg a problémát, addig mi olyan általános módszert alkalmazunk, amely a képi régiókat direkt módon használva határozza meg a geometriai kapcsolatot a 3D térben. Áttörést jelenthet az egyesített elmélet létrehozása a 2D-3D illesztésre, illetve annak széleskörű alkalmazhatósága 2D és 3D szenzorokra. Fontos alkalmazási terület lehet például a biztonságtechnika, az ipari vizuális minőségellenőrzés, intelligens navigáció, SmartCity (úthálózatok,épületek feltérképezése és megfigyelése) és kulturális örökségvédelem örökségvédelmi tárgyak és épületek precíz térbeli és spektrális dokumentálása). A biztonsági alkalmazások tipikusan többféle szenzort használnak (pl. lidar,infra szenzor), amelyek egy mozgó robotra/UAV-ra vannak szerelve. Ezen heterogén adatok fúziójára is képes lesz a módszerünk. Újszerű módszereket dolgozunk ki továbbá a mélységi adat 2D spektrális képekkel való fúziójára, amely lehetővé teszi heterogén vizuális adatok 3D-2D illesztését. A projekt keretein belül javasolt algoritmusok számításigénye alacsony és csak kis mértékben igényelnek felhasználói interakciót. A számításigény csökkentése nem csak valós idejű végrehajtáshoz vezet, de egyúttal alacsonyabb teljesítményű gépeken is elérhetővé teszi a megoldást, ezzel csökkentve a költségeket és lehetővé téve a beágyazott látó-rendszerekben való alkalmazásukat (pl. autóiparban).

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
Napjainkban gyakran kombinálnak különböző szenzor információkat és megközelítéseket annak érdekében, hogy részletes, geometriailag helyes és megfelelően textúrázott 3D vagy 4D (térbeli illetve időbeli) modellt építsenek egy tárgy vagy színtér számára, ill. hogy lehetővé váljon az objektumok detektálása és felismerése. Vizuális és nem-vizuális szenzor-adatokat gyakran fuzionálnak, hogy megbirkózzanak a változó megvilágítással, felületi tulajdonságokkal, mozgással és takarással. Megközelítésünk általános módszert biztosít, amely direkt módon meghatározza a háromdimenziós felület darabjait. Gyakorlati szempontból egy ilyen módszer új lehetőségeknek nyit utat a passzív rekonstrukció, felismerés vagy a 3D mélység adat és 2D képek fúziója terén. Fontos alkalmazási terület lehet például a biztonságtechnika (felügyelet), ipar (vizuális minőségellenőrzés) és intelligens navigáció (autonóm járművek). A kifejlesztett algoritmusok nagy hatékonyságúak és csak minimális felhasználói interakciót igényelnek. A számításigény csökkentése nem csak az esetleges valós idejű végrehajtáshoz fontos, hanem egyúttal alacsonyabb teljesítményű gépeken is elérhetővé teszi a megoldást, ezzel csökkentve a költségeket. Mindez megnyitja az utat a beágyazott rendszerek felé is, ahol a rendelkezésre álló korlátozott számítási teljesítmény nem tette lehetővé az eddigi módszerek használatát. Így a módszerünk hozzájárulhat olyan izgalmas technológiák fejlődéséhez, mint a mobil eszközök, autonóm járművek és drónok
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.
What does it mean to understand an image? The purely segment-level understanding of many current computer vision systems tells us little about where objects are located in 3D. Recent work has focused on obtaining a geometric understanding of the scene in terms of the 3D volumes and surfaces. This representation enables reasoning about the objects as they exist in a 3D world, rather than simply in the image plane, and has been demonstrated to have a myriad of applications for object detection,autonomous driving ,navigation,SmartCity or cultural heritage. On one hand, current depth sensors will only produce a purely geometric representation of the scene, any radiometric measurement has to be done with a 2D spectral camera. On the other hand, for understanding visual data, one needs a joint geometric - radiometric representation. However, such a complex representation can only be produced by fusing different visual sensors, thus a key component of a modern 3D camera system is the geometric alignment of 3D point clouds and 2D pixel arrays. For example, Kinect combines a color camera with a depth sensor projecting structural light. When these cameras are built together, the geometric alignment is guaranteed by construction. However, such a depth-RGB camera rig can only produce limited views and are restricted to the capabilities of the built-in sensors. In this project, we will address the fundamental problem of reconstructing,aligning,fusing, and recognizing 3D data from heterogeneous visual sensors, in particular, Lidar and ToF cameras, passive stereo and multiview reconstruction from perspective and non-perspective imagery using a novel patch-based methodology.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
In this project, we will address the fundamental problem of reconstructing, aligning, fusing, and recognizing 3D data from heterogeneous visual sensors:
1) A patch-based camera independent 3D reconstruction algorithm, which is cabaple to make use of a priori partial 3D information and builds upon modern energy minimization approaches (e.g. graph cut) and probabilistic models (MRF or CRF).
2) Both reconstruction and registration algorithms rely on correspondences between the input images. Our approaches requires region-correspondences, hence we develop efficient patch-matching algorithms across camera images of potentially different modality.
3) Given 3D reconstructions of an object from different sensors, how can we efficiently fuse such data? Having a reference 3D representation of a scene, how to map 2D images or detect changes w.r.t. a reference state ?

4) Combining 3D point clouds obtaind from various range sensors or from 2D imagery via 3D reconstruction is a fundamental question in producing a 3D model of a complex object. We develop methods to combining range cameras with partially overlapping views of other sensors to overcome depth sensor limitations (e.g. glass surfaces) or occlusions.
5) Most object recognition systems use only 2D projections since 3D information would require special sensors not available or structure from motion would need too intensive computations. In our approach the combination of IMUs and 2D cameras are to be used in viewer centered interactive recognition model to gain rough 3D information.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
We address the problem of 3D object reconstruction, alignment, fusion, and recognition with various modalities. The main theoretical contribution is a general framework for camera independent geometric alignment and reconstruction. While state of the art methods currently solve the problem via landmark matching and complex optimization; we provide a generic way to work with image patches and directly provide the geometric relation between the corresponding 3D surface patches. Thus the breakthrough consists in a unified theory of 2D-3D image alignment and its application to widely used 2D and 3D visual sensors. Important examples occur in surveillance, industry (visual inspection), autonomous driving, SmartCity (mapping and monitoring of roads, buildings) as well as cultural heritage (precise spatial and spectral documentation of cultural heritage objects and building). Environment monitoring or rescue operations typically rely on various sensors (e.g. lidar, infrared sensors), potentially mounted on moving robots/UAVs, which requires reliable fusion of these heterogeneous data. We will develop calibration algorithms capable to fuse such diverse visual informations. We also develop novel methods for the fusion of range data with 2D spectral imagery, which allows for 3D-2D registration of heterogeneous visual information. The algorithms proposed in this this project are computationally efficient and require little user interaction. The reduction of computational complexity not only means potential real-time speed, but also allows the use of conventional hardware (thus reducing costs) and embedded vision systems (e.g. in automotive industry).

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
Today, different sensors and approaches are often combined to achieve the goal of building a detailed, geometrically correct and properly textured 3D or 4D (spatio-temporal) model of an object or a scene, or to achieve reliable object detection and recognition. Visual and non-visual sensor data are fused to cope with varying illumination, surface properties, motion and occlusion. Our approach provides a generic way to work with image patches and directly provides the corresponding 3D surface patches. From a practical point of view, such a method opens new possibilities for the application of passive reconstruction, recognition, as well as fusion of 3D depth data with 2D imagery. Important examples occur in security (surveillance), industry (visual inspection), and intelligent transportation (autonomous driving). The algorithms proposed in this project are computationally efficient and require little user interaction. For example, the reduction of computational complexity not only means potential real-time speed, but also allows the solution of problems on conventional hardware, thus reducing costs. Furthermore, it paves the way for embedded vision systems, where limited computing power does not allow the use of current techniques. Thus our algorithms can contribute to such exciting technologies as mobile computing, autonomous vehicles or drones.




 

Final report

  
Results in Hungarian
Ennek a kutatási projektnek az volt a célja, hogy általános algoritmusokat dolgozzon ki pontmegfelelések nélküli képfoltok feldolgozására, és közvetlenül előállítsa a megfelelő 3D-s információkat (felszíni foltok, póz vagy felismerés). Gyakorlati szempontból ezek a módszerek új lehetőségeket nyitnak a 3D-s mélységadatok rekonstrukciójának, felismerésének és 2D-s képekkel való egyesítésének alkalmazásában. Fontos alkalmazási területek a biztonság (felügyelet), az ipar (vizuális minőségellenőrzés) és az intelligens közlekedés (önvezető járművek) területén. Az ebben a projektben javasolt algoritmusok számításilag hatékonyak, és kevés felhasználói interakciót igényelnek, így megnyitják az utat a beágyazott vizuális rendszerek számára, ahol a korlátozott számítási teljesítmény nem teszi lehetővé számos jelenlegi technika alkalmazását. Így algoritmusaink olyan izgalmas technológiákhoz járulhatnak hozzá, mint a mobil számítástechnika, az autonóm járművek vagy a drónok. A projekt tudományos eredményeinek mennyiségi összefoglalása: - 11 nemzetközi folyóirat: 7 Q1 és 4 Q2 cikk, kumulatív IF: 59.426 - 23 nemzetközi konferencia cikk - 11 egyéb előadás (csak absztraktokkal) - 6 PhD értekezés - Az újonnan kifejlesztett módszerek 5 nyilvánosan elérhető demo implementációja - 4 nemzetközi együttműködési partner az EU-ból
Results in English
This research project aimed to produce generic ways of working with image patches (without point correspondences) and to directly provide the corresponding 3D information (surface patches, pose, or recognition). From a practical point of view, these methods open new possibilities for the application of reconstruction, recognition, and fusion of 3D depth data with 2D imagery. Important examples occur in security (surveillance), industry (visual inspection), and intelligent transportation (autonomous driving). The algorithms proposed in this project are computationally efficient and require little user interaction, paving the way for embedded vision systems, where limited computing power does not allow the use of many current techniques. Thus, our algorithms can contribute to exciting technologies such as mobile computing, autonomous vehicles, or drones. Quantitative summary of the scientific outputs of the project: - 11 International journal papers: 7 Q1 and 4 Q2 articles, cumulative IF: 59.426 - 23 International conference papers - 11 Other presentations (with abstracts only) - 6 PhD Thesis - 5 publicly available demo implementations of the newly developed methods - 4 international collaboration partners from EU
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=120366
Decision
Yes





 

List of publications

  
K. B. Alaya and L. Czuni: Stochastic modeling of trees in forest environments, IEEE Access, vol. 9, pp. 69 143–69 156, 2021, 2021
K. B. Alaya and L. Cz´uni: Cnn-based tree model extraction, IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS), 2021, 2021
S. Molnar, B. Kelenyi, and L. Tamas: Efficient normal estimation for time-of-flight depth cameras, Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2021, pp. 1791–1798, 2021
A. M. Nagy and L. Czuni: Detecting object defects with fusioning convolutional siamese neural networks, VISIGRAPP (5: VISAPP), 2021, pp. 157–163, 2021
Frohlich Robert, Tamas Levente, Kato Zoltan: Absolute Pose Estimation of Central Cameras Using Planar Regions, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 43: (2) pp. 377-391., 2021
Abdellali Hichem, Kato Zoltan: 3D reconstruction with depth prior using graph-cut, CENTRAL EUROPEAN JOURNAL OF OPERATIONS RESEARCH 29: (2) pp. 387-402., 2020
Gabriela Csurka, Zoltan Kato, Andor Juhasz, Martin Humenberger: Estimating Low-Rank Region Likelihood Maps, In: IEEE, . (szerk.) 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE (2020) pp. 13773-13782., 2020
Abdellali Hichem, Frohlich Robert, Kato Zoltan: A Direct Least-Squares Solution to Multi-View Absolute and Relative Pose from 2D-3D Perspective Line Pairs, In: IEEE (szerk.) 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), IEEE (2019) pp. 2119-2128., 2019
Abdellali Hichem, Frohlich Robert, Kato Zoltan: Robust Absolute and Relative Pose Estimation of a Central Camera System from 2D-3D Line Correspondences, In: IEEE (szerk.) 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), IEEE (2019) pp. 895-904., 2019
Nagy Gabor: Low rank régiók detektálása körbelátó kamerák képén, TDK, SZTE, Nov 2020, 2020
Verok Noemi: Szín-alapú változásdetekció 3D-2D vizuális adaton, TDK, SZTE, Nov 2020, 2020
Varju Tamas: Geometriai primitívek kinyerése 3D pontfelhőkből, TDK, SZTE, Nov 2020, 2020
Amr M. Nagy, M. Rashad, L. Czúni: Active Multiview Recognition with Hidden Markov Temporal Support, Signal, Image and Video Processing, 1-8, Springer, 2020
L. Czúni, Amr M. Nagy, M. Rashad: Hidden Markov Models for Pose Estimation, International Conference on Computer Vision Theory and Applications (VISAPP 2020), 2020
AndreeaBlaga, Cristian Militaru, Ady-Daniel Mezei, and Levente Tamas: Augmented reality integration into mes for connected workers, Robotics and Computer-Integrated Manufacturing, 9, 2021, 2021
Cosmin Marcu and Levente Tamas: Navigation of outdoor mobile robots with extended grid algorithms, IEEE International Conference on Automation, Quality and Testing, Robotics (AQTR), pages 1–6. IEEE, 2020., 2020
Ady-Daniel Mezei, LeventeTamas, and Lucian Busoniu: Sorting objects from a conveyor belt using pomdps with multiple-object observations and information-gain rewards, Sensors, 20(9):2481, 2020., 2020
Csanad Sandor, Wieser Erik Szabolcs Pavel, AndreeaBlaga, PterBoda, Andrea-OrsolyaFulop, Adrian Ursache, Attila Zold, Aniko Kopacz, Botond Lazar, Karoly Szabo, ZoltnTasndi, BotondTrinfa, LehelCsato, Dan Marius Tegzes, Marian Leontin Pop, Raluca Alexandra Tarziu, Mihai-Valentin Zaha,Sorin Mihai Grigorescu, Lucian Busoniu, Paula Raica, and Levente Tamas: The clujuav student competition: A corridor navigation challenge with autonomous drones, IFAC World Congress., 2020
László Czúni, Zoltán Varga: Time Domain Audio Features for Chainsaw Noise Detection Using WSNs, IEEE Sensors Journal 17:(9) pp. 2917-2924. (2017), 2017
Laszlo Czuni, Metwally Rashad: The use of IMUs for video object retrieval in lightweight devices, J. Vis. Commun. Image R., 48 (2017) 30–42, 2017
Andreea Blaga and Levente Tamas: Augmented reality for digital manufacturing, In 2018 26th Mediterranean Conference on Control and Automation (MED), pages 173–178. IEEE, 2018
L Czúni, A Kürtösi, K. B. Alaya: Color Based Clustering for Trunk Segmentation, International Conference on Systems, Signals and Image Processing, 2018
Andrea-Orsolya Fulop and Levente Tamas: Lessons learned from lightweight cnn based object recognition for mobile robots, IEEE International Conference on Automation, Quality and Testing, Robotics (AQTR), pages 1–5. IEEE, 2018
Lipovits Ágnes, Seress Gábor, Czúni László: Szoftvertámogatás területek urbanizációs indexének számításához, Urbanizációs Ökológia Konferencia, 2018
Lorinc Marton and Levente Tamas: Wireless data rate controller design for networked control applications, Mediterranean Conference on Control and Automation (MED), pages 1–6. IEEE, 2018
Delia Mitrea and Levente Tamas: Manufacturing execution system specific data analysis-use case with a cobot, IEEE Access, 6:50245–50259, 2018
Szakonyi, B., Lőrincz, T., Lipovits, Á., Vassányi, I: An Expert System Framework for Lifestyle Counselling, eTELEMED, 2018
Levente Tamas and Mircea Murar: Smart cps: vertical integration overview and user story with a cobot, International Journal of Computer Integrated Manufacturing, vol. 32, no. 4-5, pp. 504–521, 2019, 2019
Szakonyi, B., Lőrincz, T., Lipovits, Á., Vassányi, I: Rule-base formulation for clips-based work ergonomic assessment, Hungarian Journal of Industry and Chemistry, 2019
Amr M. Nagy, M. Rashad, L. Czúni: Active Multiview Recognition with Hidden Markov Temporal Support, Signal, Image and Video Processing, vol. 15, no. 2, pp. 315–322, 2021, 2021
Andreea Blaga, Cristian Militaru, Ady-Daniel Mezei, and Levente Tamas: Augmented reality integration into mes for connected workers, Robotics and Computer-Integrated Manufacturing, 9, 2021, 2021
Ady-Daniel Mezei, Levente Tamas, and Lucian Busoniu: Sorting objects from a conveyor belt using pomdps with multiple-object observations and information-gain rewards, Sensors, 20(9):2481, 2020., 2020
Robert Frohlich, Levente Tamas, and Zoltan Kato: Absolute Pose Estimation of Central Cameras Using Planar Regions, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019
Hichem Abdellali, Robert Frohlich, Zoltan Kato: A Direct Least-Squares Solution to Multi-View Absolute and Relative Pose from 2D-3D Perspective Line Pairs, ICCV Workshop on 3D Reconstruction in the Wild (ICCV-3DRW), 2019
Hichem Abdellali, Robert Frohlich, Zoltan Kato: Robust Absolute and Relative Pose Estimation of a Central Camera System from 2D-3D Line Correspondences, ICCV Workshop on Computer Vision for Road Scene Understanding and Autonomous Driving (ICCV-CVRSUAD), 2019
Andreea Blaga, Cristian Militaru, Ady-Daniel Mezei, and Levente Tamas: Augmented reality integration into mes for connected workers, Robotics and Computer-Integrated Manufacturing, 2019
László Czúni, Amr M. Nagy: Improving Object Recognition of CNNs with Multiple Queries and HMMs, ICMV, Spie, 2019
László Czúni, Karim Ben Alaya: Low- and High-level Methods for Tree Segmentation, IDAACS, Metz, France, 2019
Ady-Daniel Mezei, Levente Tamas, and Lucian Busoniu: Sorting objects from a conveyor belt using active perception with a partially-observable mdp model, IEEE European Control Conference (ECC), 2019
Szakonyi, B., Lőrincz, T., Lipovits, Á., & Vassányi, I: Rule-base formulation for clips-based work ergonomic assessment, Hungarian Journal of Industry and Chemistry, 2019
Gabriela Csurka, Zoltan Kato, Andor Juhasz, Martin Humenberger: Estimating Low-Rank Region Likelihood Maps, Proceedings of International Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, Washington, USA, June 2020. IEEE., 2020
Zsolt Santa and Zoltan Kato: An algebraic framework for deformable image registration, Proceedings of International Conference on Pattern Recognition (ICPR), Cancun, Mexico, pages 3792-3797, December 2016, 2016
Robert Frohlich, Zoltan Kato, Alain Trémeau, Levente Tamas, Shadi Shabo, Yona Waksman: Region based fusion of 3D and 2D visual data for Cultural Heritage objects, Proceedings of International Conference on Pattern Recognition (ICPR), Cancun, Mexico, pages 2404-2409, December 2016, 2016
Laszlo Kormoczi and Zoltan Kato: Filling Missing Parts of a 3D Mesh by Fusion of Incomplete 3D Data, Proceedings of Advanced Concepts for Intelligent Vision Systems (ACIVS), Lecture Notes in Computer Science, Antwerp, Belgium, September 2017, 2017
Nora Horanyi and Zoltan Kato: Generalized Pose Estimation from Line Correspondences with Known Vertical Direction, Proceedings of International Conference on 3D Vision (3DV), Qingdao, China, October 2017, 2017
Nora Horanyi and Zoltan Kato: Multiview Absolute Pose Using 3D - 2D Perspective Line Correspondences and Vertical Direction, Proceedings of ICCV Workshop on Multiview Relationships in 3D Data (ICCV-MVR3D), Venice, Italy, October 2017, 2017
LászlóCzúni, ZoltánVarga: Time Domain AudioFeaturesforChainsawNoiseDetectionUsingWSNs, IEEE SensorsJournal 17:(9) pp. 2917-2924. (2017), 2017
Laszlo Czuni, Metwally Rashad: The use of IMUs for video objectretrievalinlightweightdevices, J. Vis. Commun. Image R., 48 (2017) 30–42, 2017
Laszlo Czuni, Metwally Rashad: The Fusion of Optical and OrientationInformationin a Markovian Framework for 3D ObjectRetrieval, LectureNotesin Computer Science, ICIAP-WBICV, 2017, 2017
Tamas Levente, Bagoly Levente: Industry 4.0 – MES Vertical Integration Use-case with a Cobot, ICRA Workshop on Recent Advances in Dynamics for Industrial Applications, 2017
Robert Frohlich, Stefan Gubo, Attila Levai, and Zoltan Kato: 3D-2D Data Fusion in Cultural Heritage Applications, In Bhabatosh Chanda, Subhasis Chaudhuri, Santanu Chaudhury, editors, Heritage Preservation, pages 111-130, Springer, 2018
Zsolt Santa and Zoltan Kato: Elastic Alignment of Triangular Surface Meshes, International Journal of Computer Vision, 2018
Robert Frohlich, Zoltan Kato: Simultaneous Multi-View Relative Pose Estimation and 3D Reconstruction from Planar Regions, ACCV workshop on Advanced Machine Vision for Real-life and Industrially Relevant Applications, 2018
Hichem Abdellali, Zoltan Kato: Absolute and Relative Pose Estimation of a Multi-View Camera System using 2D-3D Line Pairs and Vertical Direction, In proc. of Digital Image Computing: Techniques and Applications, 2018
AndreeaBlaga and LeventeTamas: Augmented reality for digital manufacturing, In 2018 26th Mediterranean Conference on Control and Automation (MED), pages 173–178. IEEE, 2018
Amandine Colson and LeventeTamas: Bremen cog: Three recording techniques for one object, Digital Techniques for Documenting and Preserving Cultural Heritage. Arc Humanities Press,, 2018
L Czúni, A Kürtösi, KBAlaya: Color Based Clustering for Trunk Segmentation, International Conference on Systems, Signals and Image Processing, 2018
L Czúni, M Rashad: : Lightweight Active Object Retrieval with Weak Classifiers, Sensors 18 (3), 801, 2018
Andrea-OrsolyaFulop and LeventeTamas: Lessons learned from lightweight cnn based object recognition for mobile robots, IEEE International Conference on Automation, Quality and Testing, Robotics (AQTR), pages 1–5. IEEE, 2018
A. Lipovits: Determining the uncertainty of the urbanization index method based on image information and eye movement data, Urban Transitions, 2018
LipovitsÁgnes, Seress Gábor, CzúniLászló: Szoftvertámogatásterületekurbanizációsindexénekszámításához, UrbanizációsÖkológiaKonferencia, 2018
LorincMarton and LeventeTamas: Wireless data rate controller design for networked control applications, Mediterranean Conference on Control and Automation (MED), pages 1–6. IEEE, 2018
Delia Mitrea and LeventeTamas: Manufacturing execution system specific data analysis-use case with a cobot, IEEE Access, 6:50245–50259, 2018
Szakonyi, B., Lőrincz, T., Lipovits, Á.,&Vassányi, I: An Expert System Framework for Lifestyle Counselling, eTELEMED, 2018
LeventeTamas and MirceaMurar: Smart cps: vertical integration overview and user story with a cobot, International Journal of Computer Integrated Manufacturing, 2018
R. Frohlich, Z. Kato: Simultaneous Multi-View Relative Pose Estimation and 3D Reconstruction from Planar Regions, In: Carneiro, Gustavo (szerk.) Computer Vision – ACCV 2018 Workshops, Springer (2019) pp. 467-483., 2019
Abdellali Hichem, Kato Zoltan: Absolute and Relative Pose Estimation of a Multi-View Camera System using 2D-3D Line Pairs and Vertical Direction, In: 2018 Digital Image Computing: Techniques and Applications (DICTA), Institute of Electrical and Electronics Engineers (IEEE) (2018) pp. 1-8., 2018
Robert Frohlich, Stefan Gubo, Attila Levai, Zoltan Kato: 3D-2D Data Fusion in Cultural Heritage Applications, In: Chanda, Bhabatosh; Chaudhuri, Subhasis; Chaudhury, Santanu (szerk.) Heritage Preservation, Springer Singapore (2018) pp. 111-130., 2018
Santa Zsolt, Kato Zoltan: Elastic Alignment of Triangular Surface Meshes, INTERNATIONAL JOURNAL OF COMPUTER VISION 126: (11) pp. 1220-1244., 2018
Horanyi Nora, Kato Zoltan: Multiview Absolute Pose Using 3D – 2D Perspective Line Correspondences and Vertical Direction, In: Katsushi, Ikeuchi (szerk.) 16th IEEE International Conference on Computer Vision Workshops, ICCVW 2017, IEEE (2017) pp. 2472-2480., 2017
Horanyi Nora, Kato Zoltan: Generalized Pose Estimation from Line Correspondences with Known Vertical Direction, In: 2017 International Conference on 3D Vision (3DV), (2017) pp. 244-253., 2017
Kormoczi L, Kato Z: Filling missing parts of a 3D mesh by fusion of incomplete 3D data, In: Jacques, Blanc-Talon; Rudi, Penne; Wilfried, Philips; Dan, Popescu; Paul, Scheunders (szerk.) Advanced Concepts for Intelligent Vision Systems, Springer Verlag (2017) pp. 711-722., 2017
Robert Frohlich, Zoltan Kato, Alain Tremeau, Levente Tamas, Shadi Shabo, Yona Waksman: Region based fusion of 3D and 2D visual data for Cultural Heritage objects, In: Bayro-Corrochano, Eduardo*; Medioni, Gerard*; Sanniti di Baja, Gabriella (szerk.) 23rd International Conference on Pattern Recognition, ICPR 2016, IEEE (2016) pp. 2405-2410., 2017
Santa Z, Kato Z: An algebraic framework for deformable image registration, In: Bayro-Corrochano, Eduardo*; Medioni, Gerard*; Sanniti di Baja, Gabriella (szerk.) 23rd International Conference on Pattern Recognition, ICPR 2016, IEEE (2016) pp. 3792-3797., 2017




 

Events of the project

  
2017-05-02 14:54:58
Résztvevők változása



Back »