Multimodális jellemzők fúziója új 3D szaliencia modellek kidolgozásához  részletek

súgó  nyomtatás 
vissza »

 

Projekt adatai

 
azonosító
126688
típus KH
Vezető kutató Manno-Kovács Andrea
magyar cím Multimodális jellemzők fúziója új 3D szaliencia modellek kidolgozásához
Angol cím Multimodal feature fusion for establishing novel 3D saliency models
magyar kulcsszavak szaliencia, multimodális adatok, objektum detekció, gépi érzékelés
angol kulcsszavak saliency, multimodal data, objektum detekció, machine perception
megadott besorolás
Informatika (Élettelen Természettudományok Kollégiuma)100 %
Ortelius tudományág: Informatika
zsűri Informatikai–Villamosmérnöki
Kutatóhely Számítástechnikai és Automatizálási Kutatóintézet
résztvevők Kovács Levente
projekt kezdete 2017-12-01
projekt vége 2019-11-30
aktuális összeg (MFt) 19.252
FTE (kutatóév egyenérték) 1.00
állapot aktív projekt





 

Zárójelentés

 
kutatási eredmények (magyarul)
A projekt során megvizsgáltunk különböző 2D-s jellemzőket és kiválasztottuk azokat, melyek alkalmasak lehetnek a kép vizuálisan érdekes („szaliens”) képrészleteinek automatikus kiemelésére. A szakirodalmi módszerek tanulmányozása mellett saját szaliencia modellt adtunk képi adatbázisokra. Következő lépésként speciális, korlátozott képi tulajdonságokkal bíró passzív radar (ISAR) adatokon próbáltuk ki a szaliencia modell alkalmazhatóságát különböző célpontok (hajók, repülők) kinyerésére és klasszifikálásra. Ezután a szaliencia detekciót 3D-ra terjesztettük ki, orvosi tér-adatok (MRI és CT) szegmentálására. A geometriai, kézi („handcrafted”) jellemzők mellett felmértük a szakirodalomban alkalmazott konvolúciós neurális hálózatok teljesítményét, és a geometriai jellemzőkön alapuló szaliencia modellt a hálózatok predikciós maszkjaival kombináltuk a szegmentáló teljesítmény növelése érdekében. Végül, a kutatás befejező lépéseként megvizsgáltuk, hogy a szaliencia, mint jellemző beépíthető-e a konvolúciós hálózatokba és hozzájárul-e a hatékonyabb tanításhoz és szegmentáláshoz. A projektbe több, tehetséges diákot vontunk be a PPKE ITK mesterképzéséből.
kutatási eredmények (angolul)
In this project, 2D features were investigated and selected to emphasize visually interesting (so called salient) image regions automatically. Besides analyzing state-of-the-art methods, a novel saliency model was introduced for image databases. Next, the proposed saliency model was tested for passive ISAR data with limited image characteristics, to extract and classify different targets (such as ships and airplanes). Following this, saliency detection was extended to 3D to segment multimodal medical data (MRI and CT). After analyzing geometric, handcrafted features, state-of-the-art convolutional neural networks were also tested for segmentation and to further enhance the performance, the output of the geometric feature based saliency model was fused with the neural network’s prediction map. As a final step, we investigated if saliency, as a feature, can be built into the convolutional neural network, and can it support a more efficient training and segmentation performance. Talented students from PPKE ITK were also involved in the project work.
a zárójelentés teljes szövege https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=126688
döntés eredménye
igen





 

Közleményjegyzék

 
Andrea Manno-Kovacs ; Elisa Giusti ; Fabrizio Berizzi ; Levente Kovács: Automatic target classification in passive ISAR range-crossrange images, 2018 IEEE Radar Conference (RadarConf18), 2018
Andrea Manno-Kovacs: Direction Selective Contour Detection for Salient Objects, IEEE Transactions on Circuits and Systems for Video Technology (Early Access), 2018
Andrea Manno-Kovacs ; Elisa Giusti ; Fabrizio Berizzi ; Levente Kovács: Image Based Robust Target Classification for Passive ISAR, IEEE Sensors Journal ( Early Access ), 2018
Petra Takács ; Andrea Manno-Kovacs: MRI Brain Tumor Segmentation Combining Saliency and Convolutional Network Features, 2018 International Conference on Content-Based Multimedia Indexing (CBMI), 2018
A. Kriston, V. Czipczer, A. Manno-⁠Kovács, L. Kovács, Cs. Benedek and T. Szirányi: Segmentation of multiple organs in Computed Tomography and Magnetic Resonance Imaging measurements, 4th International Interdisciplinary 3D Conference, 2018
Czipczer V, Manno-Kovács A: Májszegmentálás orvosi képadatok tartalom alapú elemzésével, In: KÉPAF 2019. Képfeldolgozók és Alakfelismerők Társaságának 12. országos konferenciája, (2019) pp. 1-16., 2019
Manno-Kovacs A: Direction Selective Contour Detection for Salient Objects, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY 29: (2) pp. 375-389., 2019
Manno-Kovacs A, Giusti E, Berizzi F, Kovacs L: Image Based Robust Target Classification for Passive ISAR, IEEE SENSORS JOURNAL 19: (1) pp. 268-276., 2019
Manno-Kovács A, Kovács L: Automatikus célpont klasszikáció passzív ISAR képeken, In: KÉPAF 2019. Képfeldolgozók és Alakfelismerők Társaságának 12. országos konferenciája, (2019) pp. 1-13., 2019
Takács P, Manno-Kovács A: Agytumor Szegmentálás MRI Képeken, Szaliencia alapú algoritmussal és Neurális Hálózatokkal, In: KÉPAF 2019. Képfeldolgozók és Alakfelismerők Társaságának 12. országos konferenciája, (2019) pp. 1-11., 2019
Kriston A, Czipczer V, Manno-Kovács A, Kovács L, Benedek Cs, Szirányi T: Segmentation of Multiple Organs in Computed Tomography and Magnetic Resonance Imaging Measurements, In: Háber, István Ervin; Bogdán, Csaba; Szőke, András (szerk.) Proceedings of the 4th International Interdisciplinary 3D Conference : Engineering Section - Pécs, Hungary, October 5-6, 2018, University of Pécs (2018) pp. 51-56., 2018
Manno-Kovacs A, Giusti E, Berizzi F, Kovács L: Automatic Target Classification in Passive ISAR Range-Crossrange Images, In: IEEE (szerk.) 2018 IEEE Radar Conference (Radarconf’18), IEEE (2018) pp. 206-211., 2018
Takács P, Manno-Kovács A: MRI Brain Tumor Segmentation Combining Saliency and Convolutional Network Features, In: IEEE (szerk.) CBMI 2018. Proceedings of the 2018 International Conference on Content-Based Multimedia Indexing, IEEE (2018) pp. 1-6., 2018
Takács P, Manno-Kovacs A: Brain Tumor Segmentation in MRI Data, In: Háber, István Ervin; Bogdán, Csaba; Szőke, András (szerk.) Proceedings of the 4th International Interdisciplinary 3D Conference : Engineering Section - Pécs, Hungary, October 5-6, 2018, University of Pécs (2018) pp. 68-74., 2018
Czipczer, V ; Manno-Kovacs, A: Automatic liver segmentation on CT images combining region-based techniques and convolutional features, 2019 International Conference on Content-Based Multimedia Indexing (CBMI), 2019




vissza »