Indexing and retrieval of interpreted video contents  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
83438
Type PD
Principal investigator Kovács, Levente
Title in Hungarian Értelmezett videó-tartalmak indexelése és visszakeresése
Title in English Indexing and retrieval of interpreted video contents
Keywords in Hungarian tartalom alapú indexelés, visszakeresés, videó adatbázis
Keywords in English content based indexing, retrieval, video databases
Discipline
Information Technology (Council of Physical Sciences)50 %
Ortelius classification: Applied informatics
Computing Science (Council of Physical Sciences)45 %
Mathematics (Council of Physical Sciences)5 %
Ortelius classification: Algorithms
Panel Informatics and Electrical Engineering
Department or equivalent Computer and Automation Research Institute HAS
Starting date 2011-01-01
Closing date 2013-12-31
Funding (in million HUF) 12.070
FTE (full time equivalent) 2.40
state closed project
Summary in Hungarian
Manapság a számítógép- és internet-használók nagy mennyiségű képet és videót halmoznak fel. Sokan olyan népszerű szolgáltatásokat használnak, mint a Flickr vagy a YouTube ezen tartalmak tárolására és keresésére, de ezek még nem kínálnak tartalom alapú keresési szolgáltatásokat. Így ezeken a nagy gyűjteményeken ma csak szöveges kérésekkel lehet keresni, a társított szöveges annotációk között, amelyeket a felhasználók, vagy – a YouTube esetén – automatikus feliratozás állítanak elő. A vonatkozó élenjáró rendszerek csak kisszámú tartalom-alapú leírót hasznosítanak a visszakeresésben, kismértékben értelmezési funkcióval társítva. Hatékony és szemantikus kereséshez szükség lenne olyan hatékony indexelési és visszakeresési megoldásokra, amelyek nagyszámú leírót tudnak kombinálni oly módon, hogy elkerülhető legyen a dimenzionalitási probléma; éppen ez a terület, amelyet ez a munka elsősorban megcéloz. Új indexelési, releváns leíró keresési, hatékony visszakeresési és vizualizációs megoldásokat szándékozunk kutatni, magas szinten értelmezett videó tartalmak kereséséhez. Nagy videó-adatbázisokat kezelő indexelési, keresési és vizualizációs kutatáson lesz a hangsúly. A fontosabb célok a következők:
- új tulajdonság-kinyerési algoritmusok – a magas szintű értelmezés alapjaként
- új indexelési struktúrák és algoritmusok (elméleti és demonstrációs) gyors, több tulajdonságot egyszerre kezelő keresésekhez
- felhasználjuk az objektum szegmentációs és kinyerési eredményeket
- új módszerek automatikus annotáláshoz, amelynek alapja a kinyert tulajdonságok értelmezése
- új eredmény-vizualizációs módszerek
- a fentiekre épülve, videó-értelmezési alapokon nyugvó visszakeresési keretrendszer
Summary
These days the vast majority of computer- and internet-using people have large collections of images and videos. Some use popular services like Flickr for images or YouTube for videos, but these are still not deploying content-based search capabilities. Thus, searching among these huge collections of visual content can currently only be done by performing textual queries on the database of hand-collected annotations, provided either by the users themselves, or – in the case of YouTube – by annotations coming from automatic speech recognition. Most of the related state of the art systems exploit only a limited amount of content-based features for retrieval, with very limited interpretative capabilities. For efficient and semantic searches one would need well performing indexing and retrieval schemes that can combine a large number of features in a way that circumvents the dimensionality curse, and this is one of the main issues we try to address here. New indexing, relevant feature selection, efficient retrieval and visualization methods will be researched, with the goal of searching interpreted video contents. We will focus on the research of new indexing, retrieval and visualization schemes for searches over large video pools. The main goals could be summarized as the following:
- new feature extraction methods as the base for higher level interpretation
- new indexing structures and algorithms (theoretical and proof-of-concept) supporting fast multi-feature queries
- exploit results in object segmentation and extraction
- methods for assigning automatic annotations based on the extracted features
- new visualization methods of retrieved results
- based on the above, a video retrieval framework based on content interpretation





 

Final report

 
Results in Hungarian
A kutatási munka elsődleges célpontja videók tartalom-alapú indexelési, visszakeresési és vizualizációs módszerei, kiemelt figyelmet fordítva tulajdonság-kinyerési módszerekre, indexelési struktúrákra, automatikus leíró-kiválasztásra, és vizualizációs lehetőségekre. Új eredményeket értünk el és publikáltunk a következő témákban. Új módszert vezettünk be leírók automatikus kiértékelésére és kiválasztására, ami gráf struktúrák viselkedésének elemzésén alapul. Vizsgálatokat folytattunk, majd lefektettük az alapjait egy automatikus képekre és videókra vonatkozó tulajdonság-leíró kiértékelési rendszernek. Bemutattunk egy olyan párhuzamos, leíró- és adat-független indexelési struktúrát, amely rugalmas és moduláris, és alkalmas nagyszámú leírók vizsgálatára és kiértékelésére. Új eredményeket mutattunk be mobil eszközökön lokálisan végzett tartalom alapú minta-felismerésre és keresésre, ill. láthatósági gráfok kiértékelésén alapuló kép- és szenzor-adatokat feldolgozó algoritmusokra vonatkozóan. Létrehoztunk egy olyan vizuális valós idejű detekciós és felismerési módszert, ami repülő objektumokat képes követni és felismerni alakzat- és textúra-információk fúziójával. Bemutattunk egy vizualizációs keretrendszert, amely rugalmas, interaktív, képi és videó adatbázisokkal is használható, szöveges és minta alapú keresésekre is alkalmas, ill. lehetőséget ad vizuális böngészésre, adatok eloszlásainak megjelenítésére, adatok annotációjára ill. osztályozására.
Results in English
The main focus of this research work is on indexing, retrieval and visualization schemes for content-based retrieval over video pools, concentrating on feature extraction, indexing structures, automatic feature selection, descriptor evaluation, and visualization. New results have been achieved and published in the following areas. A new approach has been developed for descriptor evaluation and feature selection, based on graph structure analysis. We investigated and laid the foundations of an automatic image and video feature descriptor evaluation framework. A parallel data- and descriptor-independent indexing scheme has also been developed providing a flexible and modular indexing scheme for evaluating large descriptor sets. New results have been presented regarding content based pattern recognition and retrieval and methods for local processing of image contents and associated sensor information on mobile devices based on vision graph analysis. A visual detection and recognition method for flying targets was introduced, based on the fusion of shape and object texture information, for recognition and tracking. A query, search and result visualization framework was created which is interactive and flexible, usable for image and video retrieval applications, providing text and model based search interface, visual browsing interface, distribution visualization interface based on content based features, annotation interface, and content classification.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=83438
Decision
Yes





 

List of publications

 
L. Kovács: Interactive search and result visualization for content based retrieval, Proceedings of IMAGAPP&IVAPP (Intl. Conf. on Information Visualization Theory and Applications), pp. 266-269, 2011
L. Kovács: Shape retrieval and recognition on mobile devices, Proceedings of MUSCLE International Workshop on Computational Intelligence for Multimedia Understanding, Lecture Notes in Computer Science, Springer, 2011
A. Kovács, Á. Utasi, L. Kovács, T. Szirányi: Shape and texture fused recognition of flying targets, Proceedings of Signal Processing, Sensor Fusion, and Target Recognition XX, SPIE vol. 8050, pp. 80501E-1-12, 2011
A. Keszler, L. Kovács, T. Szirányi: The Appearance of the Giant Component in Descriptor Graphs and Its Application for Descriptor Selection, Proceedings of CLEF, LNCS vol. 7488, pp. 76-81, Springer, 2012
L. Kovács: Local Shape Recognition for Mobile Applications, Proceedings of IEEE International Conference on Image Processing (ICIP), pp. 501-504, 2012
A. Keszler, L. Kovács, T. Szirányi: Graph Based Descriptor Evaluation for Automatic Feature Selection, Proceedings of VISAPP vol. 1, pp. 375-380, 2012
L. Kovács, A. Kovács, Á. Utasi, T. Szirányi: Flying Target Detection and Recognition by Feature Fusion, Optical Engineering, SPIE, Opt. Eng. 51(11), pp. 117002-1-13 (November 02, 2012); doi: 10.1117/1.OE.51.11.117002, 2012
L. Kovács, A. Keszler, T. Szirányi: Óriáskomponensek megjelenése képi leírók gráfjaiban, és alkalmazásuk leírók kiválasztásában, Proc. of KÉPAF 2013 – Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája, pp. 475-482., 2013
L. Kovács: Processing Geotagged Image Sets for Collaborative Compositing and View Construction, Proceedings 2013 IEEE International Conference on Computer Vision Workshops (IEEE Intl. Workshop on Computer Vision for Converging Perspectives in conjunction with ICCV, 2013
L. Kovács: Parallel Multi-Tree Indexing for Evaluating Large Descriptor Sets, Proceedings of IEEE International Workshop on Content-Based Multimedia Indexing (CBMI), pp. 173-178, 2013




Back »