 |
The Analysis of Space-time Events with Deep Learning Methods
|
Help 
Print 
|
Here you can view and search the projects funded by NKFI since 2004
Back »
|
| |
Details of project |
|
|
| Identifier |
128699 |
| Type |
PD |
| Principal investigator |
Zsedrovits, Tamás |
| Title in Hungarian |
Mélytanuló algoritmusok kutatása tér-időbeli jelenségek vizsgálatára |
| Title in English |
The Analysis of Space-time Events with Deep Learning Methods |
| Keywords in Hungarian |
mélytanuló algoritmusok, drón, meteorológiai adatok |
| Keywords in English |
deep learning, uav, complex terrain, meteorological data |
| Discipline |
| Information Technology (Council of Physical Sciences) | 70 % | | Ortelius classification: Applied informatics | | Meteorology, atmospheric physics and dynamics (Council of Complex Environmental Sciences) | 15 % | | Ortelius classification: Meteorology | | Computing Science (Council of Physical Sciences) | 15 % |
|
| Panel |
Informatics and Electrical Engineering |
| Department or equivalent |
Faculty of Information Technology and Bionics (Pázmány Péter Catholic University) |
| Starting date |
2018-09-01 |
| Closing date |
2022-08-31 |
| Funding (in million HUF) |
15.807 |
| FTE (full time equivalent) |
2.80 |
| state |
closed project |
Summary in Hungarian A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A kutatásom célja, hogy az utóbbi években, a mélytanuló algoritmusok területén elért eredményeket két alkalmazás specifikus területen kamatoztassam. A közös a megoldani kívánt problémákban, hogy nagy mennyiségű adat feldolgozása szükséges, valamint, hogy többféle szenzor adatai szükségesek a probléma megoldásához. Az egyik feladat, pilóta nélküli repülővel felvett videók feldolgozása valós időben, és lehetőség szerint a fedélzeten, míg a másik feladat egy sűrű, sok elemből álló szenzor hálózattal és repülőkkel felvett időjárási adatok feldolgozása. Mindkét esetben tér-időbeli események észlelésére és térben való elhelyezésére van szükség, mint például egy repülőgép adott térrészben áthalad a pilóta nélküli gép kamera képén, vagy termikusan vezérelt áramlások észlelése egy hegyoldalban. A kutatás eredménye további fejlesztéshez, valamint alapkutatási kérdések felvetéséhez vezethet.
Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
A korábbi kutatásaim során szerzett tapasztalatok és a state-of the art eredmények alapján a következő három alapkérdést fogalmaztam meg:
1) Az önszerveződő hálózatok (SOM) esetén, sokdimenziós adatokra melyek a hatékony kezdeti feltételek és tanítási algoritmusok, melyek segítségével az adatok időbelisége is hatékonyan megjeleníthető, valamint osztályozás és klaszterezés is végezhető?
2) Hogyan valósítható meg objektum felismerés speciális szerveződésű (developmen network) mesterséges neurális hálózatok és mélytanulás segítségével?
3) Hogyan csökkenthető a hálózatok mérete és a kapcsolatok száma a teljesítmény fenntartása mellett, hogyha erre egy algoritmust szeretnénk adni?
Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
A kutatás eredményeként mind alapkutatási, mind alkalmazott kutatási kérdéseket szeretnék megválaszolni, mely lehetőséget ad fejlesztések indítására, valamint további kutatás folytatására a méyltanuló hálózatok alkalmazásának tekintetében a tér-időbeli jelenségek észlelésére.
Mindhárom kérdés esetén a kutatás egyediségét a végső soron meglodani kívánt, alkalmazási terület vezérelt tudás és kérdések adják.
A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
E kutatási projekt célja, hogy új lehetőségeket fedezzen fel a mesterséges neurális hálózatok területén, amelyek segítségével kétféle problémára keresem a választ. Egyrészt a kis méretű pilóta nélküli repülőgépek (vagy drón) fedélzetén, valós időben történő videó feldolgozás. Ez a terület fontos például az ütközés elkerülés területén, ahol a repülőgép miatt a felhasználható tömeg és a költségek korlátozottak. E cél elérése érdekében, a különböző típusú mesterséges neurális hálózatokat vizsgálom, és ennek eredményeként egy új, és optimális hálózati struktúrát szeretnék megalkotni. A másik probléma a feldolgozás terén a távérzékelési adatok, pontosabban, egy nagy és sűrű, meteorológiai tornyokból és egyéb eszközökből álló, komplex terepen elhelyezett hálózat adatainak feldolgozása. A motiváció az, hogy ebben a környezetben a jelenleg rendelkezésre álló előrejelzés modellek teljesítménye nem kielégítő, ezért a tudósok rengeteg adatot gyűjtenek a jelenlegi modellek értékeléséhez, a modellek javításához. Az egyik fő probléma az, hogy hatalmas mennyiségű adatot gyűjtenek, de legtöbb esetben csak kis részét dolgozzák fel ténylegesen (kevesebb, mint 5%), mert nincsenek megfelelő eszközeik, amelyek hatékonyan képesek kezelni ezt az adatmennyiséget. Az alapötlet az, hogy az eredményeket egy speciális típusú mesterséges neurális hálózaton szeretném alkalmazni, ami ehhez a kérdéshez készül, és amellyel akár különböző tér-időbeli események is jelezhetők a gyűjtött adatokban, mint például a hegycsúcsok mögött kialakuló örvényleválást. Végső soron egy ilyen eszköz segíthet az időjárási jelenségek mögött végbemenő folyamatok jobb megértésében és az előrejelzések javításában.
| Summary Summary of the research and its aims for experts
Describe the major aims of the research for experts.
The promising results with deep neural networks lead many researchers from many different fields to start to investigate the possibilities of this methodology. The researcher proposing this research is involved in several, application motivated projects which require processing data measured by sensors or sensor arrays. In particular processing video data from small unmanned aerial vehicles, also in real-time, and onboard, and meteorological data gathered with UAVs and towers at the same time and space. Both tasks need detection of space-time events, like another aircraft flying through the scene in the video or vortices generated by thermally driven flows around a mountain. Furthermore, in both tasks, multiple sensor modalities are used. Practical questions regarding deep learning methods, particularly artificial neural networks lead to basic, fundamental questions which are going to be pursued in this proposed project. The expected outcomes may be used in applied research or may imply new basic questions as well.
What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
Based on my previous works and the state of the art of this research area, in this project, the following three research objectives are set.
Self-Organizing Maps are capable of representing the input space of the training set by a map. The hypothesis is that by applying deep learning methods as augmentation of SOM, the representation of large scale and multidimensional time series data can be improved. The objective is to determine an efficient structure and learning methods which are capable of representing such time series and can perform classification or clustering with high precision.
Both desired application fields need object recognition, that is detection and localization in parallel. Development Networks are applied to this problem in specific tasks. The aim is to investigate the capabilities of this type of neural networks with SOM results in the two application fields, resulting in a new structure.
The complexity of current deep learning solutions using artificial neural networks are high as the structure of the network contain very large number of connections. As a result, high computational capacity is required to train and evaluate these network, which does not allow to implement these solution in embedded or mobile systems. The hypothesis is that a vast number of connections between the neuron cells can be removed (pruning), as they are not having influence in the network. The objective is that to provide an algorithm, which is capable of removing unnecessary connections between cells in the network, while the knowledge representation power of the entire structure remains at high level.
What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
The projected results may have a great impact on actual basic research as well as on applications of deep learning methods in the fields of spatiotemporal event detection, particularly connected to unmanned aerial vehicle applications and meteorology.
The results from the investigation of development networks, SOM, and pruning open new perspectives of application of deep networks mainly in the related fields of object recognition in embedded systems onboard of UAVs. The first and most important step is to find the appropriate network which is optimal in the sense of performance, size and computational cost. The unique experience of the post doctor in the field of UAV applications gives the better understanding of the underlying problem with which the optimal solution can be found.
Additionally, investigation of SOM and DN can lead to results which help physicists and engineers to understand better basic phenomena forming various weather events. The dataset on which the developed network will be tested is unique in many aspects, for example, the type and number of instruments which were used to collect the data. I hope that with the help of the results an efficient tool can be developed for remote sensing data processing which helps scientists to improve their models describing weather phenomena.
The strength of the research project is that the questions motivating the research are driven by real-world applications, thus based on the results new research and development directions can be defined.
Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
The purpose of this research project is to explore new possibilities in the field of artificial neural networks, to help two sets of applications. One of them is to process videos recorded by a small pilotless aircraft (or drone), in real time and onboard. It is important for example for collision avoidance or sense and avoid for small aircraft where the weight and cost are limited, thus mostly cameras are used as sensors to provide the necessary information. To achieve this goal, different kind of artificial neural networks are investigated and as a result, a new and optimal network structure for this problem is developed. The other problem is in the field of processing remote sensing data, in particular, data were collected with a large network of meteorological towers and other instruments in complex terrain. The motivation here is that in this environment the currently available weather forecast models performance is not satisfactory, so scientists are collecting data to compare with results from current models and based on this comparison the models are improved. One of the main issues is that huge amount of data is collected, but most of the time only small portion of it is actually processed because there are no tools, which can handle this amount of data and answer the fundamental questions efficiently. The main idea is to apply results with a special type of artificial neural networks to this problem, with which even the recognition of different space-time events, like vortex shedding behind a mountain can be achieved. A tool like this can help the data processing and as a result, it can lead to better understanding weather phenomena.
|
|
|
|
|
|
|
|
|
|
