 |
On-line model learning supported by episodic memory
|
Help 
Print 
|
Here you can view and search the projects funded by NKFI since 2004
Back »
|
| |
Details of project |
|
|
| Identifier |
125343 |
| Type |
K |
| Principal investigator |
Orbán, Gergo |
| Title in Hungarian |
On-line modell tanulás epizodikus memória segítségével |
| Title in English |
On-line model learning supported by episodic memory |
| Keywords in Hungarian |
gépi tanulás, tanító nélküli tanulás, mesterséges intelligencia, kognitív tudomány, Bayes-i statisztika |
| Keywords in English |
machine learning, unsupervised learning, artificial intelligence, cognitive science, Bayesian statistics |
| Discipline |
| Information Technology (Council of Physical Sciences) | 100 % | | Ortelius classification: Applied informatics |
|
| Panel |
Informatics and Electrical Engineering |
| Department or equivalent |
RMI - Komputációs Tudományok Osztálya (Wigner Research Centre for Physics) |
| Participants |
Büki, Máté
Fráter, Csenge
Nagy, Dávid Gergely
Török, Balázs
|
| Starting date |
2017-09-01 |
| Closing date |
2023-03-31 |
| Funding (in million HUF) |
47.999 |
| FTE (full time equivalent) |
11.16 |
| state |
closed project |
Summary in Hungarian A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A javasolt kutatási projekt elsődleges célja egy keretrendszer kifejlesztése mely a gépi tanulás egy időszerű és kritikus problémájának megoldását célozza: modell struktúra on-line tanulása erőforrás megszorítások közepette. Meglátásunk szerint a tanulás ezen formája fontos autonóm, adaptív mesterséges ágensek fejlesztéséhez és a jelenlegi formalizmusoknak kihívást jelent az, ha a környezet gazdag/komplex ám a környezet modelljét előre nem ismerjük. Mi egy olyan megoldást javaslunk, melyet a humán memóriarendszerek tulajdonságai inspiráltak: a mellett érvelünk, hogy az absztrakt tudás mellett, mely a szemantikus memória reprezentációihoz hasonlatos (melyet optimális jóslási és új szituációkra való általánosítási képesség jellemez), epizodikus memória (mely gazdag információt tárol egyedi élményekről, ami azonban nem alkalmas új események jóslására és kevéssé általánosítható új szituációkra) tudja hatékonnyá tenni a tanulási rendszert. A tervezett kutatás szorosan kötődik ‘streaming data’ irodalomhoz, specifikusabban a ‘continual learning’ kutatásokhoz, melyekben jól általánosítható, transzferálható információt halmaz fel az ágens on-line módon egy adatfolyamból. A kutatási tervben egyenként azonosítjuk ennek az on-line tanulási keretrendszernek a kritikus komponenseit és megoldásokat javaslunk ezekhez. A vérható eredmények nem csak a gépi tanulás témakörében fontosak, hanem a kognitív tudomány számára is: a modell az epizodikus memória egy sor tulajdonságát tudja megmagyarázni. A kutatásba két PhD hallagtót vonunk be, mely lehetőséget teremt számukra, hogy olyan tudományterületeken jussanak készségekhez, melyek keresettek nem csak a kutatásban, de az iparban is.
Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
Kutatásunk legfőbb kérdése a mesterséges tanuló rendszerekben történő tanulást célozza: hogyan lehetséges az adat mögött rejlő statisztikus modell struktúráját megtanulni on-line, azaz úgy, hogy az új adatokat beépítjük az adat mögött feltételezett modellbe, s így a konkrét adatpontoktól megszabadulunk. A vázolt forgatókönyv minden olyan esetben releváns, amikor a a tanulás egy komplex környezetben zajlik, így gazdag adat érhető el, ám ezeket tárolni költséges lenne az ágens számára. Egy gazdag környezetben előre nem ismert az, hogy mely jellemzők relevánsak és, hogy ezek a jellemzők miképpen függenek össze, így pedig a statisztikus modell struktúrája bizonytalan és a tréning elején feltételezett modell nagy valószínűséggel eltér attól a modelltől, mely ténylegesen az adat mögött rejlik. Ezt nevezzük nyílt modell tér feletti tanulásnak. Feltevésünk szerint a nyílt modelltér feletti on-line tanulás megvalósítható egy olyan memóriarendszer segítségével, mely kombinálja az emberi szemantikus memória tulajdonságait (mely a környezet statisztikus struktúrájára vonatkozó információt tárol) ötvözi az epizodikus memória sajátságaival (mely részletes reprezentációval jellemzett élmények egy válogatott halmazát tárolja). Kutatásunkban a Bayes-í inferencia legújabb eredményeit és információelméleti megközelítéseket alkalmazunk és tervünk szerint a vázolt komputációs probléma önkonzisztens megoldását adjuk. Eredményeink a mesterséges intelligencia kutatások mellett a kognitív tudomány számára is jelentősek lehetnek mind azáltal, hogy a memória szisztematikus hibáinak magyarázatához biztosít normatív modellt, mind pedig azáltal, hogy a felejtés és emlékezés dinamikáját tudja jósolni.
Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
Az autonóm tanuló rendszerek és adaptív ágensek kutatása nemrégiben rendkívüli lendületet kapott. Ezen kutatások által leggyakrabban alkalmazott megközelítés a Big Data gondolata, ahol a tanulást az teszi lehetővé, hogy a tanuló ágens számára korlátlanul érhető el adat, azaz a tanulás a (közel) teljes statisztika ismeretében történik. A kutatási tervben rámutatunk arra, hogy a helyes modell beazonosítását alapvetően befolyásolja az, hogy a kezdeti korlátozott mennyiségű adat fokozatosan válik csupán elérhetővé az ágens számára. A javasolt kutatás ezt az alapvető problémát célozza meg és javaslatot tesz egy normatív, és önkonzisztens tanuló rendszerre, mely a komplex környezetekben folyamatosan tanuló ágensek tanulását teszi lehetővé. A javasolt kutatás a ‘Folyamatos tanulás’ irányvonalához illeszkedik, mely nemrégiben komoly figyelmet kapott, mely egy Google által szervezett workshopban csúcsosodott ki a Neural Information Processing Systems konfernecián.
A kognitív tudomány szemszögéből nézve, a memóriához kötődő rendellenességek, például a poszt traumás stressz, jelentős populáció életét befolyásoló tényezők, s a tanulás és memóriafolyamatok mögött rejlő agyi folyamatok megértése interdiszciplináris erőfeszítést igényel. A közelmúlt gépi tanulásban elért fejlesztései lehetőséget adnak arra, hogy egy új szemszögből tekintsünk ezekre a problémákra. Egy fontos követelmény olyan technikák elérhetősége, melyek az agy által kezelt adat méretéhez és komplexitásához hasonló adatokkal tudnak megbirkózni. Ez a jelenlegi eszközök egy kiemelkedő jellemzője, hiszen így lehetővé válik, hogy a folyamatokat a laboratóriumi körülményeken túl is meg tudjuk érteni, s így a való világ adatai és a komputációs architektúra kapcsolatát vizsgálhassuk. A tanulás, döntéshozatal, érzékelés alatt rejlő komputációk megértése fontos perspektívát adott a pszichiátriai rendellenességek megértésében, melyeket a pszichiátria hagyományos módszerei számára kihívást jelentettek. Azzal, hogy az emberi tanulás és memória megértéséhez komputációs hátteret fejlesztünk, a projekt hozzájárulhat egészségügyi fejlesztésekhez és a tanulási protokollok fejlesztéséhez egy olyan oktatási rendszer érdekében, mely jobban szolgál egy növekvő gazdaságot.
A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
Az adaptálódás képessége mind a mesterséges, mind a biológiai ágensek egyik legizgalmasabb tulajdonsága. A közelmúlt fejlődése a mesterséges tanulórendszerek figyelemreméltó képességeire híva fel a figyelmet, például a Go játék győzelmével a világbajnok felett, vagy autonóm autók kifejlesztésével. Ezen tanulórendszerek által követett stratégia legfontosabb eleme a nagy mennyiségű adat összegyűjtése, melyet ahhoz használnak, hogy az adat komplexitásának megfelelő komplexitású modellt tanítsanak. Ezen stratégiával ellentétben a ‘Folyamatos tanulás’ során a mesterséges tanuló külvilágról alkotott tudása folyamatosan frissül mihelyst új információ válik elérhetővé. Elsőként egy, a modell komplexitásának rugalmas adaptációjakor fellépő kritikus kihívásra mutatunk rá. Ennek központi eleme a gazdag környezet releváns tulajdonságainak felfedezése, valamint ezen tulajdonságok összefüggéseinek feltárása. Megmutatjuk, hogy új jellemzők, vagy új összefüggések felfedezése újonnan érkező adatok segítségével ellentmondásban áll a Folyamatos tanulással: ismereteink folyamatos frissítése (ami ellentétben áll azzal, ha sok adat begyűjtése nyomán a teljes adathalmazhoz illesztjük a modellt) megakadályozza a modell tényleges struktúrájának megtalálását. Inspirációt kognitív tudományból merítve a létező tanulási rendszereket kiterjesztjük úgy, hogy egy jól ismert, ámde kevéssé megértett jelentőségű memória típust, az epizodikus memóriát alkalmazzuk a Folyamatos tanulás problémájának megoldására. A javasolt módszer képessé tehet mesterséges tanulórendszereket arra, hogy erőforrás korlátozások közepette is hatékonyan tudjanak komplex környezetekhez alkalmazkodni.
| Summary Summary of the research and its aims for experts
Describe the major aims of the research for experts.
The primary aim of the proposed project is to develop a framework that addresses a critical and timely challenge in machine learning: on-line learning of model structure under resource constraints. We argue that this form of learning is important for constructing autonomous, adaptive artificial agents and that current formalisms of learning suffer under circumstances where the environmental stimuli are rich and the right model is unknown a priori. We propose a solution motivated by the properties of human memory systems: we argue that beyond the abstract knowledge that is stored similar to the way semantic memory represents data (which is characterized by optimal predictive power and a capacity to generalize efficiently to novel situations), episodic memory (storing rich information on individual experiences, which has limited predictive power and lacks the capacity to generalize) needs to be built. The research is tapping on a line of research on ‘streaming data’ or more specifically on ‘continual learning’ in which on-line, well generalizing, transferrable knowledge is acquired from a stream of data. In the proposal we identify the critical components of this on-line learning framework and propose solutions to them individually. The expected results are not only important for artificial intelligence but also for cognitive science research: the framework can explain a range of properties of episodic memory. Two PhD students will be involved in the project which provides them with the opportunity to acquire skills in disciplines that are highly sought after not only in academia but also in industry.
What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
The main question we plan to address in this project is a critical question of learning in artificial learning systems: how can the structure of a statistical model be learned if learning is performed in an on-line manner, i.e. when novel data is integrated with the model hypothesized to underlie the data and data is discarded upon integration. This scenario is relevant if learning is performed in a complex environment where the data is rich and retaining the complete data set is prohibitive for the agent. In such an environment it is not known a priori which features are relevant and how these interact therefore the structure of the statistical model is uncertain and the one hypothesized early in training is likely to mismatch the model actually underlying the data. This is called learning over open model space. We hypothesize that the challenge of on-line learning over open model spaces can be addressed by a memory system that combines the properties of human semantic memory, which stores knowledge about the statistical structure of the environment (model structure), and episodic memory, which stores a select set of experiences characterized by a detailed representation (verbatim data points). We use cutting-edge Bayesian statistics and information theory to formulate a model framework that provides a self-consistent solution to the computational problem. Beyond the expected results in artificial intelligence, the project addresses questions relevant for computational cognitive science by providing a normative framework for accounting for systematic errors in human memory, and for the characteristics of the dynamics of retaining and forgetting memories.
What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
Research in autonomous learning systems and adaptive agents has thrived in recent years. The approach this research usually takes is based on the ‘Big Data’ idea, whereby learning is made possible by the availability of data for the learning agent without any constraints, i.e. learning is performed with the (close-to) full statistics of the data at hand. We point out that identification of the correct model is fundamentally plagued by a protocol in which initially limited data becomes gradually available for the agent. The proposed research addresses this fundamental problem and offers a normative and self-consistent learning system that embraces the limitations of continually learning agents in complex environments. The proposed work resonates wth the problem of ‘Continual learning’ , which has recently gained substantial attention, culminating in a Google-organized workshop at the latest edition of the Neural Information Processing Systems conference.
From a cognitive science perspective, memory-related disorders, eg post-traumatic stress disorder affect a large population over their life span. To understand the underlying brain processes that control learning and affect memory requires a major interdisciplinary effort. Recent development in machine learning make this time prime to address these issues from a novel angle. A key factor is the development of techniques that can operate on data comparable in size and complexity to that handled by the brain. This is a distinctive feature of cutting-edge tools since our understanding of processes can go beyond modelling laboratory settings and can instead focus on the relation between real world data and computational architecture. Understanding the computations underlying learning, decision making, and perception have provided extremely promising perspectives for tackling psychiatric diseases that have been proven hard to handle with traditional methods of psychiatry (e.g. addiction depression). By providing a strong computational background for understanding human learning and memory, this project can contribute to developments with implications on human health and can also inform learning policies for an education system that serves better a growing economy.
Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
Adaptability is one of the most exciting property of both artificial and biological agents. Advances in recent years have shown that artificial learning system can achieve remarkable feats, including artificial learning systems that can match human performance in as complex games as go, or developing autonomously controlling cars in natural environments. The fundamental approach of these learning systems is to collect vast amount of data and use this data to train a model with sufficient complexity to be able to tune to the statistical properties of data. An alternative to this approach is continual learning, where the agent’s understanding of the environment is continually updated as novel data becomes available. We identify a critical challenge for flexibly adapting the model to he complexity of the stimulus. The challenge concerns the effective discovery of relevant features in a rich environment and learning about the properties of these features, while discarding irrelevant features. We demonstrate that discovering novel features when novel data becomes available is at odds with continual learning: continual update of our knowledge, as opposed to collecting all the data available and attempting model adaptation on this set of data, prevents the discovery of the right structural form of the model. We take inspiration from cognitive science to extend existing learning theories and argue that a form of memory system that is well known but whose role is less known, the episodic memory, is ideally suited to solve the problem of continual learning. This can enable artificial learning systems with resource constraints to adapt to a complex environment.
|
|
|
|
|
|
|
|
|
|
