Early detection of developmental disorders and skill-improving by a mobile-application which facilitates physical activity and analyzes motion automatically  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
129603
Type KH
Principal investigator Miklósi, Ádám
Title in Hungarian A fejlődési zavarok korai felismerése és készségfejlesztés egy mozgásra ösztönző és automatikus mozgáselemző mobil-alkalmazással
Title in English Early detection of developmental disorders and skill-improving by a mobile-application which facilitates physical activity and analyzes motion automatically
Keywords in Hungarian mobiltelefon, okosóra, fejlődési zavar, korai felismerés, automatikus mozgáselemzés, autizmus, ADHD
Keywords in English mobile phone, smartwatch, developmental disorder, early detection, automatic motion analysis, autism, ADHD
Discipline
Computing Science (Council of Physical Sciences)65 %
Psychology (Council of Humanities and Social Sciences)20 %
Ortelius classification: Clinical psychology
Behaviourism (Council of Medical and Biological Sciences)15 %
Ortelius classification: Human ethology
Panel Ecology and evolution
Department or equivalent Department of Ethology (Eötvös Loránd University)
Participants Bunford, Nóra
Ferdinandy, Bence
Kampis, György
Konok, Veronika
Peres, Krisztina
Starting date 2018-12-01
Closing date 2021-05-31
Funding (in million HUF) 19.992
FTE (full time equivalent) 2.70
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.

A mobileszközök egyre nagyobb elterjedése egy újfajta adatszerzési technikát kínál, ugyanakkor a mobilhoz való kötődésnek (lásd a pályázat alapjául szolgáló közlemény) és intenzív használatnak egészségügyi kockázatai is vannak. A mozgást ösztönző és mérő/elemző játékok segíthetnek kiküszöbölni a fizikai aktivitás hiányából fakadó egészségügyi problémákat, egyúttal korábban azonosítani és fejleszteni például autizmus spektrum zavarral (ASD) és figyelemhiányos-hiperaktivitás zavarral (ADHD) élő gyerekeket, akik mozgása eltér a tipikusan fejlődő gyerekekétől.
Célunk egy okostelefonra és okosórára fejlesztett játékos, mozgásra ösztönző mobil-applikáció segítségével, egy tanuló algoritmus révén azonosítani azokat a mozgásos jellemzőket, melyekben az ADHD-vel, ASD-vel élő és a tipikusan fejlődő gyerekek eltérnek egymástól, majd a mozgásos adatok alapján detektálni az ADHD-t és az ASD-t. Célunk továbbá, hogy a játék segítségével fejlesszük a fejlődési zavarral élő gyerekek mozgásos, és egyéb, például kognitív és társas-érzelmi készségeit.
A szoftverrel gyűjtött adatok segítik az ADHD/ASD jobb megértését, a korábbi életkorban történő, automatizált és objektív diagnózist. Ez a korábbi intervenció lehetőségét adja, ami pedig jobb prognózishoz vezet. A játék hozzájárul, hogy a fejlesztés egy része otthon, szakemberek bevonása nélkül is megoldható legyen, így olcsóbb, időgazdaságosabb és eredményesebb lehet. Az applikáció mind a fejlődési zavarban érintett, mind a tipikusan fejlődő gyerekeknél fokozza a fizikai aktivitást, így jelentős népegészségügyi hozadéka van.
A projektben két post-doc kutató részidejű alkalmazását biztosítjuk, akik PhD hallgatókat ösztönöznek a részvételre.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.

A kutatás arra a fő problémára keres megoldást, hogy az ADHD és az ASD esetében nincsen olyan biológiai vagy viselkedéses marker, illetve olyan teszt, mely alapján egyértelmű diagnózist lehet felállítani, emiatt a diagnosztikus folyamat bonyolult, időigényes, nem eléggé objektív és megismételhető, és viszonylag késői életkorba elhúzódik.
A projekt a következő kiinduló hipotézisekre és kérdésekre épül:
(1) Az ADHD-val és ASD-vel élő gyerekek mozgása eltér a tipikusan fejlődő gyerekekétől és egymásétól is, ezért a mozgás felhasználható diagnosztikus célra. Kérdésünk, hogy vannak-e olyan mozgásmintázatok vagy mozgásjellemzők, melyekben az ADHD-val és az ASD-vel érintett gyerekek eltérést mutatnak mind a tipikus gyerekektől, mind egymástól. További kérdésünk, hogy egy tanuló algoritmus a mozgásos adatok alapján sikeresen tudja-e prediktálni, hogy az adott mozgásos adat ADHD-val, ASD-vel érintett vagy tipikusan fejlődő gyerektől származik.
(2) Az ADHD-val és ASD-vel élő gyerekek mozgásproblémái fejleszthetőek egy mozgásra ösztönző és mozgást mérő, illetve arról visszajelzést adó játékos mobil-applikációval, és a mozgás fejlesztése egyéb készségek fejlődését is maga után vonja, például kognitív (végrehajtó funkció, figyelem) és társas-érzelmi készségekét. Azt várjuk, hogy egy hónapos tréning (napi rendszerességű játék a mobil-applikációval) után a gyerekek jobb teljesítményt nyújtanak majd új fajta (a tréningfeladatoktól eltérő) mozgásos feladatokban, valamint kognitív és társas-érzelmi készségeket mérő feladatokban, mint a tréning előtt és mint a kontroll csoportban (ahol a gyerekek egy másféle játékkal játszanak majd).

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!

Bár a hasonló alkalmazásokról sok szó esik a médiában, nagyon kevés esetében van a hatékonyságukról validált klinikai adat. A tervezett projekt különlegessége, hogy informatikus szakértők, pszichológusok és etológusok dolgoznak együtt egy hatékony diagnosztizáló rendszer létrehozásán. A kutatás másik újdonsága, hogy az általunk használni kívánt okosórát még nem használták ilyen feladatra, holott ez az egyik legmegbízható hardver, amit folyamatosan fejlesztenek mind szenzoros, mind lokális számítási kapacitását illetően.
Eredményeink hozzájárulnak az ADHD és az ASD jobb megértéséhez (a mozgásos eltérések információt adnak a funkcionális mechanizmusokról is), és a koraibb, objektívebb, egyszerűbben alkalmazható és olcsóbb diagnosztikai lehetőségekhez. A jövőben akár az is megvalósítható (különösen az okosórák nagyobb mértékű elterjedésével), hogy az applikáció letölthető formában szinte minden családhoz eljusson és ezáltal egy automatikus szűrés valósuljon meg már egészen korai életkorban. Ez javítaná az ASD-vel és ADHD-val érintettek prognózisát.
Ezen kívül, a játék nem csak diagnosztizál, hanem ösztönzi és fejleszti is a mozgást, ami mind a tipikusan fejlődő, mind az érintett gyerekek számára nagy jelentőségű, hiszen hozzájárul a mozgáshiányból fakadó elhízás visszaszorításához (ami pl. ASD-ben gyakoribb). Az ASD és ADHD esetében pedig a mozgás fejlesztésével a kognitív és társas-érzelmi készségek is fejlődnek, ami magasabb szintű funkcionálást, jobb életminőséget eredményez.
A kutatási eredményeknek potenciális ipari jelentősége van, sikeres fejlesztés esetén, a terület vezető diagnosztikai eszközévé nőheti ki magát.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média illetve az adófizetők tájékoztatása szempontjából különösen fontos az NKFI számára.

Egyre többet használunk mobiltelefont és tabletet, és mivel mobil aktivitásunk rögzíthető, így a kutatók rengeteg adathoz juthatnak egyszerre. Ugyanakkor ez az intenzív mobilhasználat káros is lehet, például hozzájárulhat a mozgásszegény életmódhoz.
A mozgást ösztönző és mérő/elemző játékok segíthetnek kiküszöbölni a fizikai aktivitás hiányából fakadó egészségügyi problémákat, egyúttal korábban azonosítani és fejleszteni például autizmus spektrum zavarral (ASD) és figyelemhiányos-hiperaktivitás zavarral (ADHD) élő gyerekeket, akik mozgása eltér a tipikusan fejlődő gyerekekétől.
Célunk egy okostelefonra és okosórára fejlesztett játékos, mozgásra ösztönző és mozgást mérő mobil-applikáció segítségével azonosítani azokat a mozgásos jellemzőket, melyekben az ADHD-vel, ASD-vel élő és a tipikusan fejlődő gyerekek eltérnek egymástól, majd a mozgásos adatok alapján megjósolni, hogy egy gyerek érintett-e valamelyik fejlődési zavarban. Célunk továbbá, hogy a játék segítségével fejlesszük a fejlődési zavarral élő gyerekek mozgásos készségeit, ami bizonyítottan egyéb készségek fejlődését is maga után vonja.
A szoftverrel gyűjtött adatok segítik az ADHD/ASD jobb megértését, a korábbi életkorban történő, automatizált diagnózist. Ez a korábbi fejlesztés lehetőségét adja, ami pedig jobb készségekhez és életminőséghez vezet. A játék hozzájárul, hogy a fejlesztés egy része otthon, szakemberek bevonása nélkül is megoldható legyen, így olcsóbb, időgazdaságosabb és eredményesebb lehet. Az applikáció mind a fejlődési zavarban érintett, mind a tipikusan fejlődő gyerekeknél fokozza a fizikai aktivitást, így jelentős népegészségügyi hozadéka van.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.

The growing abundance of mobile devices provides new methods for data acquisition, at the same time attachment to and intensive use of these devices pose health risks. Games that encourage and measure/analyse movement may help decrease risks associated with the lack of physical activity, while providing means of early diagnosis and improvement of children living with for example autism spectrum disorder (ASD) or attention deficit and hyperactivity disorder (ADHD), whose motions differ from those of typically developing peers.
Our aim is to discern the differences between the movement characteristics of children with ADHD and ASD and typically developing children and to detect ADHD and ASD based on the movement data, by employing a playful app for a smartphone and smartwatch pair, that encourages movement and utilizes machine learning for analyses. A further aim is to improve the motor, cognitive and socio-emotional skills of children with developmental disorders with the use of the game app.
The gathered data will facilitate the better understanding of ADHD/ASD and their automated, objective diagnosis in a younger age. This will enable earlier intervention leading to a better prognosis. The game will allow for the partial improvement of children at home, without the need for a professional, making the process, cheaper, less time-consuming and more successful. The application will promote physical activity in both children with or without disorders, leading to significant public health benefits.
The project offers part-time employment for the post-doc researchers, who will encourage PhD and master level students to participate.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.

The main problem the research will try to address, is that there is no biological or behavioural marker, or test, that can set up a clear diagnosis of ADHD and ASD, thus the diagnostic process is complicated, time-consuming, does not reach satisfactory levels of objectivity and repeatability, and is done in a relatively older age.
The project is built on the following hypotheses and questions:
1) The movements of children with ADHD or ASD differ from those of typically developing children and from each other as well, thus movement can be used for diagnostic purposes. Our question is whether there are movement patterns or movement characteristics, in which children with ADHD and ASD differ from typically developing children and from each other. Further, our question is whether it possible to classify using machine learning if the movement data of children came from a child with ADHD, ASD or typically developing child.
2) The movement disfunctions of children with ADHD and ASD can be improved with the use of mobile app which promotes physical activity, measuring movement and giving feedback in a gamified way and the improvement of movement in turn will facilitate improvement of other skills such as cognitive (executive function, attention) and socio-emotional skills. We expect, that after a month of daily training the children will perform better on novel movements (differing from the training tasks), and in tasks measuring cognitive and socio-emotional skills compared to their own performance before the training and compared to a control group of children playing with a different game.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.

Although there are many reports in the media about similar approaches, very little validated research has been published. The specificity of our project is that we work in close collaboration with experts in informatics, psychologists and ethologists to develop an efficient diagnostic tool. This is the first time that this smart watch (Applewatch) of a leading company will be used in such way. Thus the project is supported by the most reliable hardware that is continuously improved both in terms of computing capacity and sensor abilities.
Our results contribute to the better understanding of ADHD and ASD (the differences in movements relay information about functional mechanisms) and to earlier, more objective, simpler and cheaper diagnostic possibilities. In the future (with the growing penetration of smart watches) it may be possible to distribute the application to almost every family, thereby creating automated screening of in a relatively young age. This improves the prognosis of ADHD and ASD.
The game does not only make a diagnosis, but promotes and improves movement, which is very important for both typically developing and affected children in reducing obesity related to the lack of physical activity (which is more common in e.g. ASD). For children with ASD and ADHD, with the improvement of movement their cognitive and socio-emotional skills will also improve, leading to a higher functionality and better quality of life.
Our research has the potential for applied application for the medical community. There is a high change that this development will attract interest from the industry and may become a leading product in this diagnostic field.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NKFI in order to inform decision-makers, media, and the taxpayers.

We are using more and more mobile phones and tablets, and since our activity with these devices can be recorded research can gain a wealth of data. On the other hand, intensive use of mobile phone may be detrimental, leading to for example sedentary lifestyles.
Games that promote and measure/analyse movement may help mitigate health problems stemming from the lack of physical activity, and at the same time may help in earlier diagnosis and improvement of children with autism spectrum disorder (ASD) and attention deficit and hyperactivity disorder (ADHD), whose movements differ from those of typically developing children.
Our aim is to identify the movement characteristics in which children with ADHD and ASD differ from typically developing children, with the use of a gamified application for smartphones and smartwatches, which promotes and measures movement, and to predict whether the user child is implicated or not in these disorders. Furthermore, through the use of the application, we aim to improve the movement skills of children living with disorders, which is proven to improve other skills as well.





 

Final report

 
Results in Hungarian
Célunk egy olyan rendszer kifejlesztése volt, mely automatikusan méri és elemzi a mozgást és azonosítja az autizmus spektrum zavart (ASD) és a figyelemhiányos hiperaktivitás zavart (ADHD) a mozgásadatok alapján. Ez a rendszer, melyet SensKid-nek neveztünk el, egy okosórából, egy okostelefonból, gépi tanuló technológiából és egy játék applikációból áll. Hat-nyolc éves gyerekektől gyűjtöttünk mozgásos adatot: 39 tipikusan fejlődő, 20 ASD-vel és 12 ADHD-val diagnosztizált gyerektől. A gépi tanuló modellt betanítottuk a különböző mozgások felismerésére, mely kifejezetten sikeres volt: az átlagos pontosság 0,95 volt, az átlagos AUC (area under the curve) 0,76. A három csoportot az AUC értékek mentén összehasonlítva azt találtuk, hogy 14 mozgás esetében a különbség erősen szignifikáns (p<0,001) volt. Így azt várjuk, hogy legalább ennél a 14 mozgásnál sikeresen tudjuk majd azonosítani a három csoportot gépi tanulással. Egy játék applikációt is fejlesztünk, mely fizikai aktivitásra ösztönöz és fejleszti a motoros készségeket. A gépi tanuló algoritmusok játékba való integrálásával egyrészt visszajelzést tudunk majd adni a gyerekeknek arról, hogy jól végezték-e el a mozgást, másrészt a szülőnek tudjuk jelezni, ha fejlődési zavar kockázata áll fenn. Hosszú távon a projekt hozzájárul az érintett gyerekek és szüleik életminőségének növeléséhez, azáltal, hogy egy koraibb diagnózist és egy hatékony, kevésbé időigényes fejlesztést tesz lehetővé, mely a gyerekek otthonában lesz elérhető.
Results in English
Our aim was to develop a system that can automatically measure and analyse movements, and detect autism spectrum disorder (ASD) and attention-deficit hyperactivity disorder (ADHD) based on inertial data. This system, called SensKid, is made up of a smartwatch, a smartphone, machine learning (ML) algorithms and a game application. We collected inertial data from 6-8-year-old children: 39 typically developing, 20 children with ASD and 12 with ADHD. We trained ML models to detect different movements which was highly successful: the mean accuracy was 0.95, and the mean AUC (area under the curve) was 0.76. Then we compared the three groups based on the AUC values and found that in case of 14 movements, the difference was highly significant (p<0.001). This is promising, as at least in case of these movements we expect ML technology to successfully differentiate among groups. We are developing a game application which facilitates physical activity and improves motor skills. By integrating the ML algorithms into the game application, we can both give feedback to the children about the appropriateness of the movements and indicate to the parents if there is a risk of developmental disorder. In the long term, our project contributes to the improvement of the wellbeing of affected children and their parents through facilitating an earlier diagnosis and an effective, less time-consuming treatment which can be available for many children at home.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=129603
Decision
Yes





 

List of publications

 
Konok, V.: Fejlődési zavarok automatikus, mozgás-alapú felismerése, ELTE Diagnosztika és Terápia Kiválósági Program 3. Szakmai Napja, 2021
Konok, V., Liszkai-Peres, K., Csizmadia, G., Ferdinandy, B., Balázs, J., Miklósi, Á.: Automatic detection of developmental disorders by Machine Learning based on digital inertial sensors, BCCCD21. Budapest CEU Conference on Cognitive Development. 4-8 January, 2021, Online, 2021
Konok, V.: A fejlődési zavarok korai felismerése és készségfejlesztés egy mozgásra ösztönző és automatikus mozgáselemző mobil-alkalmazással, ELTE Diagnosztika és Terápia Kiválósági Program Szakmai Napja, 2020.11.11., Budapest, 2020
Ferdinandy, B., Gerencsér, L., Corrieri, L., Perez, P., Újváry, D., Csizmadia, G., & Miklósi, Á.: Challenges of machine learning model validation using correlated behaviour data: Evaluation of cross-validation strategies and accuracy measures, PloS One, 15(7), 2020
Konok Veronika, Bunford Nóra, Miklósi Ádám: Associations between child mobile use and digital parenting style in Hungarian families, JOURNAL OF CHILDREN AND MEDIA 14: (1) pp. 91-109., 2020
Konok, V., Liszkai-Peres, K., Bunford, N., Ferdinandy, B., Jurányi, Zs., Ujfalussy, D. J., Réti, Zs., Pogány, Á., Kampis, G., Miklósi, Á: Mobile use induces local attentional precedence and is associated with limited socio-cognitive skills in preschoolers, Computer in Humans Behavior, 120, 106758., 2021
Konok, V., Peres, K., Ferdinandy, B., Jurányi, Zs., Bunford, N., Ujfalussy, D.J., Réti, Zs., Kampis, G., Miklósi, Á.: Hogyan hat a mobileszköz-használat az óvodások figyelmére és társas-kognitív készségeire?, Gyermeknevelés Tudományos Folyóirat, 8(2), 13-31., 2020





 

Events of the project

 
2018-12-03 10:22:30
Résztvevők változása




Back »