Etho-robotical devices of Human-Machine interaction  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
120501
Type K
Principal investigator Korondi, Péter
Title in Hungarian Ember-Gép interakció eto-robotikai eszközei
Title in English Etho-robotical devices of Human-Machine interaction
Keywords in Hungarian Mobil robot, eto-robotika. cognitív robotika
Keywords in English mobile robot, etho-robotics, cognitive robotics
Discipline
Mechanics (Council of Physical Sciences)100 %
Ortelius classification: Electromechanical engineering
Panel Engineering, Metallurgy, Architecture and Transport Sciences
Department or equivalent Department of Mechatronics, Optics and Information Engineering (Budapest University of Technology and Economics)
Participants Budai, Csaba
Korcsok, Beáta
Kovács, Bence
Kovács, Szilveszter
Miklósi, Ádám
Nagy, Balázs Vince
Piller, Imre
Samu, Krisztián
Szayer, Géza
Tajti, Ferenc
Vincze, Dávid
Starting date 2016-11-01
Closing date 2021-10-31
Funding (in million HUF) 46.430
FTE (full time equivalent) 27.45
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.

2016-ban záruló OTKA pályázat támogatásával egy olyan mobil robot készült, amely fizikai tulajdonságai alapján képes szociális interakcióra. Jelen pályázat legfontosabb általános célkitűzése, hogy olyan helyzeteket teremtsen a robot
számára, ahol a robot szociális szereplőként az ember gép kapcsolatban közvetlenül megfigyelhetővé, viselkedése
formálisan modellezhetővé, tudományosan tesztelhetővé váljon. A hasonló kutatások többségét a heurisztika körébe
sorolhatjuk. A tervezett kutatásban újdonságot jelent az etológiai megközelítés, mely alapján a robottól nem emberi
viselkedést várunk el, hanem olyan a robot funkciójához illeszkedő viselkedést, mely a technika fejlődésével ténylegesen
megvalósítható. Ehhez az embernél egyszerűbb viselkedési modellt használunk, a kutyát (Canis familiaris), mely szociális
társállatként a domesztikáció során olyan képességekre tett szert, melyek megkönnyítették az emberi társadalomba való
beilleszkedését.
A robotoknak mindamellett, hogy funkciójuknak megfelelően segítik az embert, képesnek kell lenniük szociális interakcióra, azaz adott szociális helyzetekben adekvát viselkedést mutatni. Az adekvát viselkedés képessége részben az érzékelők oldalát, a konkrét szociális helyzet felismerést érinti, részben a helyzetnek megfelelő, robotba építhető viselkedésmodellek kialakítását igényli. Mindez visszahat a robot megjelenésére és új funkciókat is igényelhet. A szükséges alapvető viselkedések közül ebben a projektben vizsgáljuk a nézésváltással való jelzést és a szociális megfigyelést (a robot hogyan mutassa készségét az interakcióra, anélkül, hogy az embert zavarná), illetve vizsgáljuk a robot kinézetének és az alanyok korának hatását.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.

Kutatásunkban vizsgáljuk több viselkedés hatását emberrobot interakcióban, illetve a robot megjelenésének és az alanyok korának hatását. A vizsgálatok alapján új, az interakciót segítő viselkedési algoritmusokat hozunk létre, melyek beépíthetőek robotba.
1. Feltételezzük, hogy a robot viselkedésében mutatott különbség (mennyire megy közel az emberhez, mennyi ideig néz rá) alapján változik a környezetükben levő ember viselkedése, robotokhoz való viszonya. Azt várjuk, hogy az embereket kisebb távolságra megközelítő és az emberre többet néző robotok esetén az alanyok jobban fognak rá figyelni, de többen
fognak negatívan vélekedni a robotról.
2. Feltételezzük, hogy a robot kérdőíves vizsgálat során eltérően értékelt kinézetei eltérő hatásúak lesznek az interakció során. Azt várjuk eredményként, hogy a kérdőíves felmérésben nem kedvelt megjelenésű robottal való interakció során az emberek nagyobb távolságot tartanak a robottól és kevesebbet kommunikálnak vele, mint a kedvelt megjelenésűvel.
3. Feltételezzük, hogy a robot nézésváltással történő jelzése során a nézésváltás gyakorisága és a nézési idők hossza hatással van az ember sikerességére a jelzett tárgy megismerésében, és a robothoz való viszonyukban. Azt várjuk, hogy a gyakrabban nézésváltást végző robotnál az alanyok sikeresebbek lesznek a tárgy kiválasztásában, a nézési idők hossza pedig befolyásolja a robothoz való viszonyt.
4. Feltételezzük, hogy különböző korcsoportokba tartozó emberek között lesznek eltérések az interakció során mutatott viselkedésükben, illetve a robot értékelésében. Azt várjuk, hogy az időskorúak nagyobb távolságot tartanak a robottól, eltérően kommunikálnak vele, és negatívabban értékelik.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!

A szociális robotok a jövőben a mindennapi élet részévé válhatnak, ezért elsődleges fontosságú, hogy olyan emberek is könnyen tudjanak kommunikálni az őket segítő robottal, akik nem rendelkeznek szakmai háttértudással; ehhez a robotokat kell képessé tenni megfelelő viselkedésre és kommunikációra. Egy viselkedési készletet kell kialakítani a szociális robotok számára, mellyel minél többféle interakciós helyzetben megállják a helyüket.
A feladat kettős, az emberkutya interakcióból kiindulva új elemi viselkedési mintákat kell kidolgozni a robotoknak,
másrészről ezeket a szociális viselkedésmintákat matematikai, illetve algoritmizált formába kell önteni, hogy beprogramozható legyen a robotokba.
Mivel a robot megjelenése hatással lehet az interakcióra és a robot megítélésére, ezért ennek hatását is szeretnénk vizsgálni. A „borzongások völgye” hipotézis értelmében a túlzottan antropomorf robotok averziót válthatnak ki az emberekben, fontos tehát, hogy a robot belső képességeihez és funkciójához milyen megjelenésnek kell társulnia. A kérdőíves és viselkedési tesztek alapján rálátást kapunk arra, milyen megjelenést preferálnak a különböző korú emberek, melyet figyelembe lehet venni a robotok fejlesztésekor. Azt vizsgáljuk, hogy elemi szociális interakciók során milyen viselkedésmintázatok megfelelőek a robot számára, a robot megjelenése hogyan befolyásolja az interakciót. Létre kívánunk hozni több olyan viselkedési algoritmust, melyek segíthetik a robotok elfogadását.
Konkrétan vizsgáljuk:
A szociális megfigyelést, mely biztosítja, hogy szükség esetén a robot gyorsan és hatékonyan legyen képes interakcióba
lépni az emberrel, de jelenléte ne legyen zavaró.
A nézésváltáson alapuló jelzést, mellyel a robot eredményesen tud jelezni a környezet adott pontjaira. Ezen viselkedések
gördülékenyebbé tehetik az interakciót, és utat nyithatnak a komplexebb viselkedések felé.
A humánrobot
interakciós vizsgálatok nagy részét egyetemistákkal végzik, azonban a segítő robotok feladata sokszor az idősek segítése, így tervezéskor az időskorúak igényeire is tekintettel kell lenni. Az eddigi humánrobot
interakciós
kutatások általában elhanyagolták a korcsoportok közötti összehasonlítást, melyet kutatásunkkal szeretnénk pótolni.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.

A robotok a jövőben a mindennapi élet részévé válhatnak, például háztartásokban vagy irodákban, illetve idősek ellátásában, autista gyerekek képességeinek fejlesztésében vagy betegségből gyógyulók terápiájában. Vagyis a robotok az életünk és otthonunk részévé válhatnak. A robotok lehetséges helyét a társadalomban már sokan vizsgálták és e kutatások többsége emberi kinézetet és emberi viselkedésmintákat próbál a robotoknak kölcsönözni. Jelen pályázat a magyar gyökerekkel rendelkező etorobotika koncepcióval foglalkozik, amely e trendekkel ellentétben etológiai indíttatású viselkedésmodelleket alkalmaz. A robotokat tekintsük inkább egy új mesterséges fajnak, ahol azok sem kinézetre, sem viselkedésre nem hasonlítanak az emberre. A robot legyen robotszerű, de ha már mintákat keresünk, akkor azokat célszerűbb az állatvilágból meríteni. Pl. a kutya tökéletesen be tudott illeszkedni az emberi társadalomba úgy, hogy sokan a kutyákat családtagnak tekintik, amelyek („akik”) hűségesen szolgálják a gazdájukat. Természetesen a robotoktól is ezt várjuk. De mikor mondhatjuk pl. egy portásrobotra, hogy udvarias volt velünk, vagy egy intézkedő rendőrrobotra, hogy határozottan és szakszerűen járt el? Ezek most távolinak tűnő kérdések, de a megválaszolásukkal nem várhatunk e robotok megjelenéséig, mert akkor könnyen kezelhetetlen szörnyeket szabadítanánk az emberiségre. Ahogy technikailag fejlődnek a robotok, úgy kell folyamatosan a szociális beilleszkedésükkel is foglalkozni, ahogy egy kisgyermek nevelését sem lehet akkor elkezdeni, amikor testileg már teljesen kifejlődött. E projekt elemi viselkedésminták megfigyelésével, modellezésével és informatikai megvalósításával foglalkozik.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.

With the support of a previous OTKA proposal which is closing in 2016, a mobile robot was built which has physical attributes that makes it capable of social interactions. The most important main goal of the current proposal is to create situations for the robot in which the robot as a social partner can be directly observed, its behaviour formally modelled and scientifically tested in humanrobot interactions. Most of the similar studies are categorized as heuristic. In the planned research the ethological approach is a novelty, in which we do not expect the robot to have a similar behaviour to humans, instead to have behaviours corresponding to the robot’s function that are achievable with new technical advancements. For this we use a simpler behavioural model, the dog (Canis familiaris) which as a companion animal acquired social skills during its domestication that helped their integration into human society.
The robots besides helping people according to their functions also have to be able to engage in social interactions and to show adequate behaviours in given social situations. The ability for adequate behaviour in part affect the side of sensors, the recognition of the specific social situation, in part it requires the development of adequate behaviour models that can be implemented into the robot. In this project we examine necessary basic behaviours such as signalling with gaze alternation, and social monitoring (how can a robot show its readiness for interaction without disturbing the human), and we examine the effects of the robot’s appearance and the age of the subjects.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.

We examine the effects of several behaviours in humanrobot interaction and the effects of the robot’s appearance and the age of the subjects. Based on the results we develop new behavioural algorithms to help the interaction, which can be implemented into robots.
1. We hypothesize that the differences in the robot’s behaviour– how close it comes to humans, how many times it looks at them affect the behaviour of people in its environment and their attitude towards robots. We expect that if the robot comes closer to humans and looks at them more, the subjects would pay more attention to it but more of them would evaluate the robot more negatively.
2. We hypothesize that the different appearances of the robot tested by a questionnaire study affects the interaction differently. We expect humans to communicate less and keep more distance from robots with the appearance that was found ‘disliked’ in the questionnaire study than from the robot with the ‘liked’ appearance.
3. We hypothesize that during the robot’s signalling with gaze alternation the frequency of gaze alternation and length of eye contact affect the subjects’ success in choosing the signalled object, and their attitude towards robots. We expect that with the robot’s more frequent gaze alternation people will be more successful in choosing the signalled object while the length of eye contact will influence their evaluation of robots.
4. We hypothesize that the behaviour of differently aged people would differ in the interaction and in the evaluation of robots. We expect elderly people to keep more distance from the robot, to communicate with them differently and to evaluate them more negatively.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.

Social robots might become a part of our everyday lives in the future, therefore it is imperative that people with no technical background could easily communicate with the robots that helps them; for this robots have to be capable of behaving and communicating adequately. A set of behaviours has to be developed for social robots that enables them to succeed in various interaction scenarios.
The task is twofold, new basic behavioural patterns have to be created based on humandog interactions, and on the other hand these behavioural patterns have to be defined mathematically and in an algorithmic form to be programmable into robots.
Considering that the appearance of the robot might affect the interaction and the subjects’ evaluation of the robot, we
would like to study this effect. According to the ‘Uncanny valley’ hypothesis the overly anthropomorphic robots can cause
aversion in people, so it is important for the robot’s appearance to correlate with its inner capacities and its function. Based
on the questionnaire and behavioural studies we can get a view on the preferences of the robot’s appearance from
differently aged people, which can be considered in the development of robots.
We examine which behavioural patterns are adequate for robots during basic social interactions, and how the
appearance of the robot influences the interaction. We want to develop multiple behavioural algorithms which help the
acceptance of robots.
We examine:
Social monitoring, which ensures that when needed, the robot can initiate interactions with humans quickly and effectively without disturbing them with its presence. Signalling based on gaze alternation, with which the robot can effectively signal to given places in the environment. These
behaviours can make interactions more fluent and open the way for more complex behaviours.
Most of the humanrobot interaction studies are conducted with university students, but assistive robots’ task is often to
help the elderly, therefore the needs of the elderly have to be considered during development. Previous humanrobot interaction studies usually lacked the comparisons between age groups which we would like to amend with our research.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.

In the future robots might become part of our daily lives, for example in households and offices, in caring for elderly
people, in developing the abilities of autistic children or in the rehabilitation of recovering patients. They can soon appear
in our lives and homes. There have been multiple studies on the possible status of robots in society and most of these
supposed that robots should be similar to humans both in appearance and in behavioural patterns.
The present proposal deals with the concept of the Hungarian rooted ethorobotics, which opposite to the above trends apply ethologybased behavioural models. We should consider robots as a new artificial species that should not be
similar to humans either in appearance or in behaviour. Robots should be robotlike
and if we decide to use behavioural models then those should rather originate from animals. For example, dogs have integrated into human society so perfectly that some people consider them family members which (“who”) faithfully serve their masters. This is exactly what we expect from robots.
But when can we say that a porter robot was polite with us, or that an acting police robot was decided and professional?
These questions might seem remote, but we cannot wait with the solutions until the appearance of these robots as that
way we could easily release uncontrolled monsters onto humanity. Along with the technical development of robots we
have to continually deal with their social integration, as we start the education of a child in childhood and not when
she/he’s already grown up physically. This project focuses on the observation, modelling and IT implementation of basic
behavioural patterns.





 

Final report

 
Results in Hungarian
A pályázat első szakaszában az ember-robot interakció néhány alapelemével foglalkoztunk, és a megjelent cikkeink ezekkel a témákkal foglalkoztak: Holonomikus (élőlény szerű) robot mozgás Érzelemkifejezés absztrakt képekkel Kézmozdulatok gépi felismerés Biológiai szabályszerűségeken alapuló mesterséges hangok (a szavak nélküli kommunikáció új megközelítése) Az utóbbi témában 237 résztvevővel zajló vizsgálat eredményei alapján megállapítottuk, hogy a mesterséges hangok paraméterei hasonlóan befolyásolják a nekik tulajdonított intenzitást és érzelmi töltetet, mint az emlősök vokalizációja. A második kísérletben a hangok által kiváltott megközelítési-eltávolodási reakciókat vizsgáltuk. Az eredményekre alapozva érzelemkifejező hangokat implementáltuk különböző funkciójú robotokban. Kialakítottunk egy fuzzy viselkedés-leíró programnyelvet, amely segítségével a robot viselkedési sémáit leíró programok írhatók. A komplex robot viselkedés, illetve komplex ember-gép interakció vizsgálatára több kísérleti szcenárió alakítottunk ki. A tanszéki intelligens térben a robotok mesterséges kötödési viselkedését vizsgáltuk. Az erről szóló első cikk bírálat alatt van, a témában további cikkek várhatóak. A Covid-járvány miatt az egyetemen kialakított imitált étteremben az általunk kialakított pincér robot egy mozdulatból álló és komplex kommunikációjának hatását hasonlítottuk össze. A kísérletben több mint 80 résztvevő vett részt, az eredmények publikálása jövő év elején várható.
Results in English
In the first phase of the project, we developed some basic elements of HRI and our published articles dealt with these topics: Holonomic (animal-like) robot movement Emotion expression with abstract images Machine recognition of hand gestures Artificial sounds following biological rules: A novel approach for non-verbal communication in HRI Based on the results of a study of 237 participants on the latter topic, we found that the parameters of artificial sounds have a similar effect on the intensity and emotional content attributed to them as the vocalization of mammals. In the second experiment, we examined the approach-departure reactions elicited by sounds. Based on the results, we implemented emotion-expressing sounds in robots with different functions. We have developed a fuzzy behavioural programming language that can be used to write programs that describe the behavioural patterns of a robot. Several experimental scenarios have been developed to investigate complex robot behaviours and complex human-machine interaction. We investigated the artificial attachment behaviour of robots in our intelligent space. The first article on this topic is under review, more articles are expected. We compared the effect of a one-touch and complex communication of the waiter robot in a simulated restaurant (due to the Covid epidemic) at the university. More than 80 participants took part in the experiment, and the results are expected to be published early next year.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=120501
Decision
Yes





 

List of publications

 
Miklosi A, Korondi P, Matellan V, Gacsi M: Ethorobotics: A New Approach to Human-Robot Relationship, Frontiers in Psychology, 2017
Szayer Géza, Kovács Bence, Tajti Ferenc, Korondi Péter: Feasible utilization of the inherent characteristics of holonomic mobile robots, ROBOTICS AND AUTONOMOUS SYSTEMS, 2017
Horváth Csongor, Kovács Szilveszter: New cognitive info-communication channels for human-machine interaction, Recent Innovations in Mechatronics, 2017
V Konok, B Korcsok, Á Miklósi, M Gácsi: Should we love robots? – The most liked qualities of companion dogs and how they can be implemented in social robots, Computers in Human Behavior, 2018
Bence Kovács, Géza Szayer, Ferenc Tajti, Mauricio Burdelis, Péter Korondi: A novel potential field method for path planning of mobile robots by adapting animal motion attributes, ROBOT AUTON SYST 82: 24-34, 2016
Ferenc Tajti, Géza Szayer, Bence Kovács, Péter Barna, Péter Korondi: Optical flow based odometry for mobile robots supported by multiple sensors and sensor fusion, AUTOMATIKA 57: (1) 201-211, 2016
Nagy, Balázs ; Botzheim, János ; Korondi, Péter: Magnetic Angular Rate and Gravity Sensor Based Supervised Learning for Positioning Tasks, Sensors 2019, 19(24), 5364, 2019
Abdai, Judit ; Korcsok, Beáta ; Korondi, Péter ; Miklósi, Ádám: Methodological challenges of the use of robots in ethological research, Animal Behavior and Cognition, Vol 5, Issue 4, November, 2018
Balázs Nagy, Beáta Korcsok, József Nánási, Mihoko Niitsuma: EthoCar, Human-Dog Interaction Inspired Human-Autonomous Car Communication, CAx technologies, ISSN 1314-9628, 2019
Natabara Máté Gyöngyössy, Márk Domonkos, János Botzheim, Péter Korondi: Supervised Learning with Small Training Set for Gesture Recognition by Spiking Neural Networks, IEEEXplore, 2019
Imre Piller, Szilveszter Kovács: Fuzzy Behavior Description Language: A Declarative Language for Interpolative Behavior Modeling, ACTA POLYTECHNICA HUNGARICA 16 : 9 pp. 47-72. , 26 p. (2019), 2019
Beáta Korcsok, Tamás Faragó, Bence Ferdinandy, Ádám Miklósi, Péter Korondi, Márta Gácsi: Artificial sounds following biological rules: A novel approach for non-verbal communication in HRI, SCIENTIFIC REPORTS 10 : 1 pp. 1-13. Paper: 7080, 2020
V. Farkas Zita, Nádas Gergely, Kolossa József, Korondi Péter: Robot Compatible Environment and Conditions, PERIODICA POLYTECHNICA-CIVIL ENGINEERING 65 : 3 pp. 784-791. , 8 p. (2021), 2021
Korondi Péter: Machine-learning algorithms in the field of motion control and mechatronics (keynote), http://www.ieee-pemc2020.org/keynote_speakers.php, 2021
Balint Tamás Rozgonyi, Natabara Máté Gyöngyössy, Beáta Korcsok, János Botzheim: Bacterial Evolutionary Algorithm-based Feature Selection for Word Sentiment Interpolation in Hungarian Language, http://conf.uni-obuda.hu/cinti2021/final.html, 2021
Korcsok, Beáta ; Konok, Veronika ; Persa, György ; Faragó, Tamás ; Niitsuma, Mihoko ; Miklósi, Ádám ; Korondi, Péter ; Baranyi, Péter ; Gácsi, Márta: Biologically Inspired Emotional Expressions for Artificial Agents, FRONTIERS IN PSYCHOLOGY 9 Paper: 1191 , 17 p. (2018), 2018
David, Vincze ; Marta, Gacsi ; Szilveszter, Kovacs ; Mihoko, Niitsuma ; Peter, Korondi ; Adam, Miklosi: Towards the Automatic Observation and Coding of Simple Behaviours in Ethological Experiments, IEEE/SICE International Symposium on System Integration (SII 2021) IEEE (2021) pp.841-842. , 2 p., 2021




Back »