Sensitivity of bimodal cognitive interactions to mental fatigue  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
120012
Type K
Principal investigator Csathó, Árpád
Title in Hungarian Bimodális kognitív interakciók érzékenysége a mentális fáradtságra
Title in English Sensitivity of bimodal cognitive interactions to mental fatigue
Keywords in Hungarian kognitív funkciók, mentális fáradtság, vizuális-auditoros interakció, vizuális-szomatoszenzoros interakció
Keywords in English cognitive functions, mental fatigue, visual-auditory interactions, visual-somatosensory interactions
Discipline
Psychology (Council of Humanities and Social Sciences)100 %
Ortelius classification: Experimental psychology
Panel Psychology and Education
Department or equivalent Institute of Behavioral Science (University of Pécs)
Participants Hernádi, István
Jandó, Gábor
Starting date 2016-11-01
Closing date 2020-12-31
Funding (in million HUF) 7.902
FTE (full time equivalent) 3.69
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.

Mentális fáradtság egy mindennapi jelenség, amely ugyanakkor számos medikális problémához is kapcsolódik. A legtöbb korábbi tanulmány a fáradtság jelenségeket vizuális feladatokon keresztül vizsgálta, és teljesen hiányoznak bimodális kognitív interakciók fáradtság-érzékenységét célzó vizsgálatok. A tervezett projekt célja ezért az, hogy a mentális fáradtságról alkotott ismeretanyagot kiegészítse a különböző szenzoros modalitásokra épülő kognitív folyamatok összehasonlításával, illetve, hogy betekintsen abba a kérdésbe, hogy a szenzoros modalitások közötti interakciót hogyan befolyásolja a mentális fáradtság. A projektnek 3 fő célkitűzése van, amelyet 3 év alatt szeretnénk megvalósítani. Az első annak a kérdésnek a vizsgálata, hogy a vizuális és auditoros ingerek felé irányuló szimultán figyelem hogyan változik a mentális fáradtság hatására. A második fő kérdés az, hogy a vizuális-auditoros interakciók egyes szintjei (pl. döntési szint, vagy a válasz szelekció szintje) mennyire érzékenyek a növekvő mentális fáradtságra. A harmadik évre tervezett kísérletek a fájdalom észlelés és a testkép esetleges fáradtság érzékenységét vizsgálja. A vizsgálatok fő feltételezése, hogy elsősorban azok a bimodális interakciók fáradtság érzékenyek, amelyek végrehajtása magasabb szintű kognitív kontroll folyamatot igényel. Az általános fáradtság-kutatási módszertannal összhangban, a mentális fáradtság növekedését hosszan tartó feladat-végrehajtással tervezzük elérni. A pszichofizikai adatok mellett, EEG és, a szimpatikus neurológiai aktivitásra utaló, pszichofiziológiai adatok regisztrálását is tervezzük (pl. szív frekvencia variabilitás, bőr vezetőképesség).

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.

A tervezett kutatási projekt fő célkitűzése a mentális fáradtság (a feladattal töltött idő növelésén keresztül) hogyan hat különböző kognitív folyamatokra multimodális kontextusban. A három évre tervezett projekt főbb kérdései a következőek.
[1] Befolyásolja-e a mentális fáradtság a vizuális és auditoros ingerek szimultán figyelméből adódó kognitív nehézséget? Ezt a kérdést 3 kísérlet próbálja megválaszolni: vizuális-auditoros N-back, vizuális-auditoros feladatváltás, és vizuális-auditoros GoNoGo kísérlet.
[2] A vizuális-auditoros interakciók egyes szintjei (pl. döntési szint, vagy a válasz szelekció szintje) mennyire érzékenyek a növekvő mentális fáradtságra? A kérdés megválaszolására két kísérletet terveztünk: Auditoros-vizuális stroop feladat, és vizuálisan irányított rámutatásos feladat vizuális vagy auditoros előjelző ingerek jelenlétében.
[3] Módosítja-e a mentális fáradtság a szomatoszenzoros kognitív folyamatokat? Pontosabban, hogyan módosul a fájdalom küszöb, vagy a testkép (gumikéz illúzióval mérve) egy hosszantartó, és fárasztó N-back feladat végrehajtása után?
[4] A fenti specifikusabb kérdések mellett, egy általánosabb kérdése a projektnek az, hogy a kognitív, energetizáló és motivációs folyamatok interakciója hogyan változik fáradtság alatt.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!

A tervezett projekt jelentősége a következő 5 pontban foglalható össze.

[1] Új fáradtság-érzékeny kognitív folyamatok keresése. A rendelkezésre álló ismereteink még távolról sem teljesek arról, hogy a kognitív rendszerek milyen folyamatai érzékenyek a fáradtságra. A tervezett vizsgálatban több olyan kísérlet is szerepel, amelyek, a fáradtság vonatkozásában, korábban nem vizsgált kognitív képességeket tesztelnek. Például, a szomatoszenzoros észleléssel (fájdalom észlelés, és a testkép változása) kapcsolatos kísérletek teljesen új területnek tekinthetők a fáradtság kutatásban.
[2] A projekt szempontjából alapvető jelentőségű, annak a megértése, hogy a mentális fáradtság milyen mértékben befolyásolja a bimodális kognitív konfliktusokat, illetve, hogy a fáradtság eltérőképpen hat-e a különböző szenzoros képviseletek által detektált ingerek kognitív feldolgozására.
[3] Jól ismert, hogy a mentális fáradtság jelentőse ronthatja a kognitív kontroll folyamatok hatékonyságát. Ezért, ugyan közvetett módon, a tervezett kísérletek hozzájárulhatnak annak megértéséhez, hogy a kognitív kontroll milyen mértékben szükséges a különböző típusú szenzoros információk integrációjához.
[4] Ugyanakkor a projekt eredményei ahhoz annak megértéséhez hozzájárulhatnak, hogy a kognitív, energetizáló és motivációs folyamatok interakciója hogyan változik fáradtság alatt.
[5] Végül, tervezett vizsgálat a fáradtság menedzsment ismeretanyagát is gyarapíthatja. A mentális fáradtság jelentősen befolyásolja mindennapi viselkedésünk hatékonyságát, és biztonságát. Számos közlekedési, és ipari baleset esetében a fáradtságot azonosították kiváltó tényezőként. Így, ha ismeretünket a fáradtság-érzékeny folyamatokról kibővítjük, akkor hasznos információt szerezhetünk arról, hogy milyen megelőző lépéseket tehetünk a fáradtságból adódó hibák kiküszöbölése érdekében.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.

A különböző érzékszerveinkkel elérhető információ minden pillanatban változik, és ennek integrálása komoly feladatot jelent az idegrendszer számára. Ez az integrációs folyamat annyira összetett, hogy kontrollálása jelentős mentális erőforrásokat igényel. Az erőforrások csökkenésével párhuzamosan csökken mentális kontroll folyamatok hatékonysága, és erősödik a mentális fáradtságérzet. A tervezett kutatási projekt célja az, hogy megvizsgálja azt a kérdést, hogy a mentális fáradtság milyen mértékben befolyásolja a különböző érzékszerveinkből érkező információ összehasonlítását és integrációját. Részletesebben fogalmazva, a tervezett projekt három éve során három kérdésre keressük a választ. Először arra, hogy az vizuális és akusztikus információ integrálását szabályzó képességünk hogyan változik fáradt állapotban. Másrészt választ keresünk arra a kérdésre is, hogy a fáradtság hogyan hat választásainkra, olyan furcsa helyzetekben, mikor a vizuális és az akusztikus információ egymásnak ellentmondó viselkedést inspirál. Ugyanakkor, nem csak a hallás és a látás folyamata igényel folyamatos kontrollt, hanem a fájdalom-észlelésünk, vagy a saját testünkről kialakított kép feldolgozása is. Ezért a harmadik kérdésünk az, hogy vajon a fáradtság módosítja-e az enyhe fájdalom érzékelését, illetve saját testünk érzékelését. A mentális fáradtság jelentősen befolyásolja mindennapi viselkedésünk hatékonyságát, és biztonságát. Így, ha ismeretünket a fáradtság-érzékeny folyamatokról bővítjük, akkor hasznos információt szerezhetünk arról is, hogy milyen megelőző lépéseket tehetünk a fáradtságból adódó hibák kiküszöbölésének érdekében.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.

Mental fatigue is a very common everyday phenomenon and a frequent symptom of a large number of medical conditions. Importantly however, most of the previous observations about fatigue have been made upon visual tasks, and even no studies have been conducted to investigate the sensitivity of cross-modal interactions to fatigue. Therefore, the aim of the proposed project is to refine our knowledge about fatigue in different sensory modalities and to provide novel insights into the question of how cross-modal competition is affected by mental fatigue. Three specific objectives are aimed at accomplishing during a three-year-long period: Investigation of simultaneous attention to visual and auditory information under fatigue, examining fatigue sensitivity of the visual-auditory interactions at pre-response and response selection level, as well as observing the effect of fatigue on somatosensory awareness (i.e. sensitivity of pain processing and body ownership). A general assumption is that cross-modal interactions relying on minimal capacity of attention are robust to fatigue, and that only interactions with various components of cognitive control would be compromised by fatigue. In accordance with a generally accepted methodological concept, in the proposed experiments, mental fatigue is elicited during prolonged task performance (i.e. by time-on-task). In addition to reaction time, and error rate analyses, we aim at recording EEG and psychophysiological markers of sympathic neural activity (e.g. skin conductance, skin temperature, and hear rate variability). The project team consists of three senior researchers, two PhD students and two undergraduate students.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.

The proposed project is dedicated to the effect of mental fatigue (induced by Time-on-Task) on various cognitive operations in multimodal context.
The main questions of the three-year-long project are
[1] Does mental fatigue affect the difficulty of simultaneously attending at visual and auditory stimuli? This question is addressed by three experiments: Dual N-back, dual task switching, and dual GoNoGo experiments.
[2] Which levels of the auditory-visual conflicts (response selection level, or pre-response level) are more sensitive to the detrimental effects of fatigue? In order to examine this question, we propose two experiments: Auditory – visual stroop task, and a targeting experiment with visual targets, but with auditory-visual pre-stimulus cues.
[3] Does mental fatigue modify our somatosensory awareness? More specifically, how a prolong performance of a fatiguing N-back task affect our pain threshold, and the experience with the Rubber hand illusion?
[4] A more general question of the project is how cognitive, energizing and motivational processes interact under fatigue.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.

The importance of the project can be summarized in five points as follows.
[1] Recognizing new fatigue sensitive cognitive mechanisms. Our knowledge about the fatigue sensitive cognitive processes is still far from complete. Some of the experiments proposed in the project are addressed to cognitive operations that has not been investigated in relation to fatigue earlier: Neither in unimodal, nor in multimodal context. For example, investigating the potential effects of fatigue somatosensory awareness is absolutely novel area of research.
[2] Importantly, the proposed project might contribute to the understanding of whether mental fatigue affects cross-modal conflicts, and whether it can dissociate between the cognitive processing of stimuli arriving at different sensory modalities.
[3] A better understanding of how cognitive control mechanisms contribute to bimodal sensory interactions. Fatigue has a well-known detrimental effect on cognitive control. Therefore, although indirectly, our experiments might also provide insights into the general relationship between cognitive control and cross-modal interactions.
[4] The results of the project might refine our knowledge about how cognitive, energizing and motivational factors interact under fatigue.
[5] The proposed study might also have contribution to fatigue management. Mental fatigue might have a pronounced impact on activity and safety in everyday life: For many accidents in industry and transportation fatigue has been identified as one of the major contributing factors. Thus, refining our knowledge about the fatigue sensitive cognitive performances might provide useful information for taking countermeasures, and preventing fatigue related errors.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.

At each moment, we are exposed to a high variety of sensory information making a serious challenge for our nervous system to integrate information arriving at the isolated sensory modalities. This integration process rely on complex associative, control processes and, therefore, it might be sensitive to mental fatigue. The aim of the project is to investigate, how mental fatigue affects the integration of information between different sensory modalities. More specifically, during a three year long project we would like to find answer for at least three questions. First, how our ability at simultaneously attending at visual and auditory information affected by fatigue? Second, if auditory and visual information facilitate different responses, then how fatigue will affect the choosing of the appropriate response in such contradictory situations. However, not only vision and hearing, but also the experience with pain as well as our imagination of our own body might require controlled interactions between different senses. Therefore, the third question is whether fatigue maintains or disturbs pain sensitivity and the feeling of ownership of our body. In each experiment, fatigue is planned to be induced by prolong performance of a cognitively demanding task. The importance of the present project is that mental fatigue is known to have a pronounced impact on activity and safety in everyday life. Thus, refining our knowledge about the fatigue sensitive cognitive performances like those experiments proposed in the current project, might provide useful information for taking countermeasures, and preventing fatigue related errors.





 

Final report

 
Results in Hungarian
A támogatott vizsgálatsorozat során a mentális fáradtság hatását vizsgáltuk olyan pszichológiai feladatokban, amelyek több különböző érzékelési rendszert (pl. vizuális, auditoros modalitást) érintenek. Többek között kimutattuk, hogy, a vizuális információ feldolgozásához képest, az auditoros információ detektálása ellenállóbb a fáradtság hatásának az időbecslési feladatokban. Kimutattuk továbbá, hogy egyszerű célirányos mozgásaink is fáradtságérzékenyek: míg a mozgásunk előkészítése lassul, addig a mozgás végrehajtása gyorssá, de ugyanakkor figyelmetlenebbé válik. Az előbbiekkel ellentétben, azt találtuk ugyanakkor, hogy a testi tudatunkat meghatározó folyamatok nem mutatnak fáradtságérzékenységet. A fáradtság általános élettani hatásával kapcsolatban erős bizonyítékot találtunk több vizsgálatban is a relaxiációért, regenerációs folyamatokért felelős biológiai rendszerek fokozott aktivációjára (paraszimpatikus rendszer). Végül, gépi tanulási algoritmusok alkalmazásával sikeresen fejlesztettünk fáradtság detektáló és fáradtság előrejelző algoritmusokat.
Results in English
In the supported series of studies, we examined the effect of mental fatigue on the performance of psychological tasks that affect several different sensory systems (e.g., visual, auditory modality). Among others, we have shown that, compared with visual information, auditory information detection is more resilient to the effects of fatigue in time estimation tasks. We have also shown that our simple aim-oriented movements are also sensitive to fatigue: while the preparation of our movement slows down under increasing fatigue, the execution of the movement becomes faster but at the same time more inattentive. However, we have found that the processes that determine our body awareness, a body schema do not show sensitivity to an elevated level of fatigue. Regarding the general physiological effect of fatigue, we found strong evidence in several experiments for the increased activation of the biological systems responsible for relaxation and regeneration processes (i.e. parasympathetic system). Finally, using machine learning algorithms, we successfully developed a fatigue detection and fatigue-prediction algorithm.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=120012
Decision
Yes





 

List of publications

 
Csathó Á., Matuz A., Simon O., Hernádi I.: Switching between two modalities under fatigue, 60. Conference of Experimental Psychologists, 2018, Marburg, Németország, 2018
Matuz A., Simon O., Hernádi I., Kisander Zs., Karádi K., Csathó Á.: A mentális fáradtság és a pihenés hatásai bimodális munkamemória feladatban: Pszichofizikai és elektrokardiogram elemzés, Magyar Pszichológiai Társaság Nagygyűlése, Budapest, 2018
Matuz A., Topa K. J., Csathó Á.: Resting heart-rate variability predicts susceptibility to mental fatigue in a demanding cognitive task, 19th World Congress of Psychophysiology, 2018
Massar, S. A., Csathó, Á., & Van der Linden, D.: Quantifying the motivational effects of cognitive fatigue through effort-based decision making, Frontiers in Psychology, 9, 843, 2018
Matuz, A., Simon, O., Hernádi, I., Kisander, Zs., Karádi, K., Csathó Á.: Fatigue and Resting Related Changes in a Dual-two-Back Task, 60th Conference of Experimental Psychologists, 2018, Marburg, Németország, 2019
Matuz, A., van der Linden, D., Topa, K., Csathó, Á.: Cross-Modal Conflict Increases With Time-on-Task in a Temporal Discrimination Task, Frontiers in Psychology, Cognition section, 2019
Matuz A., Csathó, Á.: Resting state fMRI correlates of mental fatigue and reward-induced improvement in task performance, PhD Scientific Days, 2020
Matuz, A., Csathó, Á.: Detection of acute mental fatigue based on heart-rate variability: a machine learning approach, Medical Conference for PhD Students and Experts of Clinical Sciences, Pécs, 2020
Matuz, A.: A comparison of machine learning-based mental fatigue detection from resting and task-related heart-rate variability data, IX. Interdiszciplináris Doktorandusz Konferencia, Pécs, 2020
Csathó, Á, Matuz, A: Visually guided movement with increasing Time-on-Task: Effects on movement preparation and movement execution, CNS 2020 Cognitive Neuroscience Society, 2020
Matuz, A., Van der Linden, D., Kisander, Zs., Hernádi, I., Karádi, K., Csathó, Á.: Enhanced cardiac vagal tone in mental fatigue: Analysis of heart rate variability in Time-on-Task, recovery, and reactivity, PlosOne, 2021
Csathó Á., Simon A., Horváth B.: Comparison of subjective and objective sleep quality measures and their relation to attentional network functions, The 59th Conference of Experimental Psychologists, Drezda, Németország, 2017
Csathó Á., Matuz A., Hernádi I.: Simultaneous attention to visual and auditory information under fatigue, FENS Regional Meeting, Pécs, 2017
Csathó Á, Matuz A., Simon O., Hernádi I.: Switching between two modalities under fatigue, The 60th Conference of Experimental Psychologists - Marburg, Németország - Az absztrakt elfogadás alatt, 2018
Matuz A., Simon O., Hernádi I., Kisander Zs., Karádi K., Csathó Á.: Fatigue and Resting Related Changes in a Dual-two-Back Task, The 60th Conference of Experimental Psychologists - Marburg, Németország - Az absztrakt elfogadás alatt,, 2018
Matuz A., Simon O., Hernádi I., Kisander Zs, Karádi K., Csathó Á: Fatigue and Resting Related Changes in a Dual-two-Back Task, 60. Conference of Experimental Psychologists, Marburg, Németország, 2018




Back »