CUES AND RULES - Neurocognitive investigation of auditory and visual processing of words  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
101087
Type NK
Principal investigator Csépe, Valéria
Title in Hungarian KULCSINGEREK ÉS SZABÁLYOK - A szavak akusztikus és vizuális feldolgozásának neurokognitív vizsgálata
Title in English CUES AND RULES - Neurocognitive investigation of auditory and visual processing of words
Keywords in Hungarian beszédfeldolgozás, olvasás, szótag, szóforma, szabály, jelzőinger, reprezentáció, agyi válasz, fejlődés
Keywords in English speech processing, reading, syllable, word-form, rule , cue, representation, brain response, development
Discipline
Psychology (Council of Humanities and Social Sciences)50 %
Ortelius classification: Experimental psychology
Cognition (e.g. learning, memory, emotions, speech) (Council of Medical and Biological Sciences)30 %
Linguistics (Council of Humanities and Social Sciences)20 %
Ortelius classification: Psycholinguistics
Panel Psychology and Education
Department or equivalent Institute of Cognitive Neuroscience and Psychology (Research Center of Natural Sciences)
Participants Cseri, Barbara
Csikesz Tamásné Garami, Linda
Honbolygó, Ferenc
Kóbor, Andrea
Kóbor, Andrea
Kolozsvári, Orsolya Beatrix
Ragó, Anett
Török, Ágoston Zsolt
Tóth, Dénes
Varga, Vera
Varga, Vera
Weiss, Béla
Starting date 2012-01-01
Closing date 2016-12-31
Funding (in million HUF) 66.983
FTE (full time equivalent) 19.55
state closed project
Summary in Hungarian
A hallott és írott nyelvi információ megértése arra a képességre vonatkozik, hogy a hallási és látási információk feldolgozása révén ki tudjuk nyerni az üzenetek jelentését. Az akusztikus és vizuális tulajdonságok számos lehetséges variációját mutató szavak felismerése a lokális jegyek és a globális reprezentációk komplex interakcióján alapul. A lokális jegyekre (pl. a beszéd szegmentális és szupraszegmentális jegyei, vagy az írott szöveg betűi), mint kulcsokra, a globális, absztrakt reprezentációkra pedig mint szabályokra fogunk hivatkozni. A szabályok magukban foglalják a mintázat-felismerő mechanizmusok révén létrejövő template-eket, illetve azokat a bonyolultabb nyelvspecifikus algoritmusokat, amelyek révén az absztrakt reprezentációk létrejönnek.
Jelen projektben a lokális és globális elemzési folyamatok szerepét vizsgáljuk a nyelvi információk feldolgozásában. Specifikusabban azzal foglalkozunk, hogy hogyan befolyásolják a globális reprezentációk az akusztikus és vizuális nyelvi információk feldolgozását, és hogyan fejlődnek ki ezek a csecsemőkor, és a gyermekkor során. A beszédészlelés kapcsán a prozódiai szabályokat és template-eket vizsgáljuk: az anyanyelvi hangsúly template-ek hatását az idegen nyelvű hangsúlymintázatok észlelésére és reprezentációjára, illetve ezen template-ek nyelv specifikus természetét, valamint azok fejlődését 6 és 10 hónapos kor között a csecsemőkorban. Az írott szavak felismerése kapcsán az ortográfiai kulcsok és a (pre)lexikális template-ek szerepét vizsgáljuk a betűk és más vizuális elemek (számok, szimbólumok) azonosságának és sorrendjének kódolásában.
Annak érdekében, hogy rávilágítsunk az alapvető perceptuális és a szabály alapú feldolgozás összjátékára, viselkedéses és kognitív idegtudományi módszerek alkalmazását tervezzük; eseményhez kötött agyi potenciálokat (EKP), hagyományos és sokcsatornás elektródákkal, és funkcionális MRI képalkotó eljárást.

A kísérletek várható eredményei segíteni fognak annak megértésében, hogy az emberi agy hogyan tanulja meg a nyelvileg releváns absztrakt szabályok kivonását a beszédfolyamból csecsemőkorban, hogyan alkalmazkodik a vizuális szófelismerés speciális követelményeihez iskoláskorban, és hogyan nehezíti meg a második nyelv megértését és produkcióját a szabályok túlzott használatával felnőttkorban.
Summary
Comprehension of spoken and written linguistic information is the ability to process auditory and visual sensory information in order to retrieve the meaning of utterances. The recognition of words with all the possible variations in the acoustic or visual domain is based on the complex interaction of local features and global representations. We will refer to the local features (e.g. segmental and suprasegmental features in speech, and visual properties of letters in written words) as cues, and to the global, abstract representations as templates or rules. Rules include templates, the latter being the results of pattern matching mechanisms (thus the letter “A” can be a template), but also more general language specific transformation algorithms.
In the present project, we want to investigate the role of local and global analysis in the processing of the incoming linguistic stimuli. Specifically, we address the problem of how global representations influence the processing of language related acoustic and visual information, and how they emerge during infancy and childhood. In the case of speech perception, we focus on prosodic rules and templates: on the influence of native stress templates on the perception and representation of foreign stress patterns, and on their language-specific nature, as well as their development between the age of 6-10 months in infancy. In the case of written word recognition, we study the role of orthographic cues and (pre)lexical templates in the encoding of identity and order of letters compared to other visual elements (e.g. numbers, symbols).
In order to shed light on the possible interplay between basic perceptual and rule-based processing, we plan to use behavioral methods, as well as methods of cognitive neuroscience; event-related brain potentials (ERP) using normal and high-density electrodes, and functional magnetic resonance imaging (fMRI).
The expected results of the experiments will help us to understand how the human brain learns to extract linguistically relevant abstract rules from the speech flow in infancy, how it adapts to the special requirements of visual word recognition in school-age, and how it makes it difficult to understand and produce a second language by overusing the rules in adulthood.




 

Final report

  
Results in Hungarian
Kutatásainkban azt vizsgáltuk, hogy az aktuális kulcsingerek és a hosszútávú reprezentációk kölcsönhatása miként befolyásolja a (1) az anyanyelvi prozódiai feldolgozást és (2) az olvasást, illetve azok fejlődését. Az 1. témacsoport eredményei azt mutatták, hogy a magyar felnőtt beszélők hangsúly-feldolgozási nehézsége perzisztens. Kimutattuk, elsőként ezen a kutatási területen, funkcionális MRI adataink bizonyítják a prozódia szabály-alapú prediktív kódolását. Kimutattuk, hogy a szóhangsúly-feldolgozásban egy olyan agyi vesz részt, amely magában foglalja a mindkét oldali poszterior szuperior temporális tekervényt A 2. témacsoport kutatásai a felnőttekkel végzett EKP vizsgálatok eredményeire és tapasztalataira épültek. Ezek alapján feltételeztük, hogy a reprezentáción alapuló hangsúly-feldolgozás még az állandó kiválása a folyamatos beszédből. Kimutattuk, hogy a lexikális információ előmozdítja az ismerős hangsúly jellemzők feldolgozását és a lexikális információ interakcióját a proto-lexikon szintjén is. A 3. témacsoport legfontosabb eredményeként egy nagymintás (N>250) fejlődési vizsgálatban kimutattuk, hogy a betűfelcserélési hatás nem a vizuális feldolgozásért felelő. EEG adataink szerint már az első osztályos tanulók is automatikusan megkülönböztetik az ismert betűkből álló betűsorokat, és ez a válasz nem magyarázható pusztán általános vizuális tanulási hatásként.
Results in English
In our studies we addressed the problem of how the interaction of short-term cues and long-term influence sthe ongoing processing of (1) the prosodic features of speech and (2) script. Results of the thematic group 1. showed that a foreign where stress conveys meaning do not alter the suprasegmental processing and the difficulty of speakers of a fixed-stress language is persistent. We showed, for the first time with fMRI, how a rule-based predictive coding supports prosodic processin. It was also shown, that the processing of word stress is supported by a neural network that involves the posterior superior temporal gyrus bilaterally. Studies of the thematic group 2. was based on our adults’ ERP results showed that the suprasegmental and lexical processes interact on the proto-lexical level in infants. In the thematic group 3. a large scale developmental study (N>250) we showed (thematic group 3.) that the letter transposition effect is not an inherent consequence of visual processing but reflects an adaptive, letter-string-specific response of the orthographic system. Furthermore, in EEG studies we found that automatic processing of strings of familiar letters develops by the end of first grade and its emergence cannot be explained by pure visual learning mechanisms.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=101087
Decision
Yes





 

List of publications

  
Garami, L., Ragó, A., Honbolygó, F., Csépe, V.: Lexical access enhances the activation of predominant stress templates in infants., Proceedings of the 8th international conference on Speech Prosody / SpeechProsody.2016-114, 2016
Csépe Valéria: The Multilingual Brain – Implications for the Future., In: Simone E Pfenninger, Judit Navracsics (eds.) Future Research Directions for Applied Linguistics. 312 p. Bristol: Multilingual Matters Ltd., 2017
Honbolygó F, Török Á, Bánréti Z, Hunyadi L, Csépe V: ERP correlates of prosody and syntax interaction in case of embedded sentences, J NEUROLINGUIST 37: 22-33, 2016
Kóbor, A., Takács, Á., Bryce, D., Szűcs, D., Honbolygó, F., Nagy, P., Csépe, V.: Children With ADHD Show Impairments in Multiple Stages of Information Processing in a Stroop Task: An ERP Study, DEV NEUROPSYCHOL 40: (6) 329-347, 2015
Kóbor, A., Takács, Á., Honbolygó, F., Csépe, V.: Generalized lapse of responding in trait impulsivity indicated by ERPs: The role of energetic factors in inhibitory control, INT J PSYCHOPHYSIOL 92: (1) 16-25, 2014
Ragó A, Honbolygó F, Róna Zs, Beke A, Csépe V: Effect of maturation on suprasegmental speech processing in full- and preterm infants: A mismatch negativity study, RES DEV DISABIL 35: (1) 192-202, 2014
Linda Garami, Anett Ragó, Ferenc Honbolygó, Valéria Csépe: ERP correlates of processing regular and irregular word stress, Proceedings of the 1st Conference of ESCAN, 2012
Linda Garami, Anett Ragó, Ferenc Honbolygó, Valéria Csépe: ERP correlates of processing regular and irregular word stress, Proceedings of the Conference on Cognitive Modules & Interfaces, 2012
Tóth Dénes, Csépe Valéria: General and specific factors of reading development, International Journal of Psychophysiology, 85(3), 322-323, 2012
Tóth Dénes, Csépe Valéria: General and specific factors of reading development, International Journal of Psychophysiology, 85(3), 322-323, 2012
Ferenc Honbolygó, Valéria Csépe: Influence of lexical and prosodic information on the pre-attentive processing of word stress, Second International Conference on Cognitive Hearing Science for Communication, 2013
Honbolygó Ferenc, Kóbor Andrea, Csépe Valéria,: Hangsúlyészlelési deficit idegen nyelvet tanulók körében: hangsúlysüketség magyar anyanyelvűeknél, XV. Balatonalmádi Pszicholingvisztikai Nyári Egyetem, 2013
Anett Ragó, Ferenc Honbolygó, Zsófia Róna, Anna Beke, Valéria Csépe: Effect of maturation on suprasegmental speech processing in full- and preterm infants: A mismatch negativity study, Research in Developmental Disabilities, 35 (1), 192-202., 2014
Linda Garami, Anett Ragó, Ferenc Honbolygó, Valéria Csépe: Situation related or long-term expectations – prosodic processing in infancy, ESCOP, 18th Meeting of the European Society for Cognitive Psychology,, 2013
Dénes Tóth, Valéria Csépe: Orthographic sensitivity and the integration of orthographic-phonological processing in adult dyslexia, IWORDD – International Workshop on Reading and Developmental Dyslexia, 2013
Dénes Tóth , Valéria Csépe: The g factor of reading development, IWORDD – International Workshop on Reading and Developmental Dyslexia, 2013
Csépe Valéria: Olvasás, olvasási zavar és a fejlődő agy: In memoriam Leo Blomert, PSZICHOLÓGIA 33:(1) pp. 1-14., 2013
Tóth Dénes, Csépe Valéria: General and specific factors of reading development, International Journal of Psychophysiology, 85(3), 322-323, 2012
Ragó A., Honbolygó F., Róna Zs., Beke A., Csépe, V.: Effect of maturation on suprasegmental speech processing in full- and preterm infants: A mismatch negativity study, Research in Developmental Disabilities, 35 (1), 192-202., 2014
Csépe V., Garami L., Ragó A., Honbolygó F: Prosodic bootstrapping: ERP correlates of emerging word stress template in infants., Journal of Psychophysiology, 94:(2) pp. 157-158, 2014
Garami, L., Ragó, A., Honbolygó, F., Csépe, V.: Prosodic processing in the first year of life: an ERP study, Campbell, N., Gibbon, D., and Hirst, D. (ed): Proceedings of the 7th international conference on Speech Prosody. pp. 1091-1093., 2014
Honbolygó, F., Kóbor, A., Becker, A., Friedrich, C., Csépe, V.: Prosodic priming in second language lexical identification: Evidence from an ERP study., International Journal of Psychophysiology, 94:(2) p. 159., 2014
Tóth Dénes: eegR: an R package to analyze electrophysiological (EEG) signals. The R User Conference, http://user2014.stat.ucla.edu/abstracts/talks/39_Toth.pdf, 2014
Csépe Valéria: Kép, szókép, hívókép., In: Bálint Csanád (szerk.) A kép – sokféle nézetben(Tudományos témák találkozásai, ISSN 2064-552X), Archaeolingua Alapítvány, 45-62., 2014
Csépe Valéria: Az olvasás rendszere, fejlődése és modelljei, Pléh Csaba, Lukács Ágnes (szerk.) Pszicholingvisztika 1-2., Budapest, Akadémiai Kiadó, 339-370., 2014
Csépe Valéria: Az olvasás zavarai és a diszlexia, Pléh Csaba, Lukács Ágnes (szerk.)Pszicholingvisztika 1-2., Budapest, Akadémiai Kiadó, 1325-1343., 2014
Kóbor, A., Takács, Á., Honbolygó, F., Csépe, V.: Generalized lapse of responding in trait impulsivity indicated by ERPs: The role of energetic factors in inhibitory control., International Journal of Psychophysiology 92:(1) pp. 16-25., 2014
Garami L., Ragó A., Honbolygó F., Csépe V.: From rigidity to flexibility in infants' prosodic processing, WILD 2015 - Workshop on Infant Language Development. Stockholm, 2015
Garami L., Ragó A., Honbolygó F., Csépe V.: Interaction and bootstrapping of cues in early language acquisition, Pszicholingvisztikai Nyári Egyetem, Balatonalmádi, Konferenciakötet, 2015
Garami L., Ragó A., Honbolygó F., Csépe V.: A lexikális hovatartozás hatása a hangsúlyfeldolgozásra, MPT XXIV Országos Tudományos Nagygyűlése, Eger, Konferenciakötet, 2015
Garami L: Electrophysiological correlates of language acquisition: Prosodic processing in infancy. PhD thesis, ELTE PDI cognitive psychology program, ELTE Dissertation Repository, 2015
Honbolygó, F., Kóbor, A., Csépe, V.: Processing of non-native prosodic information: an MMN study, Error Signals from the Brain: 7th Mismatch Negativity Conference, Abstracts, 2015
Honbolygó F., Kóbor, A., Csépe V.: The neural background of non-native prosodic information processing., XVII. Balatonalmádi Pszicholingvisztikai Nyári Egyetem. Balatonalmádi, Abstracts, 2015
Honbolygó F., Kóbor A., Csépe V.: Nem-anyanyelvi prozódiai információk feldolgozásának idegrendszeri háttere, Lélek-net a léleknek: Az ember a változó technikai közegek világában: A Magyar Pszichológiai Társaság XXIV. Országos Tudományos Nagygyűlése. Eger, Előadáskivonatok, 2015
Kóbor A., Honbolygó F., Becker, A. B. C., Schild, U., Friedrich, C. K., Csépe V.: A prozódia szerepe az idegen nyelvű lexikai hozzáférésben: EKP tanulmány, Lélek-net a léleknek: Az ember a változó technikai közegek világában: A Magyar Pszichológiai Társaság XXIV. Országos Tudományos Nagygyűlése. Eger, Konferenciakötet, 2015
Tóth Dénes, Czikora Dávid, Csépe Valéria: A másként olvasó agy, avagy az automatikus szófelismerés elektrofiziológiai vizsgálata jól funkcionáló diszlexiás személyeknél, Vargha A (szerk.) Lélek-net a léleknek: Az ember a változó technikai közegek világában: A Magyar Pszichológiai Társaság XXIV. Országos Tudományos Nagygyűlése:Kivonatkötet, 2015
Varga Vera, Tóth Dénes, Csépe Valéria: Az olvasni tanuló agy, avagy a betűspecifikus feldolgozás elektrofiziológiai vizsgálata alsó tagozatos gyerekeknél, Vargha A (szerk.) Lélek-net a léleknek: Az ember a változó technikai közegek világában: A Magyar Pszichológiai Társaság XXIV. Országos Tudományos Nagygyűlése:Kivonatkötet, 2015
Varga Vera: Az automatikus ortográfiai feldolgozás fejlődése, ELTE PPK, MA Disszertáció Repositórium, 2015
Kóbor, A., Takács, Á., Urbán, R., Csépe, V.: The latent classes of subclinical ADHD symptoms: convergences of multiple informant reports, RES DEV DISABIL 33: (5) 1677-1689, 2012
Ragó A, Honbolygó F, Róna Zs, Beke A, Csépe V: Effect of maturation on suprasegmental speech processing in full- and preterm infants: A mismatch negativity study, RES DEV DISABIL 35: (1) 192-202, 2014
Lohvansuu K, Hämäläinen J A, Tanskanen A, Bartling J, Bruder J, Honbolygó F, Schulte-Körne G, Démonet J -F, Csépe V, Leppänen P H T: Separating mismatch negativity (MMN) response from auditory obligatory brain responses in school-aged children, PSYCHOPHYSIOLOGY 50: (7) 640-652, 2013
Honbolygó F, Csépe V: Saliency or template?, INT J PSYCHOPHYSIOL 87: 165-172, 2013
Kóbor, A., Takács, Á., Honbolygó, F., Csépe, V.: Generalized lapse of responding in trait impulsivity indicated by ERPs: The role of energetic factors in inhibitory control, INT J PSYCHOPHYSIOL 92: (1) 16-25, 2014
Honbolygó F, Török Á, Bánréti Z, Hunyadi L, Csépe V: ERP correlates of prosody and syntax interaction in case of embedded sentences, JOURNAL OF NEUROLINGUISTICS 37: pp. 22-33., 2016
Takács, Á., Kóbor, A., Tárnok, Zs., Csépe, V.: Verbal fluency in children with ADHD: Strategy using and temporal properties, CHILD NEUROPSYCHOL 20: (4) 415-429, 2014
Ragó A, Honbolygó F, Róna Zs, Beke A, Csépe V: Effect of maturation on suprasegmental speech processing in full- and preterm infants: A mismatch negativity study, RES DEV DISABIL 35: (1) 192-202, 2014




 

Events of the project

  
2016-10-05 14:41:17
Résztvevők változása
2015-11-12 15:33:46
Résztvevők változása
2015-06-17 15:05:55
Résztvevők változása
2014-05-28 13:35:41
Résztvevők változása
2013-05-08 10:11:17
Résztvevők változása



Back »