 |
Multimodal interactions in orthographic learning
|
Help 
Print 
|
Here you can view and search the projects funded by NKFI since 2004
Back »
|
| |
Details of project |
|
|
| Identifier |
119365 |
| Type |
K |
| Principal investigator |
Csépe, Valéria |
| Title in Hungarian |
Multimodális interakciók az ortográfiai tanulásban |
| Title in English |
Multimodal interactions in orthographic learning |
| Keywords in Hungarian |
ortográfia, olvasás, agyi aktivitás (EEG és fMRI), jelnyelv, implicit prozódia |
| Keywords in English |
ortography, reading, brain activity (EEG and fMRI), sign language, implicit prosody |
| Discipline |
| Psychology (Council of Humanities and Social Sciences) | 60 % | | Ortelius classification: Experimental psychology | | Cognition (e.g. learning, memory, emotions, speech) (Council of Medical and Biological Sciences) | 30 % | | Linguistics (Council of Humanities and Social Sciences) | 10 % | | Ortelius classification: Psycholinguistics |
|
| Panel |
Psychology and Education |
| Department or equivalent |
Brain Imaging Centre (Research Center of Natural Sciences) |
| Participants |
Denke, Dorottya
German, Borbála
Honbolygó, Ferenc
Lukács, Borbála
Nagy, Sándor Imre
Tölgyesi, Borbála
Tóth, Dénes
Varga, Vera
|
| Starting date |
2016-11-01 |
| Closing date |
2022-09-30 |
| Funding (in million HUF) |
47.658 |
| FTE (full time equivalent) |
13.64 |
| state |
closed project |
Summary in Hungarian A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
Az érett és folyékony olvasás egyik fő ismérve a hatékony, automatikus vizuális szófelismerés, amely nem lehetséges részletes és könnyen elérhető ortográfiai reprezentációk nélkül. A tervezett kutatás fő célja az ortográfiai reprezentációk elsajátításának vizsgálata, pontosabban annak feltárása, hogy milyen szerepet játszik a fonológiai átkódolás (és további feltételezett mechanizmusok) az ortográfiai reprezentációk kiépülésében és elérésében. Halló és siket, felnőtt olvasók viselkedéses és agykutatási (elektrofiziológiai és képalkotó) eljárásokkal történő vizsgálatával arra keressük a választ, hogy az ortográfiai tanulást milyen kognitív és idegrendszeri változások kísérik. Kiemelten vizsgáljuk, hogy lehetséges-e tanulás nem vizuális-hallási átkódolás esetén. Ezen felül egy speciális olvasástréninggel teszteljük, hogy a vizuális figyelem szerepet játszik-e az ortográfiai reprezentációk hatékony elérésében. Feltételezzük továbbá, hogy a beszélt nyelv fonológiai szint fölötti eleme – a hangsúly – szintén kapcsolódhat az ortográfiai tanuláshoz; ezt a hipotézist idegen nyelven tanuló felnőttek bevonásával ellenőrizzük.
Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
Az ortográfiai tanulásban az öntanítási hipotézis (Share, 1995) szerint kulcsszerepet játszik a fonológiai, vagy másként fogalmazva a hangzó nyelvi átkódolás. Az elmélet szerint a fonológiai átkódolás olyan öntanítási eszköz, amely elengedhetetlen az ortográfiai reprezentációk kiépüléséhez és megszilárdulásához. Kutatásunkban ezen elméletből kiindulva kognitív pszichológiai és idegtudományi módszerekkel vizsgáljuk, hogy nélkülözhetetlen feltétele-e a látási és hallási modalitás közötti átkódolás az ortográfiai tanulásnak, illetve ezen átkódoláson túl mely további tényezőknek van jelentős szerepük.
A kutatási projektben a következő kérdésekre keressük a választ:
1. Valóban csak a vizuális-hallási modalitásra korlátozódik-e az öntanítás?
2. Létezik-e ortográfiai tanulás nyelvi átkódolás nélkül?
3. Van-e a fonológiai átkódoláson túlmutató szerepe a vizuális figyelemnek az ortográfiai tanulásban?
4. Van-e a fonológiai átkódoláson túlmutató szerepe a prozódiának/hangsúlynak az ortográfiai tanulásban?
A kutatási kérdések megválaszolásában jelentős szerepet szánunk a halló és siket olvasókkal végzett kísérleteknek. Saját hipotézisünk szerint ugyanis az ortográfiai tanulás a fonológiai átkódolásnál általánosabb mechanizmusokra épül. Azt feltételezzük, hogy az ortográfiai tanulás kulcsa az újonnan megismert írott szavaknak az egyén által használt nyelvi elemekre történő átkódolása, függetlenül attól, hogy azok hangzók vagy kinesztetikus-vizuálisak (jelnyelviek). Ezen felül speciális, vizuális figyelmi fókuszú tréning-vizsgálattal és idegen nyelven tanulókkal végzett kísérletekben a vizuális figyelem és a hangsúly potenciális szerepét szándékozunk feltárni.
Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
Az öntanítási hipotézis az ortográfiai tanulás egyik legbefolyásosabb elmélete. Bár az eredeti tanulmányra (Share, 1995) az elmúlt húsz évben csaknem 2000 publikációban hivatkoztak, a hipotézis empirikus vizsgálatával jóval kevesebb tanulmány foglalkozott, az idegtudományi módszerekkel végzett vizsgálatok száma pedig szinte elhanyagolható. A jelen kutatási projektben az öntanítási hipotézis két olyan kulcsfontosságú implikációját is teszteljük, amely nemcsak ezen hipotézis, hanem általánosságban a vizuális szófelismeréshez nélkülözhetetlen ortográfiai reprezentációk kiépülésének szempontjából is lényeges. Ez a tudás pedig nélkülözhetetlen ahhoz, hogy fejlődési szempontból is plauzibilis olvasási modellek szülessenek (a vizuális szófelismerés meghatározó komputációs modelljei például jellemzően nem tartalmaznak fonológiai komponenst, mivel csak a már kiépült reprezentációk elérésével foglalkoznak). Ezen felül a siket résztvevők bevonása révén egy olyan populációról szerzünk új ismereteket, amely populáció olvasási mechanizmusairól nagyon kevés kísérletes adat áll rendelkezésünkre.
Az alapkutatási kérdéseken túlmenően a kutatási projekt számos gyakorlati relevanciával bír. Ide sorolható a projekt során a siket résztvevők számára kifejlesztendő olvasásteszt, amellyel megbízhatóan mérhetővé tennénk siket felnőttek olvasási és helyesírási teljesítményét. A kutatás ezen felül hozzájárulhat az ortográfiai tanulás hatékonyságát növelő oktatási módszerek kifejlesztéséhez, mind a siketek, mind az idegen nyelven tanulók számára. Kivételes gyakorlati relevanciával bírhat az olvasási fluenciát fejlesztő tréning. Amennyiben sikeresnek bizonyul, közvetlenül is alkalmazhatóvá válik a gyakorlatban, és jelentősen segítheti majd a gyengén olvasó vagy diszlexiás személyeket.
A kutatás egyik erőssége az a nemzetközi szinten is ritkaságnak számító körülmény, hogy a kutatócsoportban egyszerre áll rendelkezésre nemcsak a kognitív és idegtudományi olvasás- és beszédvizsgálatok, valamint a tesztfejlesztés terén szerzett tapasztalat, hanem a siketek olvasásának jellegzetességeit ismerő és jelnyelven kommunikálni képes szakember, illetve a kutatási célú vizsgálatokhoz rendelt modern elektrofiziológiai és MR-berendezés is.
A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
A mai társadalomban nélkülözhetetlen folyékony olvasást (és jó helyesírást) többek között az teszi lehetővé, hogy azon szavakat, amelyekkel korábbi olvasási élményeink során írott formában találkoztunk, egyfajta mentális lexikonban eltárolunk. Egy befolyásos elmélet, az öntanítási hipotézis szerint ennek a speciális lexikalizációnak (az ún. ortográfiai tanulásnak) a feltétele, hogy az adott szó írott alakjával történő első találkozások során a szót annak hangzó alakjával is társítsuk, azaz szakszóval fonológiailag átkódoljuk. Kísérleteink során ezt a hipotézist teszteljük a kognitív pszichológia és a kognitív idegtudomány eszközeivel. Arra vagyunk kíváncsiak, hogy a fonológiai átkódolás valóban nélkülözhetetlen-e az ortográfiai tanuláshoz, illetve vajon más tényezők – pl. a látási figyelem vagy a hangsúly feldolgozása – szintén szerepet játszanak-e benne.
A kísérletek egyik részében siket és halló felnőttek vizsgálatával ellenőrizzük, hogy hangzó nyelvi átkódolásra nem képes siket olvasók is képesek-e ortográfiai tanulásra; várakozásaink szerint igen. Elképzelésünk szerint ugyanakkor az öntanítási hipotézis helyesen feltételezi, hogy valamilyen nyelvi átkódolásra mindenképpen szükség van, azaz az írott szavak puszta bemutatása nem jár együtt a lexikonba való beépüléssel. Emellett kísérletileg teszteljük egy olyan olvasástréning hatását, amely a látási figyelem fejlesztésén keresztül hivatott javítani a folyékony olvasást, valamint idegen nyelven tanulókkal vizsgáljuk a hangsúly szerepét az ortográfiai tanulásban. A vizsgálatok eredményeként közelebb juthatunk olyan módszerek kidolgozásához, amelyekkel a folyékony olvasás hatékonyan fejleszthető.
| Summary Summary of the research and its aims for experts
Describe the major aims of the research for experts.
Skilled, fluent reading is characterized by efficient and automatic visual word recognition which is enabled by detailed and easily accessible orthographic representations. The main goal of the proposed project is to study the acquisition of orthographic representations, especially, to study what is the role of phonological recoding (and other mechanisms) in the establishment and access of orthographic representations. We seek to identify what cognitive and neural changes accompany orthographic learning by studying hearing and deaf adult readers with behavioral and neuroscientific (electrophysiological, and brain imaging) methods. It is of special interest whether orthographic learning is possible without visual-auditory recoding. In addition, we investigate with a special reading training whether visual attention plays a role in accessing orthographic representations efficiently. Furthermore, we assume that prosodic information (i.e. word stress) also has an effect on orthographic learning; to test this hypothesis, we study adult foreign language learners.
What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
According to the self-teaching hypothesis (Share, 1995), phonological (in other words spoken language) recoding plays a key role in orthographic learning. The hypothesis posits that phonological recoding is a self-teaching device that is necessary to the establishment and consolidation of orthographic representations. Based on this theory, in our project we investigate with the help of psychological and neuroscientific methods whether recoding between visual and auditory modalities is a prerequisite for orthographic learning and what other factors play a role in the establishment of orthographic representations.
In the research project, we seek the answer for the following questions:
1. Is self-teaching limited only to the visual-auditory modality?
2. Does orthographic learning occur without linguistic recoding?
3. Does visual attention have a role in orthographic learning beyond phonological recoding?
4. Does prosody/word stress have a role in orthographic learning beyond phonological recoding?
To answer these questions, we assign a major role to the experiments conducted with hearing and deaf readers. According to our hypothesis, orthographic learning relies on a more general mechanism than phonological recoding. We assume that the key to orthographic learning is the recoding of the newly learnt written words into linguistic elements used by the reader, whether these elements are phonological or visual-kinesthetic (such as in sign language). In addition, we aim to uncover the role of visual attention and word stress with the help of a special visual attention based reading training and an experiment conducted with foreign language learners.
What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
The self-teaching hypothesis is one of the most influential theory of orthographic learning. Although the original study (Share, 1995) was cited in almost 2000 publications in the last twenty years, considerably fewer studies tested the hypothesis empirically, whereas the number of neuroscientific research on the topic is almost negligible. In the present project, we test two major implications of the self-teaching hypothesis. These implications are relevant not only to this specific hypothesis but are also important generally, namely regarding the establishment of orthographic representations necessary for visual word recognition. This knowledge is essential to form developmentally plausible models of reading (dominant computational models of visual word recognition usually do not contain phonological component, since they only deal with the access of already established representations). In addition, with the involvement of deaf participants, we gain new insights about a population on whose reading mechanisms few experimental data is available.
Beyond the fundamental research questions, the project is of practical relevance. This includes the development of a reading battery with which we can reliably measure the reading and spelling performance of deaf adults. The results may also contribute to the development of educational methods that enhance the effectiveness of orthographic learning, both for the deaf and the foreign language learners. The training promoting reading fluency could have an extraordinary practical relevance. In case of success, it will be directly applicable in practice and could significantly help dyslexic and poor readers.
One of the strength of the project is the even internationally exceptional circumstance that in the research group not only experience with cognitive and neuroscientific experiments on reading and speech, and expertise in test development is available but also a researcher who is familiar with the characteristics of deaf reading and is fluent in sign language. Furthermore, modern electrophysiological and MRI equipment is available for research purposes.
Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
Fluent reading (and good spelling), essential in today’s society, is possible because we store the word we encounter in print in a mental lexicon. According to an influential theory, the self-teaching hypothesis, the prerequisite of this lexicalization (the so called orthographic learning) is that we associate the written word form with its spoken form, that is we recode it phonologically. In our experiments, we test this hypothesis with the methods of cognitive psychology and cognitive neuroscience. We want to know whether phonological recoding is really necessary for orthographic learning and whether other factors – such as visual attention or word stress processing – also play a role in it.
By studying deaf and hearing adults, we test whether deaf readers who do not recode phonologically are capable of orthographic learning. We expect them to do so. According to our theory, the self-teaching hypothesis correctly assumes that some kind of linguistic recoding is necessary; thus, pure visual presentation of written words will not result in lexicalization. In addition, we test experimentally the effect of a reading training that is designed to improve fluent reading through the enhancement of visual attention. We also investigate the role of word stress in orthographic learning. As a result of these research, we can advance in the development of methods that can improve fluent reading.
|
|
|
|
|
|
|
|
| |
List of publications |
|
|
| German, B., Honbolygó, F., Csépe, V., & Kóbor, A.: Working memory contributes to word stress processing in a fixed-stress language, Journal of Cognitive Psychology, 33(4), 379-392, Open Access, 2021 | | Kertész, C., & Honbolygó, F.: Tapping to Music Predicts Literacy Skills of First-Grade Children, Frontiers in Psychology, 4412 (Open Access), 2021 | | Varga V., Tóth, D., & Csépe, V.: Lexical competition without phonology: masked orthographic neighbor priming with deaf readers, Journal of Deaf Studies and Education, in press, 2021 | | Varga V., Tóth, D., Amora, K.K., Czikora, D., & Csépe, V.: ERP Correlates of altered orthographic-phonological processing in dyslexia., Frontiers in Psychology, 12, 723404, Open Access, 2021 | | Honbolygó Ferenc: A szóhangsúly idegrendszeri reprezentációja, Általános Nyelvészeti Tanulmányok XXXIV. , 295-317, 2022 | | Nagy S.I. , Varga, V., Honbolygó F. & Csépe V.: Learning trajectory of spelling in children with dyslexia: Insights from an online training test, 22nd Conference of the European Society for Cognitive Psychology, 2022 | | Varga, V., Nagy, S.I., Honbolygó, F. & Csépe , V.: Orthographic learning in children with dyslexia: Lexical competition effects after an online spelling intervention, 22nd Conference of the European Society for Cognitive Psychology, 2022 | | Kóbor, A., Honbolygó, F., Becker,A., Schild, U., Csépe, .Friedrich, C.: ERP evidence for implicit L2 word stress knowledge in listeners of a fixed-stress language., International Journal of Psychophysiology, 128:100-110, 2018 | | Csépe Valéria: The Multilingual Brain – Implications for the Future, In: Simone, E Pfenninger; Judit, Navracsics (szerk.) Future Research Directions for Applied Linguistics, Multilingual Matters Ltd. (2017) pp. 33-51., 2017 | | Varga V., Tóth D.Csépe V.: Orthographic-Phonological Mapping and the Emergence of Visual Expertise for Print: A Developmental Event-Related Potential Study, Child Development 91: 1 pp. e-1-e13, 2020 | | Honbolygó, F., Kóbor, A., Hermann, P., Kettinger, Á. O., Vidnyánszky, Z., Kovács, G., & Csépe, V.: Expectations about word stress modulate neural activity in speech-sensitive cortical areas, Neuropsychologia, 143, 107467., 2020 | | Honbolygó, F., Kóbor, A., German, B., & Csépe, V.: Word stress representations are language‐specific: Evidence from event‐related brain potentials, Psychophysiology, 57(5), 2020 | | Csépe V.: Interaction of phonology and orthography in spoken and spoken-sign language bilinguals., Bátyi S. and Lengyel Zs. (eds) Bilingualism: Hungarian and non-Hungarian context. Pannon Egyetem, 51-66., 2020 | | Honbolygó F., Kóbor A., Csépe V.: Cognitive components of foreign word stress processing difficulty in speakers of a native language with non-contrastive stress, INTERNATIONAL JOURNAL OF BILINGUALISM 23: (2) pp. 366-380., 2019 | | Honbolygó Ferenc, Kolozsvári Orsolya, Csépe Valéria: Processing of word stress related acoustic information: A multi-feature MMN study, INTERNATIONAL JOURNAL OF PSYCHOPHYSIOLOGY 118: pp. 9-17., 2017 | | Toth D, Csepe V: Adaptive specialization in position encoding while learning to read., DEVELOPMENTAL SCIENCE 20: (3) p. e12426., 2017 | | Varga Vera, Perlusz Andrea és Csépe Valéria: A hangzó nyelv és a jelnyelv univerzális és specifikus jegyeinek empirikus feltárása a hazai és nemzetközi kutatások tükrében, Általános Nyelvészeti Tanulmányok, 29., Akadémiai Kiadó, Budapest, 2017 | | Honbolygó F, Török Á, Bánréti Z, Hunyadi L, Csépe V: ERP correlates of prosody and syntax interaction in case of embedded sentences, J NEUROLINGUIST 37: 22-33, 2016 | | Varga Vera és Csépe Valéria: A szóolvasás modelljei siketek vizsgálatából származó nemzetközi adatok tükrében., Magyar Pszchológiai Szemle, 73(2), 299–313., 2018 | | Varga V., Tóth D. and Csépe V.: Orthographic-Phonological Mapping and the Emergence of Visual Expertise for Print: A Developmental Event-Related Potential Study, Child Development. Advanced online publication., 2018 | | Honbolygó F, Török Á, Bánréti Z, Hunyadi L, Csépe V: ERP correlates of prosody and syntax interaction in case of embedded sentences, J NEUROLINGUIST 37: 22-33, 2016 | | Varga Vera: The Role of Phonology in the Tuning of Orthographic Representations in Typical and Atypical Readers, Budapest University of Technology and Economics., 2022 | | Honbolygó, F-, Kóbor, A., German, B .& Csépe, V.: Word stress representations are language-specific: Evidence from event-related brain potentials, Psychophysiology. 2020;57:e13541., 2020 |
|
|
|
|
|
|
|
|
|
