Visual memory and automaticity: Detection of violated regularities in vision  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
104462
Type K
Principal investigator Czigler, István
Title in Hungarian Vizuális emlékezet és automatikus működés: szabályosságok megsértésének detekciója a látásban
Title in English Visual memory and automaticity: Detection of violated regularities in vision
Keywords in Hungarian vizuális emlékezet, eseményhez kötött potenciálok, eltérési negativitás, változásdetekció
Keywords in English visual memory, event-related potential, mismatch negativity, change-detection
Discipline
Psychology (Council of Humanities and Social Sciences)100 %
Ortelius classification: Experimental psychology
Panel Social Sciences Committee Chairs
Department or equivalent Institute of Cognitive Neuroscience and Psychology (Research Center of Natural Sciences)
Participants Balázs, László
Barkaszi, Irén
Bodnár, Flóra
File, Domonkos
Kecskés-Kovács, Krisztina
Kojouharova, Petia Steftcheva
Sulykos, István
Takács, Endre
Urbán, Gábor
Starting date 2013-01-01
Closing date 2017-06-30
Funding (in million HUF) 14.904
FTE (full time equivalent) 10.28
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.

Célunk, hogy megismerjük a látás területén automatikusan működő rendszer jellemzőit, funkcióit és agyi lokalizációját. A rendszer lehetőséget teremthet a vizuális környezet szabályosságainak regisztrációjára, és jelzi azok megszegését. A fő vizsgálati módszer az eseményhez kötött potenciálok (EKP) vizuális eltérési negativitás (vEN) összetevőjének elemzése. Lényeges, hogy a vEN összetevőt nem-figyelt vizuális ingerek (is) kiváltják. A vizsgálatokban a "passzív oddball" eljárást használjuk. Vizsgálnánk a rendszer érzékenységét magasabb szintű vizuális sajátságokra (szimmetria), ökológiailag valid vizuális változásokra (objektumok közeledésére), az érzékenységet a vizuális észlelés kardinális (vízszintes és függőleges) irányaira, elemezni szeretnénk e “primitív intelligencia” határait feltételes valószínűségi szabályok megsértésének esetében. Az implicit emlékezet a vizuális környezet szabályosságainak detekciójával hozzájárulhat ahhoz, hogy (i) raktározza a vizuális kontextus sajátságait, így optimalizálva a konstanciákhoz szükséges számításokat akár szabályos, akár szabálytalan környezeti változások esetén. (ii) Az emlékezeti rendszer raktároz tárgyakhoz kötődő sajátságokat (“object-file”), és így hozzájárul a tárgyállandóság fenntartásához. (iii) Hozzájárul az orientációs reakció kialakulásához. Feltételezésünk szerint elérési válasz a látórendszer különböző szintjein keletkezhet, a szabályosság jellegének (sajátságok, objektumok, komplex szekvenciális kapcsolatok, kategóriák) megfelelően. A bemutatott területek vizsgálatainak összessége, lokalizációs módszereket alkalmazva lehetőséget nyújt az automatikus változás-detekciós rendszer felépítésének modellezésére.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.

Az alapkérdés: Mi a szerepe az implicit emlékezeti rendszernek, mely abban az esetben is érzékeny környezeti változásokra, ha ezek nincsenek kapcsolatban a folyamatban lévő viselkedéssel (nem figyelünk rájuk, illetve nem tudatosulnak)? 1.Fokozott érzékenységet feltételezünk közeledő tárgyak sebességének megváltozása esetén, és ez megmutatkozik a vizuális eltérési negativitás (vMMN) sajátosságaiban. 2.A vizuális rendszer érzékeny az általában élőlényekre jellemző kétoldali szimmentriára. Ha a szekvenciális szabályosság az egymás után megjelenő tárgyak szimmentrája, a szabályosság megsértése pedig az aszimmentria vMMN megjelenését várjuk. 3. Feltételezésünk szerint az automatikus változás-detekció hatékonyabban működik objektumok megjelenésekor, mint eltűnésükkor. Új objektumot meghatározó sajátság megjelenésével kiváltott vEN-t hasonlítunk össze a sajátság eltűnésére jelentkező vEN-nel. 4. A háttér változása eltérő vEN összetevővel járhat, mint a tárgy változása. A háttér textúra változására megjelenő EN-t hasonlítjuk össze a textúra előterében megjelenő tárgy szabálytalan változására regisztrálhatóval. 5.Nagyobb érzékenységet várunk, a kardinális (vízszintes, függőleges) irányok helyett megjelenő eltérő irányok detekciójára, mint a fordított eseben. A jelenség környezeti koordináták szerint jöhet létre, azaz nem a retinális pozíció függvénye. 6.Az implicit emlékezeti rendszer határait feltételes valószínűségi szabályok megsértése esetében vizsgálnánk. Korábbi kísérleteinkkel ellentétben a szabályt nem változó ingerek megjelenése, hanem azonos ingerek ismétlése szegi meg, így kevesebb tere marad a változás-detekciót alacsonyabb szintű folyamatokkal operáló magyarázatoknak.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!

A vizuális észlelés több modern elmélete szerint a világról alkotott vizuális reprezentáció kizárólagosan a figyelmi feldolgozás útján alakul ki, így nem-figyelt változások detekciója elmarad, kívül esnek a téri figyelem fókuszán. E teóriák olyan robusztus jelenségeken alapulnak, mint a nem-figyelési vakság és a változási vakság. Eredmények utalnak azonban arra is, hogy a nem-figyelt változások közvetett hatása megjelenhet a teljeítményben. Eseményhez kötött agyi elektromos (EKP) változások elemzésével regisztrálható egy olyan válasz-összetevő, a vizuális eltérési negativitás (vEN) megjelenése, mely a tudatos szinten nem észlelt változásokra (is) érzékeny, így jözvetlen adatokkal szolgál az automatikus működésről. Szemben a hallásban jól ismert hasonló EKP komponenssel, a vMMN létezésében évtizedekig kételkedtek, főként a fentebb jelzett elméletek megfontolásai alapján. Laboratóriumunk eredményei jelentősen hozzájárultak a vEN meglétének általános elfogadásához, és annak tisztázásához, hogy a vMMN akkor jelenik meg, amikor a beérkező ingerlés ellentmond a vizuális ingerlés szabályszerűségeinek. Így felderíthetővé vált az EN segítségével vizsgálható emlékezeti rendszer számos sajátsága.
Jelen pályázat célja, hogy megvizsgálja az automatikus, nem-tudaos rendszer lehetőségeinek határait, továbbá betekintést nyerjünk e rendszer funkcióiba. A kutatások elméleti fontossága kettős. Először, képet kapunk a tudatos és nem-tudatos információfeldolgozás kapcsolatáról a vizuális észlelés „közepes” szintjén. Másodszor, feltételezésünk szerint egy olyan rendszer működését elemezhetjük, mely képes előrejelzésekre a környezeti változásokkal kapcsolatosan. E rendszer károsodása torzításokhoz vezethet az információfeldolgozás különböző szintjein (pl. a valóságtól eltérő észlelés, károsodott változás-detekció és orientáció). Egyes eredmények képet adhatnak a vizuális és a vesztibuláris rendszer együttműködéséről, és így segíthetnek az észlelési alkalmazkodási lehetőségeinek megértésében olyan speciális körülmények között, mint a repülés, vagy akár az űrhajózás. Az eredmények segítséget jelenthetnek általános feldolgozási modellek tervezésében, és akár ezek technikai megvalósításában is.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.

A kutatásokban egy nem-tudatos vizuális emlékezeti rendszer sajátságait vizsgálnánk, mely a vizuális világ szabályszerűségeit raktározza, és válaszol, ha az esemény nem felel meg a szabályszerűségeknek. Vizsgálatára olyan módszerek szükségesek, melyek nem igénylik a résztvevők szóbeli beszámolóit, vagy közvetlen viselkedéses méréseket, így az agyi elektromos működés elemzését alkalmaznánk nem-figyelt eseményekre (ingerekre). Az eljárásban gyakori ingerek kialakítják a szabályosság emlékezeti reprezentációt, az eltérőek viszont a szabályosságot megsértik. Összehasonlítva a szabályos és eltérő ingerekre jelentkező agyi elektromos változásokat, különbségük („eltérési negativitás”) a szabályosság emlékezeti tárolására utal. Kísérleteinkben megvizsgáljuk, miként vesz részt az automatikus működés a látás olyan működéseiben, melyek biztosítják a tárgyak állandó jellemzőinek észlelését változó környezetben. Feltételezzük, hogy a nem-tudatos rendszer különösen érzékeny az alkalmazkodás szempontjából lényeges eseményekre, így tárgyak közelítő mozgására, az élőlényekre jellemző szimmetriára. Azon túl, hogy az eredmények lényegesek lehetnek az észlelés általánosabb elméleti kérdései szempontjából (a nem-tudatos emlékezeti rendszernek szerepe az észlelésben), e rendszer sajátságainak megismerése hozzájárulhat észlelési károsodások okának megismeréséhez, és az észlelés változásaina megismeréséhez különleges feltéteke között. Szélesebb távlatban, e rendszer sajátságainak ismerete rámutathat, hogy az ember különlegesen hatékony észlelési rendszerének elvei miként segíthetik mesterséges észlelési rendszerek szerkesztését.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.

The aim of this proposal is to get insights into the characteristics, functions and localization of the automatic system capable of detecting violated rules in the visual modality. The main research method of the field is the visual mismatch negativity (vMMN) component of event-related potentials (ERP). Importantly, vMMN is elicited by non-attended visual stimuli, mostly in the passive oddball paradigm. We plan to investigate the sensitivity of the system to higher order visual features (symmetry), ecologically valid visual changes (looming, increased sensitivity to cardinal directions), and the limits of the system of “primitive visual intelligence”. We suggest that the implicit memory (i) stores features of the visual context in order to support the calculations of perceptual constancies across regular and irregular environmental changes. (ii) The memory system stores object-related characteristics (object-files) in order maintain object permanency. (iii) The automatic change detection processes contribute to the orientation responses. We hypothesize that mismatch responses are generated at various levels of the visual system, depending on the particular order of regularity (e.g. features, objects, complex sequential relations, categories). Using localization methods, as a by-product of the series of studies, we will be able to construct a model of the architecture of the automatic change-detection system.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.

The main question: What is the function of the memory system that is sensitive to environmental changes, even if such changes are unrelated to the ongoing behavior (i.e., non-attended changes, and/or changes un-detected at conscious level? 1. We hypothesize increased sensitivity (larger vMMN) to the more important approaching direction. 2. Visual perception is sensitive to bilateral symmetry (a feature of many living objects). We hypothesize the sensitivity of the memory system to symmetry/asymmetry change. 3. We hypothesize that the memory system is more sensitive to the appearance of objects than to the disappearance of an object. 4. We hypothesize different automatic processing in case of the visual context (background) and in the processing of visual objects. 5. Increased sensitivity (vMMN difference) is expected to deviation from repeated horizontal or vertical stimuli (cardinal directions) in comparison to the violation of regular oblique stimulation. 6. We plan to investigate the sensitivity limits of the implicit memory system to conditional sequential probability. Unlike in our previous studies, the regularity would be violated by repeating (instead of changing) stimuli.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.

Current theories of visual perception suggest that representation of the visual world is formed exclusively via attentive processing. Therefore representations of recent and previous input cannot be compared. These theories are built on robust phenomena, like inattentional blindness and change blindness. However, non-attended changes are indirectly reflected by some behavioral findings. Results of recent research using event-related brain electric activity (ERP) shows that non-attended changes elicit visual mismatch negativity (vMMN). VMMN is the homologue of the well-known auditory mismatch negativity (MMN). For decades existence of vMMN was disputed, mainly from theoretical reasons (as mentioned above). Results of our laboratory have played a significant role in the general acceptance of vMMN as an index of non-attended detection of visual events violating regularity of stimulation. In this proposal our aim is to investigate the limits of the capabilities of this system, and we attempt to get insight into the function of this automatic, non-conscious system. The theoretical importance of the results is twofold. First, relationship between non-conscious and conscious processes of “medium-level” vision may contribute to our understanding of visual information processing. Second, the system underlying vMMN is considered to be a mechanism capable of acquiring predictions of incoming environmental events. Compromise of this system may lead to deficient perception on various levels (e.g. non-veridical perception, deficient change-detection or orientation). Some results may provide insight into the cooperation of the visual and vestibular system in specific environments. These results would provide better understanding the adaptation to spaceflight conditions, the problems of people with orientation disorders or the design of instruments and displays

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.

The aim of this proposal is the investigation of a non-conscious visual memory system. We suggest that this memory system is capable of storing regularities of the visual word, and it responds to events violating these regularities. Being a non-conscious system, we have to use methods independent of verbal reports or attentional processes. On this end we analyze components of brain electric activity, elicited by non-attended (irrelevant) visual events. In these studies participants perform demanding tasks, whereas regular non-attended stimuli are presented. Infrequently deviant events violate the regularities, and we compare the brain electric activity elicited by such deviant events and those elicited by the regular ones. The difference is a distinct component of brain activity, called visual mismatch negativity. We plan to investigate, how the automatic functioning of this visual memory contributes to basic visual factions like the perceptual stability of visual objects in a changing environment. Building on our previous results, we hypothesize that the non-conscious memory system has increased sensitivity to stimuli of specific of importance in adaptive behavior (like approaching objects). Beside the importance of these studies in general perceptual theories (“What is the role of memory in veridical perception?”), knowledge on the capabilities of this system may contribute to the understanding of some forms of perceptual deficits, and compromised perception under specific conditions. On a broadest perspective, insight into the mechanisms of the extremely efficient human perceptual system, this knowledge can be useful in building artificial perceptual systems.





 

Final report

 
Results in Hungarian
Az eseményhez kötött agyi aktivitás-változások elemzésével kimutattuk, hogy egy automatikus (figyelmi folyamatokhoz nem kötődő) vizuális emlékezeti rendszer képes tárgyak (sajátságok szabályos együttese) és perceptuális kategóriák (szimmetria) szerinti tárolásra, befolyásolják tanult hatások (írásban használt karakterek), és tárol olyan összetett sajátságokat, mint arcképeken bemutatott nemek. A sorozatosan megjelenő azonos, vagy azonos kategóriába tartozó eseményekre létrejövő aktivitás-csökkenés (adaptáció) és a sorozatban bemutatott események szabályosságát megszegő változásra regisztrálható többlet aktivitás („valódi” eltérési negativitás) az emlékezeti rendszer kialakulását és prediktív működését (a szabályosság elvárását és megsértésének detekcióját) mutatja. Az eredmények így jelentős egyezést mutatnak a hallásban kimutatott emlékezeti rendszerrel. Következtetni lehet arra, hogy szemben a felfogással, mely szerint a látásban már rövid távon is a korlátozott kapacitású figyelmi rendszer tartalmainak konstrukciójával áll össze az észlelésben és viselkedés szervezésben nélkülözhetetlen emlékezeti reprezentáció, létezik egy olyan „egyszerű intelligencia”, mely automatikusan tárolja az eseményekből kivonható szabályosságokat, és reagál az ezektől eltérő eseményekre.
Results in English
As results of event-related brain activity studies, we pointed out that an automatic (non-attentive) visual memory system is sensitive to object permanence, capable of registering perceptual (symmetry) and complex (photographs of genders) categories, and the memory system is influenced by learned properties (legal vs. illegal characters). Activity decrease to sequential presentation of physically or categorically identical events (stimulus-specific adaptation) and activity increase to stimuli violating the regularity (“genuine” mismatch negativity), are indices of memory acquisition and change detection. These event-related potential effects are supposed to be related to the operation of a prediction system. The characteristics of the visual memory are closely related to an auditory memory system, disclosed by the auditory mismatch negativity (MMN) studies. We concluded, that contrary to the view that in vision even the short-term perceptual memory is a construction of contents of the limited capacity working memory, in vision there is “primitive intelligence” capable of registering sequential regularities, and reacting to the deviant input
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=104462
Decision
Yes





 

List of publications

 
Czigler István, Sulykos István, Kecskés-Kovács Krisztina: Refractory issue and visual mismatch activity: A skeleton in the cupbboard., International Journal of Psychophysiology 94, 115, 2014
Stefanics Gabor, Kremlacek, Jan, Czigler István: Visual mismatch negativity: a predictive coding view, Frontiers in Human Neuroscience 8, paper 666, 2014
Czigler I, Kecskés-Kovács K, Stefanics G, Sulykos I: Egy primitív intelligencia a látásban: eredmények az agyi elektromos működés vizsgálatával., Kondé Zoltán (szerk.) Tanulmányok az Általános Pszichológiai Tanszék fennállásának 30. évfordulójára. Debrecen: Debreceni Egyetemi Kiadó, . pp. 21-33., 2015
Czigler István: Commentary "Cultural differences in on-line sensitivity to emotional voices: comparing East and West", FRONTIERS IN HUMAN NEUROSCIENCE 9: Paper 696., 2015
Sulykos István, Kecskés-Kovács Krisztina, Czigler István: Asymmetric effect of automatic deviant detection: The effect of familiarity in visual mismatch negativity, BRAIN RESEARCH 1626: pp. 108-117, 2015
Czigler I: Adaptation and change detection: The two sides of the same coin, In: European Society for Cognitive and Affective Neuroscience (ESCAN) 3rd Conference Abstract Book . Porto, Portugália, 2016.06.23-2016.06.26. Kiadvány: 2016. Paper x. , 2016
Czigler I: Violation of regularity and/or specific adaptation, In: 6th International Conference on Memory - ICOM . Budapest, Magyarország, 2016.07.17-2016.07.22. Kiadvány: 2016. pp. 12 ICOM 6 Program Book, 2016
Durant S, Sulykos I, Czigler I: Subconscious Detection of the Orientation Statistics Within Scenes, PERCEPTION 45: (6) 688-689, 2016
File Domonkos, File Bálint, Bodnár Flóra, Sulykos István, Kecskés-Kovács Krisztina, Kardos Zsófia, Tóth Brigitta, Boha Roland, Molnár Márk, Tóth Ágota, Fabó Dániel, Ulbert István, Czigler István: Resting state functional network determines properties of visual mismatch negativity, In: IBRO Workshop 2016 . Budapest, Magyarország, 2016.01.21-2016.01.22. Kiadvány: 2016. Paper x. , 2016
File Domonkos, FileBálint, Bodnár Flóra, Sulykos István, Kecskés-Kovács Krisztina, Czigler István: Intraindividual variation and the test-retest stability of visual mismatch negativity, In: Neuronus 2016 . Kraków, Lengyelország, 2016.04.22-2016.04.24. Kiadvány: 2016. Paper x. , 2016
Stefanics G, Kremlacek J, Czigler I: Mismatch negativity and neural adaptation: Two sides of the same coin. Response: Commentary: Visual mismatch negativity: a predictive coding view, FRONT HUM NEUROSCI 10: , 2016
Bodnár Flóra, File Domonkos, Sulykos István, Kecskés-Kovács Krisztina, Czigler István: The role of adaptation in the mechanisms underlying visual mismatch negativity, In: Error Signals from the Brain – 7th Mismatch Negativity Conference (MMN 2015) . Leipzig, Németország, 2015.09.08-2015.09.11. Kiadvány: 2015. Paper xx. , 2015
Czigler I, Kecskés-Kovács K, Stefanics G, Sulykos I: Egy primitív intelligencia a látásban: eredmények az agyi elektromos működés vizsgálatával., In: Kondé Zoltán (szerk.) (szerk.) Tanulmányok az Általános Pszichológiai Tanszék fennállásának 30. évfordulójára. Debrecen: Debreceni Egyetemi Kiadó, 2015. pp. 21-33., 2015
Czigler István: Commentary "Cultural differences in on-line sensitivity to emotional voices: comparing East and West", FRONT HUM NEUROSCI 9: , 2015
File Domonkos, Bodnár Flóra, Kecskés-Kovács Krisztina, Sulykos István, Czigler István: The role of stimulus complexity in various latency ranges of vMMN, In: Error Signals from the Brain – 7th Mismatch Negativity Conference (MMN 2015) . Leipzig, Németország, 2015.09.08-2015.09.11. Kiadvány: 2015. Paper x. , 2015
File Donokos, Sulykos István, Bodnár Flóra, File Bálint, Czigler István: Visual mismatch negativity (vMMN) for low and high level of deviances: a control study, Attention, Perception and Psychophysics (sajtó alatt), 2017
Czigler István, Intraub Helene, Stefanics Gábor: Prediction Beyond the Borders: ERP Indices of Boundary Extension-Related Error, PLOS ONE 8: (9) e74245, 2013
Kecskés-Kovács K, Sulykos I, Czigler I: Visual mismatch negativity is sensitive to symmetry as a perceptual category, EUR J NEUROSCI 37: (4) 662-667, 2013
Kecskés-Kovács K, Sulykos I, Czigler I: Is it a face of a woman or a man? Visual mismatch negativity is sensitive to gender category., FRONT HUM NEUROSCI 7: (532) 1-11, 2013
Kecskés-Kovács Krisztina, Sulykos István, Czigler István: Category specific responses to human gender face stimuli: a visual mismatch negativity study, In: ESCOP 2013 18th Meeting of the European Society for Cognitive Psychology: Program Book. Budapest, Magyarország, 2013.08.29-2013.09.01. Kiadvány: 2013. Paper PA-118 (A-0291). , 2013
Takács E., Sulykos I., Czigler I., Barkaszi I., Balázs L.: Oblique effect in visual mismatch negativity, FRONT HUM NEUROSCI 7: (591) 1-13, 2013
Czigler István, Sulykos István, Kecskés-Kovács Krisztina: Asymmetry of automatic change detection shown by the visual mismatch negativity: An additional feature is identified faster than missing features, Cognitive, Affective and Behavioral Neuroscience 14, 278-285, 2014
Czigler István: Visual mismatch negativity and categorization, Brain Topography 27, 590-598, 2014
Sulykos István, Czigler István: Visual mismatch negativity is sensitive to illusory brightness changes, Brani Research, 1561, 48-59, 2014





 

Events of the project

 
2016-11-30 08:54:14
Résztvevők változása
2016-04-28 15:51:34
Résztvevők változása
2015-04-15 13:35:42
Résztvevők változása




Back »