Consortional main: The temporal structure of multimodal communication  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
116402
Type K
Principal investigator Hunyadi, László
Title in Hungarian Konzorcium, fő p.: A multimodális kommunikáció időszerkezete
Title in English Consortional main: The temporal structure of multimodal communication
Keywords in Hungarian kommunikáció, multimodalitás, verbális és nemverbális interakció, időszerkezet
Keywords in English communication, multimodality, verbal and nonverbal interaction, temporal structure
Discipline
Linguistics (Council of Humanities and Social Sciences)100 %
Ortelius classification: Computational linguistics
Panel Linguistics
Department or equivalent Department of Universal- and Applied Linguistics (University of Debrecen)
Participants Abuczki, Ágnes
Lós Gáborné Kiss, Hermina
Márton, Sándor
Szekrényes, István
Starting date 2015-09-01
Closing date 2019-02-28
Funding (in million HUF) 16.281
FTE (full time equivalent) 7.20
state running project





 

Final report

 
Results in Hungarian
A multimodális kommunikáció időszerkezetét az eddigi megközelítésektől eltérően interdiszciplináris környezetben, többféle módszer alkalmazásával vizsgálva első ízben sikerült statisztikailag szignifikáns módon megragadnunk az akár opcionális verbális és nemverbális események alkotta mintázatokat. Főbb eredményeink: 1. A HuComTech korpusz annotációit kiterjesztettük a szövegek szószintű időannotációjával. Így első ízben vált lehetővé a multimodális mintázatok kutatása a szöveg tetszőleges szavai alapján. 2. Webes adatbáziskezelő felületet hoztunk létre akár nagy méretű adathalmazok részletesebb kutatására. 3. Többféle megközelítésben mesterséges intelligenciát alkalmazva kimutattuk: a kommunikáció nonverbális időszerkezetét leíró stilizált események diszkrét szekvenciái nem csak a mintakeresésben, de jellemzőként a gépi tanulásban is hatékonyan felhasználhatók osztályzási és predikciós feladatokra. 4. A Theme szoftver segítségével, amelynek a nemzetközi keretekben történő továbbfejlesztéséhez mi is hozzájárultunk, kimutattuk különböző pragmatikai helyzetek, pl. bizonytalanság, egyetértés statisztikailag szignifikáns mintázatait. 5. Eredményeink disszeminációja: 33 előadás (11 külföldi, 22 hazai konferencia, workshop). Roadshow formájában az ország több kutatóhelyén ismertettük a HuComTech korpuszt és vizsgálataink eredményeit. 6. Megjelent puplikációink: 5 nemzetközi, 4 hazai folyóiratcikk. Megjelenés alatt egy kötet (Springer). Benyújtva 2 külföldi dolgozat.
Results in English
In contrast to previous approaches we studied the temporal structure of multimodal communication in an interdisciplinary environment, using a number of methodologies. For the first time we managed to capture patterns of sometimes even optional verbal and nonverbal events in a statistically significant way. Our main results are: 1. The extension of the annotation of the HuComTech corpus to word level time alignment thus making it possible to study multimodal patterns associated with single words. 2. We created a web-based database query system enabling detailed research on large datasets. 3. Applying several approaches to AI we showed: going beyond pattern matching searches, discrete sequences of stylized temporal events of communication can effectively be used for classification and prediction as features in machine learning. 4. Based on the Theme software, whose international team of development we were also part of, we discovered statistically significant patterns of behaviour in various pragmatic situations, such as uncertainty and agreement. 5. Dissemination of results: 33 talks at conferences and workshops (11 abroad, 22 in Hungary). Roadshow in Hungarian research institutes and universities presenting our research of the HuComTech corpus. 6. Publications in journals: 5 international, 4 Hungarian. To be published: an edited volume (Springer). Submitted: 2 papers abroad.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=116402
Decision
Yes





 

List of publications

 
Hunyadi László: A multimodális kommunikáció grammatikája felé. Szekvenciális események rekurzív hiearchikus struktúrája, In: Kenesei, István; Bánréti, Zoltán (szerk.) Általános nyelvészeti tanulmányok 29 (Kísérletes nyelvészet), Budapest: Akadémia, pp 155-182., 2017
György Kovács: Classification of Formal and Informal Dialogues Based on Emotion Recognition Features, In: Sojka et al (szerk.) Text, Speech, and Dialogue : 21st International Conference (TSD 2018), Cham: Springer Nature, pp 518-5 26, 2018
Laszlo Hunyadi: Prosody enhances cognitive infocommunication. Materials from the HuComTech corpus, Cognitive Infocommunications (CogInfoCom), 2014 5th IEEE Conference. pp.561-565., 2015
György Kovács, István Szekrényes: Using deep rectifier neural nets and probabilistic sampling for topical unit classification, Cognitive Infocommunications, Theory and Applications (Topics in Intelligent Engineering and Informatics). Editors: R. Klempous, J. Nikodem, P. Z. Baranyi, 2019
Kiss Hermina: Az érzelmek beszédre gyakorolt hatása, azaz a spontán beszéd szintaxisának érzelmekkel való kapcsolata a HuComTech Korpuszban, In: Tanács et al (szerk.) XII. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2016), Szeged: Szegedi Tudományegyetem, pp 183-192, 2016
László Hunyadi, Tamás, Váradi, István, Szekrényes: Language technology tools and resources for the analysis of multimodal communication, In: Hinrich et al (szerk.) Proceedings of the Workshop on Language Technology Resources and Tools for Digital Humanities (LT4DH 2016), pp. 117-124, 2016
László Hunyadi, Hermina Kiss, István Szekrényes:: Incompleteness and Fragmentation: Possible Formal Cues to Cognitive Processes Behind Spoken Utterances, In: Tweedale et al (szerk.) Intelligent Decision Technology Support in Practice Cham: Springer International Publishing pp. 231-257, 2016
Laszlo Hunyadi, István Szekrényes, Hermina Kiss: Prosody Enhances Cognitive Infocommunication: Materials from the HuComTech Corpus, In: Esposito et al (szerk.) Toward Robotic Socially Believable Behaving Systems - Volume I : Modeling Emotions, Cham: Springer International Publishing, pp. 231-257, 2016
István Szekrényes, György Kovács: Classification of Formal and Informal Dialogues Based on Turn-Taking and Intonation Using Deep Neural Networks, In: Karpov et al (szerk.): Speech and Computer: 19th International Conference (SPECOM 2017) Cham: Springer International Publishing, pp. 233-243, 2017
Kovács György, Váradi Tamás: A különböző modalitások hozzájárulásának vizsgálata a témairányítás eseteinek osztályozásához a HuComTech korpuszon, In: Vincze Veronika (szerk.) XIII. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY2017). Szeged: Szegedi Tudományegyetem Informatikai Tanszékcsoport, 2017. pp. 193-204, 2017
Kovács György, Grósz Tamás, Váradi Tamás: Topical unit classification using deep neural nets and probabilistic sampling, In: Baranyi, Péter (szerk.) Proceedings of 7th IEEE Conference on Cognitive Infocommunications, Budapest: IEEE Hungary Section, (2017) pp. 199-204, 2017




Back »