 |
Automatikus fonológiai frázis és prozódiai eseménydetektálás szintaktikai, szemantikai és pragmatikai információk közvetlen kinyerésére a beszédből
|
súgó 
nyomtatás 
|
Ezen az oldalon az NKFI Elektronikus Pályázatkezelő Rendszerében nyilvánosságra hozott projektjeit tekintheti meg.
vissza »
|
| |
Projekt adatai |
|
|
| azonosító |
112598 |
| típus |
PD |
| Vezető kutató |
Szaszák György |
| magyar cím |
Automatikus fonológiai frázis és prozódiai eseménydetektálás szintaktikai, szemantikai és pragmatikai információk közvetlen kinyerésére a beszédből |
| Angol cím |
Automatic phonologial phrase and prosodic event detection for the extraction of syntactic and semantic/pragmatic information from speech |
| magyar kulcsszavak |
prozódia, automatikus beszédértés, automatikus eseménydetektálás |
| angol kulcsszavak |
prosody, automatic speech understanding, automatic event detection, information retrieval |
| megadott besorolás |
| Informatika (Műszaki és Természettudományok Kollégiuma) | 80 % | | Ortelius tudományág: Alkalmazott informatika | | Nyelvtudomány (Bölcsészet- és Társadalomtudományok Kollégiuma) | 20 % | | Ortelius tudományág: Számítógépes nyelvészet |
|
| zsűri |
Informatikai–Villamosmérnöki |
| Kutatóhely |
Távközlési és Mesterséges Intelligencia Tanszék (Budapesti Műszaki és Gazdaságtudományi Egyetem) |
| projekt kezdete |
2014-09-01 |
| projekt vége |
2017-11-30 |
| aktuális összeg (MFt) |
8.976 |
| FTE (kutatóév egyenérték) |
2.45 |
| állapot |
lezárult projekt |
magyar összefoglaló A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A tervezett kutatás az automatikus beszédfeldolgozás, beszédből történő információkinyerés és tartalomelemzés, a prozódiai eseménydetektálás lehetőségeinek megismerésének előmozdítását célozza. A magyar nyelvre korábban végzett kísérletek bíztató előzetes eredményeket szolgáltattak fonológiai frázisok detektálásában, és ehhez kapcsolt szintaktikai elemzésben. Ebben a kutatásban ennek a munkának a továbbvitele, más akusztikai jellemzőkre és más nyelvekre való kiterjesztése kerül a fókuszba a detektálási teljesítmény javítása, és a detektálási eljárás univerzálisabbá tétele érdekében. Ez utóbbi célból fakadóan a magyar nyelvre kidolgozott eljárást francia,angol és német nyelvekre is adaptáljuk, miközben minden nyelvre vizsgáljuk a detektáláshoz optimális akusztikai jellemzőket. Minthogy a fonológiai frázisok a szintaktikai egységekkel szoros kapcsolatban állnak, a kutatás a szintaktikai szerkezet beszéd alapján történő feltárására is irányul, melynek során olyan mérőszám kidolgozása a cél, amely jól használható a prozódia alapján történő szintaktikai egységhatárok detektálására. Továbblépve kísérletet tervezünk a prozódia és a szemantikai, pragmatikai információ kapcsolatának feltárására, a szintaktikailag indokolt és nem indokolt prozódiai események automatikus szétválasztására, ez utóbbiak ugyanis a szemantikai és pragmatikai funkcióval állhatnak összefüggésben. A szintaktikailag indokolt és nem indokolt események szétválasztását átiraton, illetve beszédfelismerővel előállított szöveges kimenet, valamint a prozódiai eseménysor összevetésével kívánjuk megvalósítani.
Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
A kutatás célja a prozódia alapján történő automatikus eseménydetektálás kidolgozása, megvalósítása és értéklése négy nyelven. A vizsgálni tervezett hipotézisek részletesen a kutatási tervben kerülnek ismertetésre, e helyütt az alapkérdések összefoglalását adjuk meg: hogyan használhatók ún. valószínűségi akusztikai jellemzők az eseménydetrektálásban, pontosabb-e a detektálás ilyen jellemzők használatával; hogyan lehetséges automatikusan az időtartamokból képzett szupraszegmentális jellemzők kinyerése beszédhang-osztályozók vagy beszédfelismerő kimenet alapján; hogyan adaptálható a magyar nyelvre kidolgozott fonológiai frázisdeetktáló eljárás más nyelvekre (francia, angol, német), és mi az egyes nyelvekben az egyes akusztikai jelelmzők szerepe a detekcióban; hogyan tehető pontosabbá és jól felhasználhatóvá a prozódia alapú szintaktikai egységekre vonatkozó predikció; hogyan és milyen mértékben választható szét a szintaktikailag indololt, illetve nem indokolt, és ezért feltételezhetően szemantikai vagy pragmatikai funkciót megvalósító prozódiai események.
Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
A kutatástól várt új eredmények a prozódia szerepének feltárásában és kiaknázásában adnak segítséget. A kutatást nem csak elméleti síkon, hanem kísérletileg megerősített úton kívánjuk végrehajtani, ami jól előkészíti az eredmények későbbi alkalmazását. A munka során létrehozott elemző- és feldolgozóeszközök a további kutatásban, beszédelemzésben és -feldolgozásban olyan hasznos segédeszközök lehetnek, amelyek univerzálisan használhatók, és támogatják a beszéd szintaktikai, és részben szemantikai és pragmatikai elemzését is, különösen szöveg alapú elemzőkkel együttesen használva. A várt eredmények fő társadalmi hasznosítási területe a beszédből történő információkinyerés, fókusz, hangsúlyos szavak, kulcsszavak, új információ detektálása, és bizonyos fokban a szemantikai és pragmatikai információ kinyerése, illetve olyan jellemzők, információ kinyerése, amelyek általánosan a gépi beszédértésben, ember-gép kommunikációban használhatók fel.
A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
A kutatás célja az automatikus beszédfeldolgozás és információkinyerés előmozdítása a prozódia (hangsúly, hanglejtés, ritmus, stb) vizsgálatával, a prozódiai események automatikus követésével. Ezen események a beszédben hordozott információt is tükrözik, detektálásukkal végső soron a jelentés gépi értelmezését segíthetjük elő. Ilyen alkalmazások a hanganyagban történő kulcsszavas keresés, dokumentum-elemzés és értelmezés, stb. A kuatatás eredményei révén a kutatók maguk is olyan, a későbbi munkájukat segítő eszközhöz jutnak, amely jól használható a prozódia elemzéséhez, felhasználásához. A kutatás magyar nyelvre indul, majd más nyelvekre is kiterjed, ennek során nyelvspecifikus sajátságok is vizsgálhatók és modellezhetők. A hanganyagból kinyert ún. akusztikai jellemzőket (amelyek alapján a prozódiai detektálást végezzük) is megvizsgáljuk, hogy a legeredményesebbeket tarthassuk meg. Az eredmények végső soron az ember és az intelligens gép közötti kommunikáció mindennapi, emberi nyelven történő megvalósítását szolgálják.
| angol összefoglaló Summary of the research and its aims for experts
Describe the major aims of the research for experts.
The focus of the planned research is to advance speech processing, information extraction and content analysis from speech by exploring the capabilities of prosodic event detection, taking phonological phrases as basic units. Previous research for Hungarian has already yielded some encouraging results in phonological phrase detection and associated syntactic analysis from speech. In this research, the approach is extended to cover new features in order to improve detection accuracy. In order to investigate the universality of the proposed algorithms, initial work in Hungarian is extended for French, English and German, in parallel with investigation of the optimal feature set for each language. As phonological phrasing can reveal part of the syntactic structure, this forms another research direction. A probabilistic score will be evaluated to predict the likelihood of syntactic boundaries based on pure speech prosody in Hungarian and French. Going further and investigating relations of prosody with semantics and pragmatics, a distinction will be made between syntactically motivated and not motivated accents, supposing these latter reveal semantic or pragmatic information. The control of syntactical motivation will be based on the combined evaluation of textual analysis of an ASR (Automatic Speech Recognizer) output and the detected salient points in speech prosody.
What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
This research aims to explore the capabilities of prosodic event detection in several languages. The main investigated hypotheses will be related to the following: how can probabilistic features contribute to better detection accuracy; how can the automatic extraction of duration-related supra-segmental features be made reliably using ASR transcript or broad phone classifiers; how can the phonological phrase detection approach (elaborated for Hungarian) be powerfully adapted for other languages (French, English, German), and what are the contributions of different acoustic features in these languages; how can the prosody based syntactic analysis of speech be made more accurate and easier to use; how and to what extent can we automatically separate syntactically motivated prosodic events from non syntactically motivated and hence semantic or pragmatic related ones.
What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
The expected new results of this research will contribute to the exploration of the role of prosody in speech, not only based on theoretical considerations, but in experimentally confirmed way, a gaurantee for later applicability in practice or even in industrial products. The framework elaborated will, on the other hand, help future researchers too, providing analysis approaches and tools, applicable more universally for prosodic analysis of speech, supporting syntactic, semantic and pragmatic analysis from pure speech or combined with textual analysers. The main application areas of results for the wider society are information extraction from speech, including detection of focussed or highlighted points or keywords, new or important information, and to some extent, semantic and pragmatic related information, including cues for speaker attitude or emotions, to be exploited in automatic speech understanding and human-machine communication.
Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
The goal of this research is to advance automatic speech processing by the examination of prosody (stress, intonation, rhythm, etc) and automatic detection of meaningful prosodic events, closely related to the organization and structure of the information transmitted by speech. By detecting these, the interpretation of the meaning can be supported, which can be useful in retrieving or searching in spoken documents, spoken documents anaylsis, etc. Based on the achievements of this research, researchers will also have a tool to do further experiments related to the prosody of speech, its analysis, investigation or exploitation. Research starting from the Hungarian language is then extended to cover other languages too, as the approach might need some language specific modifications when transferred from one language to the other. Acoustic features extracted from the speech will be also analysed in order to identify those which contribute to the best performance. The expected results can also contribute to the development of communication between humans and machines using natural, human language.
|
|
|
|
|
|
|
|
| |
Közleményjegyzék |
|
|
| Beke A, Szaszák G: Automatic summarization of highly spontaneous speech, LECT NOTES COMPUT SCI 9811: 140-147, 2016 | | György Szaszák and András Beke: An Empirical Approach for Comparing Syntax and Prosody Driven Prominence Marking, The Phonetician, 2017 | | Szaszák G, Tündik MÁ, Gerazov B, Gjoreski A: Combining atom decomposition of the F0 track and HMM-based phonological phrase modelling for robust stress detection in speech, LECT NOTES COMPUT SCI 9811: 165-173, 2016 | | Szaszák György, Beke András: Toward Exploring the Role of Disfluencies from an Acoustic Point of View, LECT NOTES COMPUT SCI 9302: 369-377, 2015 | | Tündik Máté Ákos, Tarján Balázs, Szaszák György: Low Latency MaxEnt- and RNN-Based Word Sequence Models for Punctuation Restoration of Closed Caption Data, Statistical Language and Speech Processing. Cham: Springer, 2017. pp. 155-166. (Lecture Notes in Computer Science; 10583.), 2017 | | Moró Anna, Szaszák György: A Phonological Phrase Sequence Modelling Approach for Resource Efficient and Robust Real-Time Punctuation Recovery, Proceedings of Interspeech: Situated interaction. Stockholm, Svédország, 2017.08.19-2017.08.24. Kiadvány: Causal Productions, 2017. pp. 558-562., 2017 | | Máté Ákos Tündik, Gábor Kiss, Dávid Sztahó and GyörgySzaszák: Assessment of pathological speech prosody based on automatic stress detection and phrasing approaches, CogInfoCom 2017, 2017 | | Máté Ákos Tündik, Balázs Tarján and György Szaszák: A Bilingual Comparison of MaxEnt and RNN based PunctuationRestoration in Speech Transcripts, CogInfoCom 2017, 2017 | | Anna Moró and György Szaszák: A prosody inspired RNN approach for punctuation of machine produced speech transcripts to improve human readability, CogInfoCom 2017, 2017 | | György Szaszák and András Beke: An Empirical Approach for Comparing Syntax and Prosody Driven Prominence Marking, The Phonetician, 2017 | | Moró Anna, Szaszák György: A Phonological Phrase Sequence Modelling Approach for Resource Efficient and Robust Real-Time Punctuation Recovery, In: Francisco Lacerda, David House, Matthias Heldner, Joakim Gustafsson, Sofia Strömbergsson, Marcin Wlodarczak (szerk.) (szerk.) Proceedings of Interspeech: Situated interaction. Stockholm, Svédország, 2017.08.19-2017.08.24. Kiadvány: Causal Productions, 2017. pp. 558-562., 2017 | | Tündik Máté Ákos, Kiss Gábor, Sztahó Dávid, Szaszák György: Automatikus frázisdetektáló módszereken alapuló patológiás beszédelemzés magyar nyelven, In: Vincze Veronika (szerk.) (szerk.) XIII. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY2017). Szeged: Szegedi Tudományegyetem Informatikai Tanszékcsoport, 2017. pp. 113-124., 2017 | | Beke A, Szaszák G: Automatic summarization of highly spontaneous speech, LECT NOTES COMPUT SCI 9811: 140-147, 2016 | | Máté Ákos Tündik, Branislav Gerazov, Aleksandar Gjoreski, György Szaszák: Atom Decomposition Based Stress Detection and Automatic Phrasing of Speech, In: Baranyi Péter (szerk.) (szerk.) Proceedings of 7th IEEE Conference on Cognitive Infocommunications. Budapest: IEEE Hungary Section, 2016. pp. 25-29., 2016 | | Szaszák G, Tündik MÁ, Gerazov B, Gjoreski A: Combining atom decomposition of the F0 track and HMM-based phonological phrase modelling for robust stress detection in speech, LECT NOTES COMPUT SCI 9811: 165-173, 2016 | | Tündik Máté Ákos, Dr. Szaszák György: Szöveg alapú nyelvi elemző kiértékelése gépi beszédfelismerő hibákkal terhelt kimenetén, In: Tanács Attila, Varga Viktor, Vincze Veronika (szerk.) (szerk.) XII. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2016). Szeged: Szegedi Tudományegyetem, 2016. pp. 111-121., 2016 | | Máté Ákos Tündik, Gábor Kiss, Dávid Sztahó and GyörgySzaszák: Assessment of pathological speech prosody based on automatic stress detection and phrasing approaches, CogInfoCom 2017, 2017 | | Moró Anna, Szaszák György: A Phonological Phrase Sequence Modelling Approach for Resource Efficient and Robust Real-Time Punctuation Recovery, Proceedings of Interspeech, 2017 | | Máté Ákos Tündik, Branislav Gerazov, Aleksandar Gjoreski, György Szaszák: Atom Decomposition Based Stress Detection and Automatic Phrasing of Speech, Proceedings of CogInfoCom 2016, 2016 | | Szaszák György, Tündik Máté Ákos, Beke András: Summarization of Spontaneous Speech using Automatic Speech Recognition and a Speech Prosody based Tokenizer, Proceedings of the 8th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management, 2016 | | Tündik Máté Ákos, Kiss Gábor, Sztahó Dávid, Szaszák György: Automatikus frázisdetektáló módszereken alapuló patológiás beszédelemzés magyar nyelven, XIII. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY2017), 2017 | | György Szaszák, András Beke, Gábor Olaszy, Bálint Pál Tóth: Using Automatic Stress Extraction from Audio for Improved Prosody Modelling in Speech Synthesis, Interspeech 2015, 2015 | | György Szaszák, Máté Ákos Tündik, Branislav Gerazov and Aleksandar Gjoreski: Combining Atom Decomposition of the F0 Track and HMM-based Phonological Phrase Modelling for Robust Stress Detection in Speech, Speech and Computer: 18th International Conference, SPECOM 2016, pp. 165-173., 2016 | | Szaszák György, Tulics Miklós Gábriel, Tündik Máté Ákos: Analyzing F0 Discontinuity for Speech Prosody Enhancement, ACTA UNIVERSITATIS SAPIENTIAE ELECTRICAL AND MECHANICAL ENGINEERING 6: pp. 59-67. (2014), 2014 | | Beke András, Szaszák György: Combining NLP techniques and acoustic analysis for semantic focus detection in speech, http://ieeexplore.ieee.org/xpl/articleDetails.jsp?reload=true&arnumber=7020506, 2014 | | Beke András, Markó Alexandra, Szaszák György, Váradi Viola: Kétszintű algoritmus spontán beszéd prozódiaalapú szegmentálására, XI. Magyar Számítógépes Nyelvészeti Konferencia MSZNY 2015, Szeged, 2015.01.15-2015.01.16., 2015 | | György Szaszák, András Beke, Gábor Olaszy, Bálint Pál Tóth: Using Automatic Stress Extraction from Audio for Improved Prosody Modelling in Speech Synthesis, Interspeech 2015, 2015 | | György Szaszák, András Beke: Toward Exploring the Role of Disfluencies from an Acoustic Point of View: a New Aspect of (Dis)continuous Speech Prosody Modelling, TSD 2015, 2015 | | Beke András, Szaszák György: Automatic Summarization of Highly Spontaneous Speech, Speech and Computer: 18th International Conference, SPECOM 2016, pp 140-147, 2016 | | György Szaszák, Máté Ákos Tündik, Branislav Gerazov and Aleksandar Gjoreski: Combining Atom Decomposition of the F0 Track and HMM-based Phonological Phrase Modelling for Robust Stress Detection in Speech, Speech and Computer: 18th International Conference, SPECOM 2016, pp. 165-173., 2016 | | Szaszák György, Beke András, Olaszy Gábor, Tóth Bálint Pál: Gépi beszéd természetességének növelése automatikus, beszédjel alapú hangsúlycímkéző algoritmussal, XII. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2016), pp. 144-153, 2016 | | Szaszák György, Tulics Miklós Gábriel, Tündik Máté Ákos: Analyzing F0 Discontinuity for Speech Prosody Enhancement, ACTA UNIVERSITATIS SAPIENTIAE ELECTRICAL AND MECHANICAL ENGINEERING 6: pp. 59-67. (2014), 2014 | | Tündik Máté Ákos, Dr. Szaszák György: Szöveg alapú nyelvi elemző kiértékelése gépi beszédfelismerő hibákkal terhelt kimenetén, XII. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2016). Szeged: Szegedi Tudományegyetem, 2016. pp. 111-121., 2016 |
|
|
|
|
|
|
|
|
|
