Measurement in complex problem solving: A comparative analysis of the major methods  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
75274
Type K
Principal investigator Molnár, Gyöngyvér
Title in Hungarian A komplex problémamegoldó gondolkodás különböző mérési lehetőségeinek összehasonlító elemzése
Title in English Measurement in complex problem solving: A comparative analysis of the major methods
Keywords in Hungarian problémamegoldás, elektronikus tesztelés
Keywords in English problem solving, computer-based testing
Discipline
Education (Council of Humanities and Social Sciences)100 %
Ortelius classification: Educational sciences
Panel Psychology and Education
Department or equivalent Institute of Education (University of Szeged)
Participants Csapó, Benő
Starting date 2008-10-01
Closing date 2012-10-31
Funding (in million HUF) 9.530
FTE (full time equivalent) 1.16
state closed project
Summary in Hungarian
A tervezett kutatás célja annak megválaszolása, hogy el lehet-e különíteni a problémamegoldás különböző dimenzióit, illetve számít-e az empirikus vizsgálat során alkalmazott médium: papír-ceruza, vagy számítógép alapú teszt. A projekt során kidolgozásra kerül egy, a problémamegoldó gondolkodás fejlődésére vonatkozó nemzetközi és hazai kutatások eredményeire alapozó elméleti keretrendszer, valamint egy ezzel összhangban lévő különböző életkorok mérésére alkalmas papír-ceruza, illetve a technológia adta lehetőségeket kihasználó elemekkel (pl.: hang, mozgó kép, animáció) gazdagított itemeket is tartalmazó számítógép alapú tesztsorozat, ami a problémamegoldó gondolkodás méréséi-értékelési lehetőségeit új dimenzióba helyezi. A hazai és külföldi kutatási együttműködési hálózat erősítését és a nemzetközi szintű eredményekre való alkalmassá tételt biztosítja, hogy az online tesztrendszer magját a Luxemburgi Egyetem kutatóintézete által kidolgozott TAO (Testing Assisté par Ordinateur) képezi. A program adaptálása és a multimédiás itemek írása a DIPF TAO team és a berlini IQB tapasztalatainak felhasználásával történik. Az eredmények skálázásánál együttműködünk a német IPN kutatóival. A kutatások eredményei hozzájárulhatnak/ megalapozhatják egy 12 évfolyamot átfogó értékelő rendszer és egy többdimenziós komplex problémamegoldó kompetenciaskála kidolgozását. A kutatás tudományos eredményeit nemzetközi és hazai referált folyóiratokban fogjuk megjelentetni, neves konferenciákon ismertetni. A kutatások eredményeit alkalmazni lehet a tanárképzésben, a tantervfejlesztésben és a taneszköz-tervezés területén.
Summary
The aims of the present study are twofold. It seeks to explore whether (1) it is possible to separate the different dimensions of the problem solving competencies and (2) the medium of the empirical study ─ that is, the paper-pencil based test or the computer-based test ─ influences the students’ achievements. As part of the project two things will be developed: one, a complex problem solving framework drawing on the findings of national and international research; and two, a series of parallel tests. Both the paper-pencil tests and the computer-based tests will be shaped by the developed framework and will be suitable for the measurement of different cohorts. Due to the highly developed technology (e.g. sound, animation, short film), the computer-based test items will open up new dimensions in the field of assessing problem solving competencies. The core software of the computer-based testing named TAO (Testing Assisté par Ordinateur) was developed at the University of Luxemburg. In adapting the program and writing up multimedia items, the experience of the DIPF TAO team and of the IQB in Berlin will be most helpful. In scaling the results, we will cooperate with the researchers of the German Institute, IPN. The present study has great potential. Its results may contribute to and serve as a basis for the development of an evaluation system appropriate for grades from 1 to 12 and may facilitate the development of a multidimensional complex problem solving competency scale. In addition, the results may be applied in the teacher-training and in curriculum-development. The results of the research will be published in national and international journals and will be presented at conferences.




 

Final report

  
Results in Hungarian
A kutatási tervnek megfelelően az elméleti keretek kialakítása három fő területre koncentrált: (1) a papír és számítógép alapú tesztelés összehasonlító vizsgálatai, (2) a problémamegoldó gondolkodás különböző dimenzióinak fejlődése és fejlesztési lehetőségei, (3) a tág életkori intervallumot átfogó közös képességskálák kialakításának nélkülözhetetlen eszköze a valószínűségi tesztelméletek. A mérőeszközök új irányokban való fejlesztése terén folytatott munkának két fő iránya is volt: (1) tág életkori intervallumban alkalmazható tesztsorozatok, (2) technológia adta lehetőségeket kihasználó elemekkel gazdagított dinamikus itemek, melyek alkalmazására hazánkban először került sor neveléstudományi kutatások keretein belül. A problémamegoldó gondolkodás egyes dimenzióinak fejlődésre vonatkozó nagymintás empirikus vizsgálatot egy összetett kutatás keretein belül hajtottuk végre. A tesztek egy része egy németországi mérés keretein belül is felvételre kerültek, ami lehetőséget biztosított az eredmények nemzetközi összehasonlítására is. A 3-11. évfolyamon történt online adatfelvételnél a luxemburgi kollégák által fejlesztett, majd általunk adaptált és továbbfejlesztett TAO platformot használtuk. A munkából több hazai és nemzetközi konferencia előadás, könyvfejezet, számos rangos hazai és nemzetközi folyóiratban megjelent, illetve megjelenés alatt álló publikáció, valamint egy monográfia is született. A kutatás eredményei alkalmazhatóak a tanárképzésben és tantervfejlesztésben egyaránt.
Results in English
In line with the research plan the theoretical frameworks concentrated on three main areas: 1) comparative studies of paper-and-pencil and computer-based assessment, 2) the development and developmental opportunities of the different dimensions of problem-solving, 3) latent trait theories are essential instruments by constructing common competency scales using data of different age groups. The two main directions of developing assessment instruments were: 1) test battery must be applicable to a wide range of ages, 2) developing interactive dynamic items, which application took place for the first time within educational researches in Hungary. A large-scale empirical study pertaining to the development of certain dimensions of problem solving skills was carried out within the framework of a complex research. One part of the test had been tried out within the framework of a German assessment and this provided opportunity for an international comparison of the results, as well. During the online testing in grades 3-11 the TAO platform was used. We have adapted and developed further this platform that was originally developed by the colleagues in Luxembourg. The work has resulted in numerous national and international conference presentations, book chapters, a monograph and several publications having been or being published in prestigious national and international journals. The results of the research are applicable both in teacher training and curriculum development.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=75274
Decision
Yes





 

List of publications

  
Molnár Gy: A kisiskolások induktív gondolkodását fejlesztő program hatásai, pp. 118-129. In: Perjés István és Kozma Tamás (szerk.): Ûj kutatások a neveléstudományokban. Hatékony tudomány, pedagógiai kultúra, sikeres iskola. MTA, Budapest, 2009
Molnár Gy: Papír- és számítógép-alapú tesztelés összehasonlító vizsgálata problémamegoldó környezetben, pp. 135-144. in: Perjés István és Kozma Tamás (szerk.). Új Kutatások a Neveléstudományokban. Aula Kiadó, Corvinus Egyetem, Budapest, 2010
R. Tóth K; Molnár Gy: ICT skills and preferences of students in bachelor teacher education, in Proc. The 6th International Conference on Informatics, Educational Technology and New Media in Education, Sombor, Marc 28-29. (közlésre elfogadva), 2009
R. Tóth K; Molnár Gy: A jövő tanárainak IKT ismeretei és elvárásai., Pedagógusképzés 36: 25-41, 2009
Molnár Gy: Inductive reasoning in the first grade: a training program and its longitudinal effect, 13th Biennial Conference of EARLI 2009,, 2009
R. Tóth K; Molnár Gy; Csapó B: Online assessment of reasoning skills, 13th Biennial Conference of EARLI 2009,, 2009
Molnár Gy; Csapó B: Development of problem solving: Assessments in cross-sectional and longitudinal contexts, 13th Biennial Conference of EARLI 2009,, 2009
Csapó B; Molnár Gy; R. Tóth K: Comparing paper-and-pencil and online assessment of reasoning skills - a pilot study for introducing TAO in large-scale assessments in Hungary, pp. 113-118. In: Scheuermann F, Björnsson J. The Transition to Computer-Based Assessment: New Approaches to Skills Assessment and Implications for Large-scale Testing., 2009
Molnár Gy: IKT-s eszközök használata a tanárképzésben: problémaalapú tanulás multimédiás tanulási környezetben, pp. 35. VII. Pedagógiai Értékelési Konferencia, 2009
R Tóth K; Molnár Gy: Tanár szakos hallgatók IKT használati szokásai és preferenciái, pp. 34. VII. Pedagógiai Értékelési Konferencia, 2009
Molnár Gy: Az induktív gondolkodás fejlettsége kisiskolás korban, pp. 238. VIII. Országos Neveléstudományi Konferencia, 2008
Molnár Gy: Kisiskolás diákok számára kidolgozott induktív gondolkodás fejlesztő program rövid és hosszabb távú hatása, pp. 143. VIII. Országos Neveléstudományi Konferencia, 2008
Molnár Gy; R Tóth K: A számítógép- és papír-alapú tesztelés eredményeinek összehasonlító vizsgálata 5. évfolyamon, pp. 131. VIII. Országos Neveléstudományi Konferencia, 2008
Csapó B; Molnár Gy; Pap-szigeti R; R. Tóth K: A mérés-értékelés új tendenciái: a papír és számítógép-alapú tesztelés összehasonlító vizsgálatai általános iskolás, illetve főiskolás diákok körében, pp. 99-108 in: Perjés István és Kozma Tamás (szerk.): Új kutatások a neveléstudományokban. Hatékony tudomány, pedagógiai kultúra, sikeres iskola. MTA, Budapest, 2009
Molnár Gy: Az alapképességek fejlődése, Megjelenés alatt. in: Csapó B; Zsolnai A; Vidákovich T (szerk.). A pedagógiai kultúra megújítása. Tanulmányok Nagy József tiszteletére. Megjelenés alatt., 2013
Molnár Gy: Technológia-alapú mérés-értékelés hazai és nemzetközi implementációi, Iskolakultúra, 7-8: 22-34., 2010
Molnár Gy: Playful fostering of 6-8-year-old students’ inductive reasoning, Thinking skills and Creativity 6. 2: 91-99, 2011
Csapó B; Molnár Gy; R. Tóth K: Implementing an Online Formative Assessment System: From Paper- Based to Computer-Based Testing, AREA, Denver, USA, April 29- May 4. 2010. p. 213., 2010
Molnár Gy: Az információs-kommunikációs technológiák hatása a tanulásra és oktatásra, Magyar Tudomány 9:1038-1047, 2011
Wüstenberg S; Greiff S; Molnár Gy; Funke J.: Determinants of cross-national gender differences in complex problem solving competency, bírálat alatt, Learning and Individual Differences, 2013
R. Tóth K; Molnár Gy: Kisiskolás diákok gondolkodási képességének vizsgálata online környezetben, VIII. Pedagógiai Értékelési Konferencia. Szeged, 2010. április 16-17. 56. o., 2010
Molnár Gy: A problémamegoldó gondolkodás vizsgálata számítógépes környezetben, VIII. Pedagógiai Értékelési Konferencia. Szeged, 2010. április 16-17. 55. o., 2010
Molnár Gy; Korom E: A problémamegoldó gondolkodás fejlődése keresztmetszeti és longitudinális vizsgálatok fényében, VIII. Pedagógiai Értékelési Konferencia. Szeged, 2010. április 16-17. 49. o., 2010
Molnár Gy: Számítógépes játék-alapú képességfejlesztés: egy pilot vizsgálat eredményei., Iskolakultúra 6-7: 3-11, 2011
R. Tóth K; Molnár Gy; Latour T; Csapó B: Az online tesztelés lehetőségei és a TAO platform alkalmazása, Új Pedagógiai Szemle, 61. 1-2-3-4-5: 8-22, 2011
Molnar Gy; Csapó B: Az 1–11 évfolyamot átfogó induktív gondolkodás kompetenciaskála készítése a valószínűségi tesztelmélet alkalmazásával, Magyar Pedagógia 2: 127-140, 2011
Tóth E; Molnár Gy; Csapó B: Az iskolák IKT felszereltsége – helyzetkép országos reprezentatív minta alapján, Iskolakultúra, 10-11: 124-137, 2011
Csapó B; Molnár Gy: Gondolkodási készségek és képességek, pp. 407-440. in Csapó B (szerk.) Mérlegen a magyar iskola. Nemzeti Tankönyvkiadó, Budapest, 2012
Molnár Gy; Kárpáti A: Informatikai műveltség, pp. 441-476. in Csapó Benő (szerk.). Mérlegen a magyar iskola. Nemzeti Tankönyvkiadó, Budapest, 2012
Molnár Gy: A Rasch modell alkalmazási lehetőségei az empirikus kutatások gyakorlatában., Kutatás módszertani Kiskönyvtár. Gondolat Kiadó, Budapest. Megjelenés alatt., 2012
Csapó B; Lőrincz A; Molnár Gy: Innovative Assessment Technologies in Educational Games Designed for Young Students., pp. 235-254. in Ifenthaler D.;Eseryel D.; Ge X. ASSESSMENT IN GAME-BASED LEARNING: FOUNDATIONS, INNOVATIONS, AND PERSPECTIVES. Springer. New York., 2012
Molnar Gy: Technology-based assessment: Challenges and Promises, Keynote presentation, EDEN, Budapest, 2010. október 24-27., 2010
Molnar Gy; R. Tóth K; Tóth E: Developing online diagnostic assessment - Experiences of a large scale national case study in public education in Hungary, pp. 186-187. EDEN, Budapest, 2010
Molnár Gy; Csapó B: Az induktív gondolkodás fejlődése 6 és 17 éves kor között, pp. 90. X. Országos Neveléstudományi Konferencia, Budapest, 2010
Molnár Gy; R. Tóth K; Csapó B: Papír- és számítógép-alapú tesztelés összehasonlító vizsgálata kisiskolás diákok körében, pp. 167. X. Országos Neveléstudományi Konferencia, Budapest, 2010
Csapó B; Molnár Gy: The Infuence on Reasoning Skills on Later School Achievements: Results From the Hungarian Educational Longitudinal Program, AERA 2011, New Orleans, Louisiana, USA, 2011
Molnár Gy; R. Tóth K; Csapó B: Comparing Paper-Based and Computer-Based Testing in the First Grade, AERA 2011, New Orleans, Louisiana, USA, 2011
Molnár Gy; Latour T: Online tesztelés: lehetőségek és kihívások, pp. 63. IX. Pedagógiai Értékelési Konferencia. Szeged, 2011
Molnár Gy: Számítógépes játék-alapú képességfejlesztés, pp. 50. IX. Pedagógiai Értékelési Konferencia. Szeged, 2011
Molnár Gy: Assessing Developmental Aspects of Dynamic Problem Solving, SWEE 2011, Szeged, 2011
R. Tóth K; Molnár Gy; Wüstenberg S; Greiff S; Csapó B: Measuring adults’ dynamic problem solving competency, pp. 1421-1422. in Book of abstracts. Paper presented at the 14th European Conference for the Research on Learning and Instruction. Exeter, United Kingdom, 2011
Molnár Gy; Csapó B: The Development of Inductive Reasoning Skills from Grade 1 to Grade 11, pp. 955-956. in Book of abstracts. Paper presented at the 14th European Conference for the Research on Learning and Instruction. Exeter, United Kingdom, 2011
R. Tóth K; Molnár Gy; Hódi Á; Csapó B: Examining Media-Effect among Subgroups of Students with Different Ability Levels, pp. 630-632 in: Book of abstracts and extended summaries. Paper presented at the 14th European Conference for the Research on Learning and Instruction. Exeter, UK, 2011
Csapó B; Molnár Gy: The Impact of Inductive Reasoning on Educational Achievements, pp. 1268-1269 in: Book of abstracts and extended summaries. Paper presented at the 14th European Conference for the Research on Learning and Instruction. Exeter, UK, 2011
Molnár Gy; R. Tóth K; Csapó B: The relationship between item type, students’ characteristics and media-effect in CBA, pp. 4-5. in: Book of abstracts and extended summaries. Paper presented at the 14th European Conference for the Research on Learning and Instruction. Exeter, UK, 2011
Molnár Gy, Greiff S, Csapó B: Inductive reasoning, domain specific and complex problem solving: relations and development, Bírálat alatt. Thinking Skills and Creativity, 2013
Molnár Gy: A problémamegoldó gondolkodás különböző dimenzióinak kapcsolata az intelligenciával, pp. 72. XII. Országos Neveléstudományi Konferencia, Budapest, 2012
Monlár Gy: A problémamegoldó gondolkodás fejlődése: az intelligencia és szocioökonómiai háttér befolyásoló hatása 3-11. évfolyamon, Magyar Pedagógia, 1:, 2012
Molnár Gy; Lőrincz A: Innovative assessment technologies: Comparing ‘face-to-face’ and game-based development of thinking skills in classroom settings, pp. 150-154. In Chen, D. (szerk.): International Proceedings of Economics Development and Research. Management and Education Innovation. Vol. 37. IACSIT Press, Singapore., 2012
Greiff S; Wüstenberg S; Molnár Gy; Fischer A; Funke J ; Csapó B: Complex Problem Solving in Educational Settings – Something beyond g: Concept, Assessment, Measurement Invariance, and Construct Validity, Journal of Educational Psychology. Megjelenés alatt., 2013
Molnár Gy: A problémamegoldó gondolkodás és az intelligencia kapcsolata oktatási kontextusban, pp. 127. X. Pedagógiai Értékelési Konferencia, Szeged, 2012
Molnár Gy; Pásztor A: The transition from single testing to complex systems of assessments, pp. 53. X. Pedagógiai Értékelési Konferencia. Szeged., 2012
Molnár Gy; Mikszai-Réthey B; Pásztor A; Magyar T: Innovative Assessment Technologies in Educational Games Designed for Integrating Assessment into Teaching, pp. 71. Paper to be presented at the EARLI SIG1 conference in Brussels, Belgium, 2012
Pásztor A; Molnár Gy: Inductive reasoning in the first grade: comparing the effectiveness of a training program in ‘face-to-face’ and game-based environment, pp. 91. Paper to be presented at the EARLI JURE conference, Regensburg, 2012
Wüstenberg S; Greiff S; Molnar Gy; Fischer A;Funke J. ; Csapo B: Complex Problem Solving in educational contexts. Assessment, measurement invariance, and construct validity, pp. 52. Paper to be presented at the EARLI SIG1 conference in Brussels, Belgium, 2012
Kovács É; Tóth K; Dénes L; Valasek T; Hazafi K; Molnár Gy; Fehér-Kiss A: Effects of exercise programs on balance in older women with age-related visual problems: a pilot study, Archives of Gerontology and Geriatrics, 55, 2: 446-452, 2012
Molnár Gy: Számítógépes játékokba ágyazott innovatív mérés-értékelési technológiák, pp. 49. IV. Oktatás-Informatika Konferencia, Budapest. Plenáris előadás, 2012



Back »