The effects of institutional changes on students’ performance – an international comparison  Page description

Help  Print 
Back »

 

Details of project

 
Identifier
109338
Type K
Principal investigator Varga, Júlia
Title in Hungarian Hogyan hatottak az oktatási intézményi változások a tanulói teljesítményekre nemzetközi összehasonlításban.
Title in English The effects of institutional changes on students’ performance – an international comparison
Keywords in Hungarian oktatás, intézményi változás. nemzetközi, oktatási termelési függvémy
Keywords in English education, institutinal changes, international comparison, education production function
Discipline
Economics (Council of Humanities and Social Sciences)100 %
Ortelius classification: Human resources in education
Panel Economics
Department or equivalent Institute of Economics, (Centre for Economic and Regional Studies)
Participants Hermann, Zoltán
Horn, Dániel
Starting date 2013-09-01
Closing date 2017-01-31
Funding (in million HUF) 6.980
FTE (full time equivalent) 4.74
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.

A kutatás nemzetközi összehasonlításban vizsgálja, hogy különféle oktatási intézmények hogyan hatnak az oktatási rendszerek tágabb értelemben vett minőségére. Az utóbbi alatt a tanulói teljesítmények átlagos szintjét és egyenlőtlenségét értjük. Az egyenlőtlenségek között külön vizsgáljuk a megoszlás egyenlőtlenségét, a családi háttér hatásának erősségével mért esélyegyenlőtlenséget és a nemek szerinti különbségeket. Ezek közül elsősorban a nemek szerinti különbségek elemzése számít újdonságnak; ennek az intézményrendszerrel való összefüggéséről nem sokat tudunk.
Az oktatási intézmények között elsősorban olyanokat vizsgálunk, amelyek a nemzetközi összehasonlító irodalomban eddig kevés figyelmet kaptak vagy teljesen hiányoztak: a szabad iskolaválasztást, a tanári bérezést és a tanárok tanítási gyakorlatának jellemzőit.
A nemzetközi összehasonlítás fókuszában a közép- és nyugat-európai országok összehasonlítása áll, kihasználva azt, hogy az előbbi csoportban az utóbbi két évtizedben számos oktatási reform zajlott. Így nem csak az országok közötti keresztmetszeti összehasonlítás, hanem az időbeli változások alapján is értékelhetjük az intézmények hatását.
A kutatás korszerű ökonometriai módszerekkel végzet tanulói szintű elemzésekre épül, standardizált nemzetközi tanulói teljesítménymérések (PIRLS, PISA, TIMMS) adatainak felhasználásával.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.

A tervezett kutatás nemzetközi adatbázisokra (OECD PISA adatfelvétel adataira, az IEA TIMSS és PIRLS adataibázisok adataira, valamint az OECD TALIS adatfelvétel adataira) támaszkodva azt vizsgálja, hogy milyen hatása van az oktatás intézményi feltételei változásának, az oktatási reformoknak a tanulói teljesítmények alakulására, a teljesítmények megoszlásának változására valamint a teljesítmények nemek és társadalmi helyzet szerinti egyenlőségére nemzetközi összehasonlításban.
A kutatás középpontjában az eddig, nemzetközi összehasonlító vizsgálatokban kevéssé vizsgált intézményi feltételek hatása áll. Egyrészt a szabad iskoláválasztás, másrészt a tanári szelekció, a tanári bér-, és foglalkoztatáspolitika, valamint a tanári tanítási módszerek hatása a tanulói teljesítmények változására és megoszlására. A kutatás kulcskérdései a következők:
1) Milyen hatása van az oktatás intézményi feltételeinek a tanulói teljesítmények nemek szerinti egyenlőségére?
2) Milyen hatása van a szabad iskolaválasztásnak a tanulói teljesítmények változására és egyenlőségére?
3) Milyen hatása van a tanári bér-, és foglalkoztatáspolitikának és szelekciónak a tanulói teljesítmények változására és egyenlőségére?
4) Milyen hatása van a tanári jellemzőknek és a tanítási módszereknek a tanulói teljesítmények nemzeközileg megfigyelhető különbségére?
A kutatás a részletes leíró elemzés mellett oktatási termelési függvény módszert használ a vizsgáltkérdések elemzésére.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!

A tanulói teljesítmények javítása és a teljesítménykülönbségek csökkentése az oktatáspolitika fontos célja. Az elmúlt években a nemzetközi irodalomban egyre több munka vizsgálta, hogy mely intézményi feltételek hatnak a tanulói teljesítményekre. A tervezett kutatás több módon is hozzájárulhataz eddigi ismereteinkhez.
Először, eddig nagyon kevés vizsgálat született arról, hogy az oktatáspolitikai változások, az oktatási reformok milyen hatással vannak a tanulói teljesítmények változására., trendjeire. A legtöbb munka, mely eddig az oktatási reformok hatását vizsgálta általában két ország teljesítményét vetette össze. A tervezett kutatás viszont több ország tapasztalatait veti össze, külön hangsúlyt helyezve a volt szocialista országokra. Mivel ezekben az országokban számos különböző irányú oktatási reform született, a rendszerváltás előtti. kiinduláskori oktatási rendszerek viszont nagyon hasonlóak voltak ezekben az országokban, ezért az intézményi változások hatásának vizsgálatára különösen alkalmas ez az országcsoport.
Másodszor, a kutatás olyan intézményi feltetelek változásának vizsgálatát helyezi középpontba, amiről az egy-egy országra vonatkozó empirikus eredményekből feltételezzük, hogy jelentős hatással vannak a tanulói teljesítményekre, de a nemzetközi összehasonlítások eddig nem, vagy alig próbálták meg számszerűsíteni ezek hatását: a szabad iskolaválasztás, a tanári szelekció, tanári bér-, és fogalalkoztatáspolitika, valamint a tanári tanítási gyakorlatok hatását.
Harmadszor, a teljesítmények egyenlótlenségeit vizsgáló tanulmányok általában a tanulók szocio- kulturális háttere szerinti egyenlőtlenségét vizsgálja. A tervezett kutatás is vizsgálka a teljesítmények egyenlőtlenségét a szocio-kulturális hatter mentén, de emellett kiemeleten foglalkozik a nemek szerinti teljesítménykülönbségek intézményi meghatározóival, ami oktatáspolitikai szempontból ugyancsak fontos kérdés.
A tervezett kutatás tehát oktatáspolitikai szempontból fontos kérdéseket vizsgál. Hozzájárulhat a nemzetközi kutatási eredményekhez a tanulói teljesítmények intézményi meghatározóinak megismerésében, valamint az oktatási termelési függvények mérési, módszertani problémáinak javításában.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.

A kutatás nemzetközi összehasonlításban vizsgálja, hogy különféle oktatási intézmények hogyan hatnak az oktatási rendszerek minőségére. Az utóbbi alatt a tanulói teljesítmények átlagos szintjét és egyenlőtlenségét értjük. Az egyenlőtlenségek között vizsgáljuk a jól és gyengébben teljesítő diákok közötti különbséget, a családi háttérrel összefüggő, pl. magas végzettségű és kevésbé iskolázott szülők gyermekei közötti különbségeket (esélyegyenlőtlenség) és a nemek szerinti különbségeket. Ezek közül elsősorban a nemek szerinti különbségek elemzése újdonság; ennek az intézményekkel való összefüggéséről nem sokat tudunk. Végső soron azt vizsgáljuk, hogy milyen az az iskolarendszer, amelyből a legjobb tudással kerülnek ki a diákok és az egyenlőtlenségek sem elfogadhatatlan mértékűek.
Az oktatási intézmények között olyanokat vizsgálunk, amelyek a nemzetközi összehasonlító irodalomban eddig kevés figyelmet kaptak vagy teljesen hiányoztak: a szabad iskolaválasztást, a tanári bérezést és a tanárok tanítási gyakorlatának jellemzőit.
A nemzetközi összehasonlítás fókuszában a közép- és nyugat-európai országok összehasonlítása áll. Az előbbi csoport azért is érdekes, mert itt az utóbbi két évtizedben számos oktatási reform zajlott. Így egyrészt országokat hasonlítunk össze egymással, másrészt a változások hatását értékeljük.
A kutatás tanulói szintű adatok statisztikai elemzésére épül, standardizált nemzetközi tanulói teljesítménymérések (PIRLS, PISA, TIMMS) adatainak felhasználásával.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.

This cross-country comparative research aims at discovering how educational institutions affect the, broadly conceived, quality of the education systems. By quality we understand the level of student performance as well as the equality within the system. Within equality we place separate emphasis on the dispersion of test scores (equality of outcome) the parental background effect on performance (equality of opportunity) and performance differences between genders. The literature is especially silent on the effect of institutions on gender differences.
We primarily focus on those educational institutions that have been understudied by the international scientific literature: school choice, teacher wages and different characteristics of teaching practices.
We place a greater emphasis on comparing Eastern and Western Europe, utilizing the fact that there were many instances of institutional reforms in the former group during the last two decades. Thereby we can look not only at cross country, but also at within country differences when assessing the effects of institutions.
The research uses modern econometric techniques on student level international data measuring standardized test scores as well as individual background characteristics (PIRLS, PISA, TIMSS).


What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.

The aim of the proposed research is to understand the effect of the institutional setting of education and of different educational reforms, with great emphasis on school choice, and teacher policy, on changes and trends of (i) students’ achievement, (ii) on changes of the dispersion in students’ achievement (iii) on equality of opportunity in terms of gender and social equity
The research will use international data on students’ performance: the OECD PISA data, the IEA TIMSS and PIRLS data and TALIS data. These datasets contain data on students’ achievement and also detailed information on students’ background and school characteristics. As there are different waves of these data (for example four waves of PISA until now) it makes possible to analyze the effect of education reforms and policy changes on changes of students’ achievement.
The proposed research will make detailed descriptive analyses of the investigated questions and will use education production function method which is designed to understand how school resources, family background and institutional setting affect achievement
The key questions of our project will be the following:
(1) What is the effect of the institutional setting of education on gender equality in students’ performance?
(2) What is the effect of school choice on students’ performance and on educational equality?
(3) What is the effect of teacher policy on students’ performance and on educational equality?
(4) What is the role of teacher characteristics and teaching practices in explaining international differences in student achievement?

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.

The proposed project identifies particular institutional settings of the school system that are important for increasing students’ performance and adds to the existing literature in different ways.
First, although there is a large and growing body of literature investigating the effect of institutional features across countries on students’ performance and on equity of public education systems a few have investigated the effect of policy changes on trends of students’ achievement. The few studies that investigated the reasons for increasing or decreasing students’ achievement usually compared two education systems or focused on the experience of a single country. Second, although recent national student- level studies suggest that the impact of teacher quality is far larger than any other quantifiable schooling input very few studies have investigated the effect of teacher qualify on students’ performance using cross-country approach. Similarly the effect of school choice is also understudied. Accountability, school autonomy, private involvement, school tracking, has got the most attention in the literature and much less teacher quality or school choice.
Third, most of the earlier studies have investigated the effect of institutions on social equity, but little is known about the determinants of the gender gap in an international comparison.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.

This cross-country comparative research aims at discovering how educational institutions affect the quality of the education systems. By quality we understand the average student performance as well as the equality of the education system. Within equality we look at the differences between the high and low performing students, at the effects of family background on student test scores (e.g. the difference between the test scores of the children of highly and lowly educated parents) and at the differences between girls and boys. Looking at the gender differences is one of the novelties of this research: we know little about the effects of institutions on gender differences. In short, we look for the education system that has the highest level of test scores and still has an acceptable level of equality.
We primarily focus on those educational institutions that have been understudied by the international scientific literature: school choice, teacher wages and different characteristics of teaching practices.
We place a greater emphasis on comparing Eastern and Western Europe, utilizing the fact that there were many instances of institutional reforms in the former group during the last two decades. So we compare countries with each other, but also look at the change within the individual countries when assessing the effects of institutions.
The research uses statistical analysis on student level international data measuring standardized test scores as well as individual background characteristics (PIRLS, PISA, TIMSS).





 

Final report

 
Results in Hungarian
A kutatás azt vizsgálta, hogy milyen hatása van az oktatás intézményi feltételeinek a tanulói teljesítmények alakulására nemzetközi összehasonlításban. Az eredmények a következőket mutatták (1) Az iskolák közötti verseny összefügg a magasabb iskolai teljesítménnyel, ez feltehetőleg az iskolák közötti szelekciónak tudható be. (2) A tanári bérek szinjének, és a tanári bérpálya alakjának viszonylag rövid távú változásai befolyásolják a tanulók teljesítményét az európai országokban. A pályakezdő tanárok magasabb besorolás szerinti bére, és a tanári pálya első felében a besorolási bérek gyorsabb emelkedése a tanulók szignifikánsan jobb eredményeihez vezetnek matematikából és természettudományokból. (3) A tanárok neme és a tanulói teljesítmények között a következő kapcsolatot találtuk. A női tanárok diákjai jobb teszteredményeket érnek el, különösen a lányok. A becsült hatás feltehetően összefügg a tanári szelekcióval. (4) A tanulói teljesítmények nemek közötti különbségei és az oktatási rendszerek különböző jellemzői közötti összefüggés vizsgálata pedig azt találta, hogy nagyobb nemek közötti különbségek járnak együtt bizonyos jellemzőkkel, például a gyakori évismétléssel és a korai szelekcióval. A fiúk relatíve jobb teljesítményt érnek el a tradicionálisabb oktatási rendszerekben, a diák-orientált tanítási gyakorlat kedvezőbb a lányok teljesítményére nézve.
Results in English
The research investigated the effect of the institutional setting of education and of different educational reforms on students’ achievement. Our results show: (1) Increased choice leads to increased selection between schools, and hence we observe competing schools to be of higher test score levels.(2) The relatively short term -5-years - changes in the level and structure of statutory teacher salaries affect student performance in the European countries. Higher statutory teacher salaries and larger growth of teacher salaries at the first part of teachers’ career increase students’ maths and science performance, while the effect was less pronounced on reading performance and at the second part of teacher career. (3) Female teachers tend to increase students’ test scores, especially for girls. The female effect is likely to reflect selection into the teaching profession, as it is stronger in countries where the teacher wages relative to graduate wages are higher for women than for men. (4) Girls achieve higher test scores in reading on average, while usually lag behind boys in math. The size of the gender gap is correlated with certain characteristics of the education systems. Boys perform relatively better in more traditional education systems, which also use grade retention and early selection more often. At the same time, student-oriented teaching practices appear to benefit girls relative to boys both between and within countries.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=109338
Decision
Yes





 

List of publications

 
Varga Júlia: The Effects of Policies Concerrning Teachers' Wages on Students' Performance, BUDAPEST WORKING PAPERS ON THE LABOUR MARKET, 2017
Alfa Diallo - Hermann Zoltán: Does teacher gender matter in Europe? Evidence from TIMMS data, BUDAPEST WORKING PAPERS ON THE LABOUR MARKEZ, 2017
Horn Dániel: Public versus private school choice: performance and equality. A comparative analysis of school choice systems using PISA data, BUDAPEST WORKING PAPERS ON THE LABOUR MARKET, 2017
Hermann Zoltán: The gender test score gap and education institutions: exploring cross-country differences in Europe, BUDAPEST WORKING PAPERS ON THE LABOUR MARKET, 2017




Back »