Quines beques funcionen? Una revisió de la literatura (basada en l’evidència) per als nivells pre-universitaris

Resum

Aquest treball és una revisió sistemàtica de la literatura, basada en l’evidència, sobre el impacte de la política de beques en els nivells pre-universitaris incorporant tant les beques de característiques monetàries com aquelles no monetàries i amb diferents objectius perseguits: continuïtat en el centre escolar, millora en els resultats i graduació. Així mateix, interessa destacar l’existència o no d´efectes diferencials (no homogenis) donada la seva utilitat en el disseny de futures polítiques. Aquesta revisió de l’evidència pretén aportar claus interpretatives sobre l’efectivitat de les beques en el nivell educatiu no universitari, tenint en compte la manca d’estudis d’aquest tipus a l`àmbit català i espanyol.

1. Motivació

Un dels elements que ha centrat el debat educatiu durant els darrers anys és la gran quantitat d’individus que no continuen els seus estudis més enllà de la escolarització obligatòria i que es quantifica mitjançant una alta taxa d’abandonament escolar prematur. No obstant això, amb la crisi econòmica aquesta taxa ha anat baixant fruit de la desaparició d’una alternativa laboral (sobretot en ocupacions temporals en l’àmbit de la construcció, l’hostaleria o la gastronomia) que havia funcionat com un “aspirador” de joves amb unes determinades característiques socioeconòmiques. En efecte, la literatura ha determinat que l’abandonament prematurés provocat per un seguits de factors de vulnerabilitat (individuals, familiars i d’entorn) que, de manera acumulativa, acaben en una sortida prematura de l’individu del sistema educatiu, amb la conseqüent pèrdua per a tota la societat.

En aquest context, és important conèixer les polítiques educatives que hagin pogut donar resultats en diferents llocs del món per tal d’assegurar la continuïtat en el centre escolar i/o la millora en d’altres objectius educatius.

Per tot això, aquest treball para atenció a les beques de caràcter compensatori, adreçades a col·lectius d’alumnes i famílies amb certes mancances socials o acadèmiques, i també aquells ajuts no focalitzats, més universals, que incorporen com a incentiu un “premi” en cas d’assolir uns determinats objectius educatius. En ambdós casos es consideraran beques orientades a diferents nivells educatius (primària, secundaria obligatòria i post-obligatòria) i amb diferents objectius perseguits: continuïtat en el centre escolar, millora en els resultats i graduació. Així mateix, interessarà destacar l’existència o no d´efectes diferencials (per tant, la possibilitat que les beques i ajuts siguin més beneficiosos per a uns col·lectius d’alumnes que per a uns altres) donada la seva utilitat en el disseny de futures polítiques en aquesta matèria.

Aquesta revisió de l’evidència internacional, continuació d’un treball previ que centrava l’atenció només en les beques monetàries (Mediavilla, 2017), pretén aportar claus interpretatives sobre l’efectivitat de les beques en el nivell educatiu no universitari, tractant així de contribuir a omplir el buit que representa la manca d’estudis i avaluacions dutes a terme en l`àmbit català i espanyol.

2. Programes incorporats a la revisió

En aquesta revisió es consideren els estudis que presenten evidència contrastada de programes que impliquin un incentiu monetari i no monetari i que estan adreçats a nivells preuniversitaris. Donat que l’objectiu és conèixer l’efecte causal dels programes en qüestió, prioritzem la selecció d’estudis basats en una metodologia experimental, on l’assignació de grups tractats i de control s’estableix de forma aleatòria (Loi i Rodrigues, 2012; Gertler et al., 2016). Tot i així s’han incorporat dos estudis que, mitjançant altres aproximacions metodològiques, aconsegueixen demostrar causalitat (Filmer i Schady, 2008; Sparrow, 2007).

De forma més detallada, la present revisió considera els següents eixos d’anàlisi:

• Perfil del programa: compensatori o no focalitzat. En el primer cas, són programes adreçats a col·lectius que reuneixen unes determinades característiques de vulnerabilitat (social o acadèmica), i que es plantegen amb l’objectiu de reduir l’efecte d’aquestes iniquitats de partida. A més, els esquemes de tipus compensatori poden ser condicionats o no condicionats. En el segon cas, els programes no focalitzats comprenen a tot l’alumnat, i es basen en la incentivació per objectius educatius assolits.

• Població objectiu (diana) tractada. Té relació directe amb el punt anterior. La població diana indica el col·lectiu al qual s’adreça la política. Podria ser d’una edat determinada, amb uns antecedents respecte al rendiment educatiu, amb situacions familiars concretes (joves mares o embarassades) o procedents d’entorns socioeconòmics desafavorits, entre d’altres.

• Nivell educatiu. Els programes es poden dirigir al nivell educatiu elemental (primària) o secundari (obligatori ó post-obligatori), tenint en compte l’existència de programes que afecten als dos nivells.

• Particularitats respecte a la implementació. En aquest punt hi ha una àmplia diversitat de dissenys. Per exemple: hi ha variacions entre beques individuals o per grups; si s’incrementa la seva quantia en accedir a un nivell educatiu superior; en alguns casos la beca és en espècie (joguina) i en d’altres s’entrega l’estímul en un primer moment i desprès el beneficiat ha de tornar els diners en cas de no complir amb els requisits establerts per gaudir-ne, entre d’altres.

• Objectius principals de la beca. Normalment els objectius passen per la continuïtat escolar (assistència al centre escolar), la millora en els resultat i la graduació.

• Existència d’efectes diferencials. Un element destacat és que en algunes avaluacions es detecta que la política no té efectes homogenis entre tots els individus tractats, sinó que determinats col·lectius d’alumnes en surten més beneficiats que altres.

Altres variables d’interès, com la font de finançament, la voluntarietat en la participació o l’esquema de condicionalitat, no han pogut ser tingudes en compte en aquesta revisió en no trobar-se suficientment abordades en els estudis revisats.

3. Preguntes de investigació

Per respondre al principal objectiu de la investigació (conèixer l’efectivitat de les beques) s’han plantejat les següents preguntes:

• Són les beques efectives a l’hora de millorar els objectius educatius perseguits?

• Quines característiques tenen els programes compensatoris / no focalitzats més efectius?

• Hi ha competències o aprenentatges que es veuen afectades més positivament que d’altres per aquestes intervencions?

• Per a quins col·lectius les beques resulten més efectives? La pròpia implementació influeix?

4. Revisió de l’evidència

Donada l’escassetat de treballs d’avaluació rigorosa a l’àmbit català i espanyol, el present estudi es fonamenta en els resultats d’avaluacions i revisions desenvolupades en altres contextos, principalment als Estats Units d’Amèrica i alguns països en vies de desenvolupament. Les principals fonts d’informació han estat l’Institute of Education Sciences (Department of Education, Estats Units d’Amèrica), el Banc Mundial i la recerca pròpia.

El treball divideix els programes analitzats en monetaris (taules 1 i 2) i no monetaris (taula 3). En el cas dels primers, tanmateix es divideixen en compensatoris i no focalitzats. Dins de cadascuna d’aquestes agrupacions es tenen en compte diferents aspectes, que es consideren centrals per tal de conèixer el disseny de cadascuna de les polítiques: el país on es desenvolupa, la forma d’implementació, el perfil de l’alumnat, el nivell educatiu objecte de l’acció, els objectius educatius perseguits i, per últim, el càlcul de l’impacte i l’existència (o no) d’efectes diferencials.

4.1 Són les beques efectives a l’hora de millorar els diferents objectius educatius?

La revisió feta indica que, en general, les beques poden ser un bon instrument de cara a la millora dels resultats educatius. Tot i així, és necessari fer un seguits de apreciacions per tal d’entendre en quins àmbits i sota quins objectius aquest instrument esdevé més efectiu.

En el cas de les beques monetàries i en quant al nivell educatiu, el major efecte s’observa en l’educació primària i aquest s’esvaeix conforme s’avança de nivell. Respecte als objectius, queda clara la seva efectivitat en evitar l’abandonament dels estudis (principalment, a l’educació primària i secundària obligatòria), en la millora dels resultats educatius i en assegurar la transició primària – secundària obligatòria (tot i que en aquest darrer resultat l’evidència disponible és més escassa). Per contra, les beques que tenen com a objectiu la graduació dels alumnes no semblen tenir l’efecte desitjat.

Quant a les beques no monetàries, l’evidència amb resultats positius contrastables se centra en el nivell secundari post-obligatori amb la graduació com a principal objectiu. En els programes avaluats sobre primària i secundària obligatòria, els objectius aconseguits eren diversos: continuïtat a l’escola i millora en el comportament i en els resultats educatius.

Taula 1. Revisió de la literatura basada en l’evidència: programes monetaris compensatoris

Referències	País	Implementació	Perfil de l’alumnat (població diana)	Nivell educatiu	Objectius educatius	Mida de l’efecte mitjà / Efectes diferencials (4)
Allan i Fryer (2011) / Fryer (2012)	EEUU	Els estudiants poden guanyar un incentiu econòmic en cas de superar un test de matemàtiques. Els mestres tenen incentius segons el rendiment dels seus alumnes i per assistir a reunions amb els progenitors. Els progenitors tenen incentius segons el resultats dels seus fills i per la seva participació a les reunions	Escoles públiques amb baix rendiment educatiu	Primària	Millora en resultats	1,08 DE (Sig.) (5)/ Diferents efectes segons gènere, ètnia i rendiment previ
Maluccio et al. (2010)	Nicaragua	Programa de transferències condicionades segons l’assistència al centre escolar	Alumnes d’entre 7 i 13 anys que no hagin completat quart de primària. Provinents d’entorns rurals desafavorits	Primària	Continuïtat	Abandonament: -5,8 % (Sig.) Repetició: -11,6 % (Sig.) Assistència: 41,2 % (Sig.) / Major efectivitat en àrees amb autonomia escolar i en entorns més desafavorits
Filmer i Schady (2008)(1)	Cambodja	Programa de beques per assegurar la transició escolar primària – secundària	Tot l’alumnat femení	Primària – Secundària obligatòria	Continuïtat	30,3 % (Sig.) / Major impacte a les classes més desafavorides
Sparrow (2007)(2)	Indonesia	Programa de transferència condicionada segons l’assistència al centre escolar i a la no repetició	Estudiants a partir de quart de primària i provinents d’entorns desafavorits	Primària – Secundària obligatòria – Secundària post-obligatòria	Continuïtat	Primària: 10 % (Sig.); Secundària obligatòria: 11,7 % (Sig.); Sec post-Oblig : -0,2 % (No sig.) / Major efectes per als estudiants considerats més pobres dins la distribució
Levitt et al. (2016)	EEUU	Programa en dos nivells: (A) Primària (B) Secundària post-obligatòria. Opcions: premi monetari segons compliment de requisit o pèrdua d’un incentiu atorgat anteriorment en cas de no arribar als objectius previstos	Programa d’incentius dirigit a escoles amb baix rendiment educatiu	Primària – Secundària post-obligatòria	Millora en resultats	Diferents resultats. (A) Sig. (B) Sig. / Major efecte en cas del incentiu centrat en la pèrdua d’una compensació ja atorgada; en cas d’estudiants en primària, en matemàtiques i en nois
Angrist i Lavy (2003)	Israel	Beca per matricular-se i assistència al centre	Estudiants amb un rendiment educatiu baix (a partir d’un test previ)	Secundària post-obligatòria	Graduació	0,1 % (No sig.)
Long et al. (1996)	EEUU	Beca mensual que rep el beneficiari en cas de complir els requisits d’assistència escolar. Així mateix, en cas d’aprovat el High School (o GED)(3) reben un estímul econòmic addicional	Joves mares o embarassades	Secundària post-obligatòria	Continuïtat / Millora en resultats / Graduació	IM: +6 (Sig) / +4 (No sig) / +4 (No sig) (6)
Snipes et al. (2006)	EEUU	Beca amb una durada de quatre anys (= High School) i que inclou les despeses d’assistència a dues escoles d’estiu. Requisits: un mínim de rendiment educatiu mitjà (75/100), complementar uns cursos preparatoris per accedir a la universitat i assistir a les dues escoles d’estiu	Estudiants procedents d’entorns econòmicament desafavorits	Secundària post-obligatòria	Millora en resultats / Graduació	IM: -4 (No sig.) / -3 (No sig) (6)

Font: elaboració pròpia a partir de l’Institute of Education Sciences, Department of Education (Estats Units d’Amèrica), Banc Mundial i recerca pròpia.

(1) Metodologia: Regressió discontínua i metodologia quasi-experimental d’aparellament.

(2) Metodologia: Variables instrumentals.

(3) General Educational Development Certificate (GED). Equivalent al High School (Secundària post-obligatòria) adreçat a joves que no han completat aquests estudis per la via ordinària.

(4) En aquesta columna, es destaquen en negreta aquells valors d’impacte que són estadísticament significatius.

(5) Valors expressats en termes de Desviació Estàndard (DE). Angrist i Lavy (2003) consideren que un valor inferior a 0,10 equival a un efecte petit, entre 0,10 i 0,30 a un efecte mitjà i superior a 0,30 a un efecte gran.

(6) Índex de millora (IM): representa la diferència en percentils entre la mitjana del grup afectat per la intervenció (tractat) i la mitjana del grup de comparació (de control). Aquest índex pot agafar valors d’entre -50 i +50, on valors positius indica un resultat favorable de la política avaluada.

Taula 2. Revisió de la literatura basada en l’evidència: programes monetaris no focalitzats

Referències	País	Implementació	Nivell educatiu	Objectius educatius	Mida de l’efecte mitjà / Efectes diferencials (1)
Allan i Fryer (2011)	EEUU	Els estudiants de segon de primària reben un incentiu econòmic segons la quantitats de llibres llegits (i compresos)	Primària	Millora en resultats	0,18 DE (Sig.) (2)
Berry (2015)	Índia	Beca dinerària o en espècie (joguina) que es rep en cas de millorar la competència en lectura desprès de dos mesos	Primària	Millora en resultats	0,48 % (Sig.)
Bettinger (2012)	EEUU	Beca dinerària segons rendiment educatiu. Al final de cada curs es passa un test. En funció del resultat es concedeix o no l’estímul econòmic	Primària	Millora en resultats	Mat: 0,13 DE (Sig.) (2) Llengua: no sig. Ciència: no sig. Estudis Socials: no sig.
Blimpo (2014)	Benín	Premi individual o per grups de quatre alumnes. Es guanyen en cas de superar un determinant rendiment a les corresponents proves	Primària	Millora en resultats	0,29 DE (Sig.) (2)
Fryer (2011)	EEUU	Estudi de tres programes (en tres ciutats) de beques per incentivar la continuïtat escolar i el rendiment educatiu. En un cas l’incentiu era per llegir llibres i als altres dos casos segons qualificacions obtingudes	Primària	Continuïtat / Millora en resultats	Diferents resultats (No sig.)
Galiani i McEwan (2013)	Hondures	Programa de transferències condicionades segons l’assistència al centre escolar	Primària	Continuïtat	8 % (Sig.) / Major efecte en alumnes d’entorns socioeconòmics desafavorits
Han et al. (2010)	Xina	Programa integrat de tres accions: (A) un incentiu per passar de curs; (B) un incentiu per tutories entre companys i; (C) accions comunicatives amb els progenitors. S’apliquen per separat (A ó B) i en conjunt (A+B+C).	Primària	Continuïtat / Millora en resultats	(A)-0,02 DE (No sig.) (B) 0,14 DE (Sig.) (A)+(B)+(C) 0,20 DE (Sig) (2)
Allan i Fryer (2011)	EEUU	Els estudiant reben l’incentiu en cas d’aprovar un test.	Primària – Secundària obligatòria	Millor en resultats	Diferents resultats (No sig.)
Allan i Fryer (2011)	EEUU	Cada any les escoles reben un incentiu econòmic que han de distribuir entre els docents. No es pot fer segons antiguitat. Requisits: assistència i rendiments dels alumnes	Primària – Secundària obligatòria – Secundària post-obligatòria	Continuïtat / Millora en resultats	Diferents resultats (No sig.)
Allan i Fryer (2011)	EEUU	Els estudiants són recompensats segons l’assistència i comportament al centre escolar	Secundària obligatòria	Continuïtat	Lectura: 0,14 DE (No sig.) Matemàtiques: 0,10 DE (No sig.) (2)
Allan i Fryer (2011)	EEUU	Els estudiants reben l’incentiu en funció de les seves notes al final de curs. Una part immediatament, l’altre desprès de la graduació	Secundària post-obligatòria	Millora en resultats / Graduació	Lectura: -0,01 DE (No sig) Matemàtica: -0,10 DE (No sig.) (2)
Behrman et al. (2015)	Mèxic	Tres tipologies d’incentius: (A) als estudiants, (B) als professors i (C) als estudiants, professors i gestors del centre. Requisit: rendiment en matemàtica	Secundària post-obligatòria	Millora en resultats	Diferents resultats. (A) Sig. (B) No sig. (C) Sig. / Efectes diferents segons la maduració del programa i la permanència en el mateix

Font: elaboració pròpia a partir del Banc Mundial i recerca pròpia.

Perfil de l’alumnat (Població diana): en totes les avaluacions és tot l’alumnat, tret del cas d’Hondures, on el programa està dirigit als alumnes d’entre 6 i 12 anys que estiguin cursant de primer a quart de primària.

(1) En aquesta columna, es destaquen en negreta aquells valors d’impacte que són estadísticament significatius.

(2) Valors expressats en termes de Desviació Estàndard (DE). Angrist i Lavy (2003) consideren que un valor inferior a 0,10 equival a un efecte petit, entre 0,10 i 0,30 a un efecte mitjà i superior a 0,30 a un efecte gran.

Taula 3. Revisió de la literatura basada en l’evidència: programes no monetaris compensatoris

Referències	Implementació / Perfil de l’alumnat (població diana)	Nivell educatiu	Objectius educatius	Mida de l’efecte mitjà / Efectes diferencials (1)
Lochman i Wells (2004); Lochman et al. (2006); Lochman et al. (2009)	Programa adreçat a alumnes dels darrers cursos del nivell primari identificats com a agressius i/o disruptius i els seus progenitors. El component infantil consta de sessions periòdiques grupals i individuals durant un màxim de 18 mesos. El component adult es compon de 16 sessions individuals i grupals.	Primària	Millora en resultats	IM: Comportament: +8; Relacions socials: +6.
Walker et al. (1998); Walker et al. (2009)	Programa d'intervenció primerenca dissenyat per ajudar els nens/es que estan en risc de desenvolupar un comportament agressiu o antisocial. El programa utilitza un tutor format que treballa amb cada alumne, els seus companys de classe, mestres i progenitors aproximadament entre 50 i 60 hores durant un període de tres mesos. Participació obligatòria.	Primària	Millora en resultats	IM: Comportament: +28; Relacions socials: +23
Pinnell, DeFord i Lyons (1988); Pinnell et al. (1994); Schwartz (2005)	Intervenció de curt termini (12-20 setmanes) que proporciona una tutoria individual a alumnes de primer de primària amb dificultats amb la lecto-escriptura lliurada per professors formats en el programa en una jornada extraescolar de 30 minuts.	Primària	Millora en resultats	IM: +27 Fluïdesa de la lectura: +46; Coneixement de l’alfabet: +21; Comprensió lectora: +14.
Dynarsky et al. (1998)	Grups de discussió d’aproximadament dotze estudiantes (amb risc de fracàs escolar) per intercanviar opinions sobre la família, la seva situació personal i els seus interessos. En acabar l’horari escolar. Intervenen dos moderadors, normalment estudiants universitaris. També es dona suport amb els deures. Participació voluntària.	Secundària obligatòria	Continuïtat / Millora en resultats	IM: +13 / -6
Dynarsky et al. (1998)	Classes addicionals de suport per alumnes repetidors. En grups reduïts. Incorpora un tutor per al seguiment. A la pròpia escola o en un altre centre.	Secundària obligatòria	Continuïtat / Millora en resultats	IM: +18 / +35
Cave et al. (1993)	Formació acadèmica i vocacional de joves d’entre 17 i 21 anys, que no estudien i no tenen el graduat en High School. Durada: 200 hores de formació educativa i 500 hores de formació ocupacional. Participació voluntària. Se’ls prepara per obtenir el GED Certificate. Es disposa de guarderia i transport gratuït per facilitar la participació.	Secundària post-obligatòria	Graduació	IM: +14
Constantine et al. (2006)	Assistència i ajuda per a la consecució del graduat en High School i la matriculació posterior a la universitat. Adreçat a estudiants amb dificultats econòmiques i progenitors sense estudis superiors. Tanmateix, es dona assessorament per tal aconseguir beques educatives.	Secundària post-obligatòria	Graduació	IM: +17
Dynarsky et al. (1998)	Programa alternatiu de High School centrats en competències bàsiques per a estudiants amb risc d’abandonament. Ofert en centres educatius amb docents que donen en High School. Classes reduïdes.	Secundària post-obligatòria	Continuïtat / Graduació	IM: -3 / +2
Dynarski et al. (1997)	Programa alternatiu de High School per a joves amb risc de fracàs escolar. Centrat en la competència lectora. Opera en zones econòmicament desafavorides.	Secundària post-obligatòria	Continuïtat / Millora en resultats / Graduació	IM: 6 / +4 / +4
Quint et al. (1997)	Se’ls prepara per obtenir el GED Certificate. Joves mares d’entre 16 i 22 anys, entorn econòmic desafavorit, han abandonat l’escola sense el High School. Durada màxima: 18 mesos. Addicionalment, es donen algunes competències per a la inserció laboral i reben informació sobre planificació familiar i salut. Disposen de guarderies gratuïtes. Participació voluntària.	Secundària post-obligatòria	Graduació	IM: +8
Schirm et al. (2006)	Programa de mentoria/docència per a joves amb risc d’exclusió social. Centra l’atenció en competències bàsiques. Durada màxima: 4/5 anys. Ofereix transport, guarderia i assistència financera. Els participants reben una contraprestació dinerària per cada quatre hores dedicades al programa, una part al moment i un altre en obtenir la graduació.	Secundària post-obligatòria	Millora en resultats / Graduació	IM: +2 / +4
Schochet et al. (2001)	Programa de formació en competències educatives i/ o laborals per a joves d’entre 16-24 anys provinents d’entorns socials desafavorits. Durada màxima: 24 mesos. Classes d’instrucció acadèmic i vocacional. En centres diferents a les escoles. Participació voluntària.	Secundària post-obligatòria	Graduació i/o inserció laboral.	IM: +13
Sinclair et al. (1998)	Programa de tutorització individual per a alumnes amb risc de abandonament escolar. Es coordinen reunions de seguiment i avaluació de la progressió quan a rendiment educatiu. A més, el tutor té contacte amb les famílies i intenta la integració de l’alumne en grups escolars i organitzacions comunitàries.	Secundària post-obligatòria	Continuïtat / Millora en resultats / Graduació	IM: +25 / +30 / +1

Font: elaboració pròpia a partir de Institute of Education Sciences, Department of Education, Estats Units.

Perfil de l’alumnat (Població diana): en tots els casos es tracta d’estudis sobre polítiques aplicades als Estats Units. A la revisió feta no s’han trobat evidència de programes no focalitzats.

(1) Índex de Millora (IM): representa la diferència en percentils entre la mitjana del grupo afectat per la intervenció (tractat) i la mitjana del grup de comparació (de control). Aquest índex pot agafar valors d’entre -50 i +50, on valors positius indica un resultat favorable de la política avaluada. En casos de diferents treballs sobre la mateixa política es presenta la mitjana aritmètica. En negreta, si el valor obtingut d’impacte es considera robust.

General Educational Development Certificate (GED): Equivalent al High School adreçat a joves que no han completat aquests estudis per la via ordinària.

4.2 Quines característiques tenen els programes compensatoris / no focalitzats més efectius?

Quant als programes de característiques monetàries i compensatòries és clar el seu objectiu inicial d’assegurar la presència de l’alumne al centre escolar. En aquest sentit, els programes que millor funcionen centren la seva atenció en el nivell primari i apliquen simultàniament incentius a diferents actors del procés educatiu: alumnes, docents i progenitors (veure exemple en el requadre 1). En general, s’estableixen estímuls als estudiants per assolir determinats objectius educatius (normalment, modulats a cada situació); a més, els mestres tenen incentius per assistir a les reunions de seguiment i segon el rendiment dels seus estudiants; i els progenitors també tenen incentius segons el resultats dels seus fills i per la seva participació a les reunions programades amb els docents. A més, les beques rebudes en el moment inicial i que s’han de tornar en cas de no assolir els objectius previstos, en els casos recopilats, tenen una efectivitat major que l’opció seguida habitualment on el “premi” s’entrega a posteriori. Donat que a tots els treballs revisats havia algun element de condicionalitat, quedaria pendent conèixer la real efectivitat de programes compensatoris totalment no condicionats.

En el cas dels programes que inclouen una transferència monetària i són no focalitzats, tot i que és manté la principal efectivitat en el cas del nivell primari i en els programes que apliquen incentius simultanis a estudiants, docents i progenitors, hi ha elements diferencials. En aquest cas, s’observa un major impacte general en la millora dels resultats educatius. A nivell de disseny, alguns programes incentiven, addicionalment, el treball en grup i les tutories entre iguals. A més, tenen un impacte diferencial segon la maduració del programa que té dues implicacions diferencials. En primer lloc, en el segon i tercer any d’implementació del programa s’observen efectes superior que durant el seu primer any per als grups que s’inicien en el programa. En segon lloc, que la permanència en el programa (durada del tractament) incrementa els efectes observats.

En els programes que inclouen beques no monetàries i particularment en primària i secundària obligatòria, les estratègies efectives són variades: sessions periòdiques grupals i individuals, tutories personalitzades i grups de discussió, entre d’altres. En el cas de la secundària post-obligatòria, els programes es focalitzen en aquells alumnes que es troben en risc d’abandonament escolar prematur o bé que, directament, ja han deixat l’escola sense la titulació corresponent. Hi ha un cas que focalitza l’atenció en el col·lectiu de mares joves. Es planteja l’assistència personalitzada amb una orientació acadèmica-vocacional i, on hi ha havia informació al respecte, la participació és voluntària. Tanmateix, la tutorització i seguiment periòdic és molt rellevant per a l’èxit d’aquests programes.

4.3 Hi ha competències o aprenentatges que es veuen afectades més positivament que d’altres per aquestes intervencions?

En el cas de les beques monetàries, en general, s’observa que les competències matemàtiques resulten positivament més afectades per la implementació d’aquests tipus de programes. Malgrat aquesta apreciació inicial, hauríem de tenir present una sèrie de cauteles. En primer lloc, moltes de les polítiques avaluades es focalitzen en la millora d’aquesta competència; en segon lloc, només són dos casos on hi ha evidència robusta sobre la seva reacció diferencial a d’altres competències (com la compressió lectora, per exemple) i, per últim, la tècnica d’avaluació de la majoria dels treballs incorporats - via test - podria esbiaixar els resultats obtinguts, potenciant artificialment els impactes en matemàtiques. No s’han pogut obtenir resultats significatius en aquest aspecte pel cas de les beques no monetàries.

4.4. Per a quins col·lectius les beques resulten més efectives? La pròpia implementació influeix?

De la revisió de la literatura, i pels casos de transferències monetàries, queda clar que els alumnes provinents d’entorns més desafavorits són els que més rendibilitzen l’ajuda rebuda. A més, hi ha d’altres elements que també acaben influint en la pròpia efectivitat de la política: un major rendiment previ observat implica un major efecte de la intervenció i, en el cas del gènere hi ha efectes diferencials però el seu impacte (major en nois o noies) depèn del programa avaluat. En els casos de transferències no monetàries no hi constància d’efectes diferencials per subgrups de beneficiaris. En aquest punt s’ha de tenir en compte que aquests programes ja treballen amb un població diana ben definida. Finalment, i respecte a la implementació, queda demostrada la importància del seguiment periòdic de l’alumne quant a l’assoliment dels objectius educatius plantejats.

5. Experiències en el nostre entorn: l’evidència a Catalunya i Espanya

En el cas català, no s’han trobat evidències respecte a avaluacions de programes d’incentius econòmics. Malgrat això, els treballs de Martínez-Celorrio (2015) Vallvé (2016), sense realitzar cap avaluació que pugui determinar causalitat, actualitzen la situació de la polítiques de beques a l’Estat Espanyol centrant l’atenció a la situació catalana i amb una anàlisi comparativa a nivell internacional.

Martínez-Celorrio (2015) descriu l’evolució del sistema de beques a Espanya i Catalunya, la seva eficàcia i cobertura, i la seva equitat redistributiva. A més, es discuteix la coherència i capacitat d’inclusió del sistema educatiu. En el cas de Vallvé (2016), es presenta la conclusions del projecte Alterbeques que té com a objectiu explorar models alternatius de finançament de la formació i analitzar la viabilitat de la seva implantació en el context català, tenint en compte l’entorn socioeconòmic, el marc regulatori i els objectius a aconseguir.

Finalment, resulta interessant ressaltar també com des de el govern de la Generalitat es duen a terme accions incipients en la línia de l’avaluació. Recentment, i amb la intenció de generar eines que permetin engegar un procés d’autoavaluació dels centres, el Consell Superior d’Avaluació del Sistema Educatiu va publicar un manual orientat a guiar el procés d’avaluació de projectes de millora que puguin desenvolupar els centres educatius (Generalitat de Catalunya, 2016). A la presentació del mateix queden clars els seus objectius: “Aquest manual està pensat per orientar el procés d’avaluació de projectes de millora que es puguin desenvolupar els centres educatius”.... “perquè puguin emprar uns instruments que els permetin veure si el projecte en qüestió té raó de ser, està ben dissenyat i assoleix les millores previstes amb un nivell d’impacte favorable”.

En el cas de l’Estat Espanyol, Mediavilla (2013) estudia el paper de les beques i ajuts a l’estudi durant el període 2004-2005, sobre la probabilitat d’assolir amb èxit el nivell secundari post-obligatori a Espanya (Batxillerat i CFGM). A partir d’una metodologia quasi-experimental (Propensity Score Matching), en base a l’Enquesta de Condicions de Vida, s’intenta aproximar l’efecte real d’aquesta política educativa. La mostra final compta amb 150 alumnes tractats i entre 527 i 621 individus de control (depenen de l’algoritme de comparació emprat). Els resultats obtinguts indiquen un efecte positiu. Així mateix, s’observen efectes diferencials segons el gènere (major en noies) i segons l’entorn social d’on provenen els alumnes beneficiaris (major impacte a menor quintil de renda de les famílies).

Més recentment, trobem un avaluació feta sobre el Programa 18-25 desenvolupat a Extremadura pel cursos escolars 2012/2013 al 2014/2015 (Pedraja et al., 2016). Allí s’avalua l’efecte d’un incentiu monetari, condicionat al rendiment educatiu, sobre la probabilitat d’obtenció del graduat en secundària obligatòria per la via de la Educació Secundària Obligatòria per a persones adultes de la Comunitat Autònoma d’Extremadura. En cas de assistir regularment a classe i superar l’avaluació acadèmic dels mòduls respectius es tenia dret a rebre un incentiu en forma de dos pagaments de 500€ al finalitzar cada quadrimestre. La població diana del programa és el col·lectiu de 18 a 25 anys, aturat i sense el graduat en ESO. La metodologia emprada va ser l’aplicació d’una regressió en discontinuïtat de característiques difusa on la variable d’assignació (en aquest cas l’edat) no permet determinar amb exactitud la participació en el programa sinó la probabilitat de participació. Els resultats van determinar que no hi va haver cap efecte respecte a l’objectiu perseguit.

6. Conclusions

Aquesta revisió de la literatura ha tingut en compte només estudis que presentin evidència contrastada de determinats programes que impliquin un incentiu monetari i no monetari i que estiguin adreçats a nivells educatius preuniversitaris. Donat que l’objectiu era conèixer l’existència o no d’un efecte causal, en gairebé tot els casos s’han incorporat estudis que apliquen una metodologia experimental amb selecció aleatòria del grup tractat i del grup control.

Com a resum del treball aquí presentat, podem concloure que les beques són un bon instrument de cara a la millora dels diferents objectius educatius perseguits, tot i que cal esmentar algunes consideracions al respecte. Mentre que en el cas de les beques monetàries el major efecte s’aprecia en l’educació primària i s’observa un major impacte en els objectius d’assegurar la continuïtat educativa i en la millora dels resultats; les beques no monetàries tenen un major efecte de cara a la graduació en secundària post-obligatòria.

Tanmateix, altres aspectes que es denoten com a rellevants són que la política de beques té una major efectivitat si s’aplica simultàniament a diferents actors del procés educatiu (alumnes, docents i progenitors), que la seva pròpia maduració com a programa incideix i també la necessitat d’un seguiment continu de l’alumne becat.

Arran de la revisió de la literatura, es confirma que els alumnes provinents d’entorns més desafavorits són els que més rendibilitzen l’ajuda rebuda i que altres condicionants individuals també acaben influint en l’efectivitat de la política: el rendiment previ observat i el gènere del beneficiari.

7. Implicacions per a la pràctica

L’evidència ens diu que les beques i ajuts a l’estudi (de tipus monetari i no monetari) poden tenir un impacte positiu en l’assoliment d’alguns objectius educatius plantejat per l’Administració. Aquest efecte depèn, en gran part, del disseny de la pròpia política a partir de l’anàlisi de la població diana. En aquest apartat final reflexionem sobre les implicacions dels resultats obtinguts per al disseny de les polítiques de beques a casa nostra. De forma general, ens preguntem: algunes de les polítiques recollides en aquesta revisió serien aplicables a la realitat del sistema educatiu català? Sota quins paràmetres?

En primer lloc, cal situar l’estat de les beques i ajuts a l’estudi a Catalunya. En aquest sentit es rellevant referir-se als treballs elaborats per Martínez-Celorrio (2015) i Vallvé (2016).

L’informe de Martínez-Celorrio indica en el seu resum que “el sistema de beques a Espanya segueix un model centralista que ha generat un conflicte històric competencial amb Catalunya. És un sistema acaparat per l’etapa universitària en detriment de les etapes post-obligatòries. Genera un impacte redistributiu molt baix i regressiu, que perjudica les famílies i les classes més vulnerables”. A més, indica que la inversió a Catalunya en beques i ajuts a l’estudi en ensenyaments no universitaris, sobre la despesa educativa total, era d’un 2% al 2011, per sota de la mitjana de la Unió Europea (3,8%) i d’altres Comunitats Autònomes com Madrid (3,7%), per exemple. Finalment, destaca que: “la dispersió de les fonts de dades sobre beques, la falta d’harmonització i la no existència d’un registre de becaris, dificulta conèixer l’abast, cobertura i retorn social de la inversió en beques”.

A més, el treball de Vallvé menciona que “no existeix un sistema de beques coherent i estructurat que doni resposta a les necessitats de la població d’una manera sistemàtica. Les solucions existents són parcials, fragmentàries i en ocasions contradictòries entre sí”; i que “l’actual sistema de beques resulta insuficient per cobrir les necessitats bàsiques dels infants i joves en situació de vulnerabilitat”.

Amb aquesta breu referència a dos estudis recents elaborats sobre la realitat catalana, queda clara la necessitat d’impulsar polítiques educatives que impliquin desenvolupar una potent eina de compensació i/o incentivació amb clars objectius educatius. És en aquest punt, en el moment de dissenyar (o reformar) l’instrument, quan s’hauria de tenir en compte l’evidència.

A partir de les conclusions enumerades a l’apartat anterior podríem extreure cinc implicacions de cara al disseny de futures beques al nostre país:

Es podria explorar l’efectivitat del programes de triple incentivació (estudiants, docents, progenitors/tutors). És rellevant, en alguns contextos, que tots els actors que intervenen en el procés d’aprenentatge estiguin incentivats i, per tant, que és fomenti un objectiu comú.

Hi ha més evidència d’impactes positius en programes de beques que impliquin una transferència monetària en el nivell primari i secundari obligatori. En el cas de nivell superiors (no universitaris) l’evidència se centra en intervencions no monetàries.

Cal adaptar el programa a les característiques dels beneficiaris. S’ha demostrat l’existència d’efectes no homogenis de les beques i especialment positiva en el cas dels alumnes provinents d’entorns desafavorits. Aquest extrem es podria introduir per modular la política a cada col·lectiu.

Qualsevol política, per a ser efectiva, ha de comptar amb els recursos suficients, donar-li un temps de maduració i tenim en compte un seguiment constant dels individus. En aquest sentit, és important tenir experiències prèvies a partir de proves pilot i tenir sempre la possibilitat de modificar-ne el seu disseny, a partir d’avaluacions d’implementació.

Les noves polítiques implementades a Catalunya han de tenir en compte la seva necessària avaluació i, per tant, han de tenir assegurats els recursos per fer-les possible. Calen, però, més estudis per donar resposta a altres interrogants sobre quins poden ser els dissenys i formes d’implementació més efectius dels programes de beques, com ara:

• Els diners han d’anar als progenitors/tutors dels alumnes o als propis alumnes? En cas que siguin els alumnes, ¿han de tenir llibertat d’utilització sobre els ajuts o s’ha d’establir un sistema semblant a les transferències condicionades entre administracions públiques?

• Quina ha de ser la magnitud de l’incentiu per tal d’incrementar la seva efectivitat, sense generar una inversió excessiva? Hi ha un punt on l’increment en l’ajut deixa de donar els resultats desitjats?

• Quan és el millor moment per donar l’ajut, a l’inici del curs escolar, durant, desprès o en tots tres moments?

• Quan és el millor moment per avaluar la resposta del beneficiari a la política, durant, desprès del període de l’ajut o en totes dues situacions?

• ¿Donar certa autonomia als centres educatius per seleccionar la població diana i/o per adaptar el programa al seu alumnat (entre d´altres intervencions) podria millorar l’efectivitat dels ajuts?

• ¿L’ajut econòmic s’ha de relacionar a unes determinades accions realitzades pel beneficiari (assistència a classe, lectura de llibres, resolució d’exercicis de matemàtiques, etc.) o segon l’ objectiu educatiu assolit (resultats obtinguts a determinades assignatures)?

• La font de finançament (públic, mixt o privat) pot ser rellevant com a factor explicatiu dels efectes observats?

• La voluntarietat en la participació podria ser un element determinant en l’èxit de la política?

• En els casos d’ajuts condicionats, quin seria l’esquema de condicionalitat més eficient en termes d’assoliment dels objectius plantejats?

• Finalment, i seguint a Gneezy et al. (2011), una pregunta que també queda pendent de resposta és: quina situació es podria generar quan els incentius són retirats? Com reaccionen els alumnes tractats en aquest cas?

Referències Bibliogràfiques

ALLAN, B. M. i FRYER, JR, R. G. (2011). “The Power and Pitfalls of Education Incentives”(The Hamilton Project No. 2011-07). Brookings.

ANGRIST, J. i LAVY, V. (2003). “Achievement Award for High School Matriculation: Evidence from Randomized Trials”. BREAD Working Paper 019.

BEHRMAN, J., PARKER, S., TODD, P. i WOLPIN, K. (2015). “Aligning Learning Incentives of Students and Teachers: Results from a Social Experiment in Mexican High Schools”, Journal of Political Economy, 123, 325-364.

BERRY, J. (2015). “Child Control in Education Decisions: An Evaluation of Targeted Incentives to Learn in India”. Journal of Human Resources, 50, 1051-1080.

BETTINGER, E. (2012). “Paying to Learn: The effect of Financial Incentives on Elementary School Test Scores”, The Review of Economics and Statistics, 94, 86-698.

BLIMPO, M. (2014). “Team Incentives for Education in Developing Countries. A Randomized Field Experiment in Benin”, American Economic Journal: Applied Economics, 6, 90-109.

CAVE, G., BOS, H., DOOLITTLE, F. i TOUSSAINT, C. (1993). “JOBSTART: Final report on a program for school dropouts”. New York, NY: MDRC.

CONSTANTINE, J., SEFTOR, N., MARTIN, E., SILVA, T. i MYERS, D. (2006). “A study of the effect of the Talent Search program on secondary and postsecondary outcomes in Florida, Indiana, and Texas: Final report from phase II of the national evaluation”. Report prepared by Mathematica Policy Research for the U.S. Department of Education, Office of Planning, Evaluation, and Policy Development, Policy and Program Studies Service. Washington, DC: U.S. Department of Education.

DIETRICHSON, J., BØG, M., FILGES, T. i KLINT, A-M. (2017). “Academic Interventions for Elementary and Middle School Students With Low Socioeconomic Status: A Systematic Review and Meta-Analysis”. Review of Educational Research, 20, 1-40.

DYNARSKI, M., GLEASON, P., RANGARAJAN, A., i WOOD, R. (1998). “Impacts of dropout prevention programs: Final report. A research report from the School Dropout Demonstration Assistance Program evaluation”. Princeton, NJ: Mathematica Policy Research, Inc. (New Jersey study).

DYNARSKI, M. i WOOD, R. (1997). “Helping high-risk youth: Results from the Alternative Schools Demonstration Program”. Princeton, NJ: Mathematica Policy Research.

FILMER, D. i SCHADY, N. (2008). “Getting Girls into School: Evidence from a Scholarship Program in Cambodia”, Economic Development and Cultural Change, 56, 581-617.

FRYER, R. (2011). “Financial Incentives and Student Achievement: Evidence from Randomized Trials”, The Quarterly Journal of Economics, 126, 1755-1798.

FRYER, R. (2012). “Aligning Student, Parent, and Teacher Incentives: Evidence from Houston Publics Schools”. NBER Working Paper 17752.

GALIANI, S. i McEWAN, P. (2013). “The Heterogeneus Impact of Conditional Cash Transfers”, Journal of Public Economics,103, 85–96.

GENERALITAT DE CATALUNYA (2016). “Manual d’avaluació de projectes i programes educatius”. Consell Superior d’Avaluació del Sistema Educatiu, Departament d’Ensenyament. Col·lecció Documents, número 35.

GERTLER, P., MARTINEZ, S., PREMAND, P., RAWLINGS, L. i VERMEERSCH, C. (2016). “Impact Evaluation in Practice”, Second Edition. Washington, DC: Inter-American Development Bank i World Bank.

GNEEZY, U., MEIER, S. i REY-BIEL, P. (2011). “When and Why Incentives (Don´t) Work to Modify Behavior”. Journal of Economic Perspectives, 25, 191-210.

HAN, L., ZHANG, L., SCOTT, R. I LI, T. (2010). “Cash Incentives, Peer Tutoring, and Parental Involvement: A Study of Three Educational Inputs in a Randomized Field Experiment in China”. Mimeo.

LEVITT, S., LIST, J., NECKERMANN, S. i SADOFF, S. (2016). “The Behavioralist Goes to School: Leveraging Behavioral Economics to Improve Educational Performance”, American Economic Journal: Economic Policy, 8, 183-219.

LOCHMAN, J. E., BOXMEYER, C., POWELL, N., QU, L., WELLS, K. i WINDLE, M. (2009). “Dissemination of the Coping Power program: Importance of intensity of counselor training”. Journal of Consulting and Clinical Psychology, 77 (3), 397–409.

LOCHMAN, J. E., BOXMEYER, C., POWELL, N., ROTH, D. L. i WINDLE, M. (2006). Masked intervention effects: Analytic methods for addressing low dosage of intervention. New Directions for Evaluation, 110, 19–32.

LOCHMAN, J. E. i WELLS, K. C. (2004). “The Coping Power program for preadolescent aggressive boys and their parents: Outcome effects at the 1-year follow-up”. Journal of Consulting and Clinical Psychology, 72 (4), 571–578.

LOI, M. i RODRIGUES, M. (2012). “A note on the impact evaluation of públic policies: the counterfactual analysis”. JRC Scientific and Policy Reports. Luxembourg: European Commission.

LONG, D., GUERON, J., WOOD, R., FISHER, R. i FELLERATH, V. (1996). “LEAP: Three- Year Impacts of Ohio’s Welfare Initiative to Improve School Attendance among Teenage Parents”. New York: Manpower Demostration Research Corporation.

MALUCCIO, J., MURPHY, A. i REGALIA, F. (2010). “Does Supply Matter? Initial Supply Conditions and the Effectiveness of Conditional Cash Transfers for Grade Progression in Nicaragua”, Journal of Development Effectiveness, 2, 87-116.

MARTÍNEZ-CELORRIO, X. (2015). “Les beques a examen. Repensar el sistema d’ajudes a l’estudi”. Col·lecció Informes breus, 61. Fundació Bofill.

MEDIAVILLA, M. (2013). “Heterogeneidad en el impacto de la política de becas en la escolaridad secundaria postobligatoria en España: un análisis por subgrupos poblacionales”. Estudios de Economía, 40 (1), 97-120.

MEDIAVILLA, M. (2017). “Són les beques i ajuts a l’estudi efectives de cara a la continuïtat i millora dels resultats educatius a primària i secundària? Què funciona en educació?, 6. Fundació Jaume Bofill-IVALUA.

PEDRAJA, F., SANTÍN, D. I SIMANCAS, R. (2016). “Programa Extremeño 18-25: Mil euros por la obtención de la ESO”. Comunicación presentada a les XXV Jornadas de la Asociación de Economía de la Educación, Badajoz.

PINNELL, G. S., DEFORD, D. E. I LYONS, C. A. (1988). “Reading Recovery: Early intervention for at-risk first graders”, Educational Research Service Monograph. Arlington, VA: Educational Research Service.

PINNELL, G. S., LYONS, C. A., DEFORD, D. E., BRYK, A. S. I SELTZER, M. (1994). “Comparing instructional models for the literacy education of high-risk first graders”. Reading Research Quarterly, 29 (1), 8–39.

QUINT, J., BOS, H. i POLIT, D. (1997). “New Chance: Final report on a comprehensive program for young mothers in poverty and their children”. New York, NY: MDRC.

SCHIRM, A., STUART, E. i MCKIE, A. (2006). “The Quantum Opportunity Program demonstration: Final impacts”. Washington, DC: Mathematica Policy Research, Inc.

SCHOCHET, P., BURGHARDT, J. i GLAZERMAN, S. (2001). “National Job Corps Study: The impacts of Job Corps on participants’ employment and related outcomes”. Princeton, NJ: Mathematica Policy Research, Inc.

SCHWARTZ, R. (2005). “Literacy learning of at-risk first-grade students in the Reading Recovery early intervention”. Journal of Educational Psychology, 97 (2), 257–267.

SINCLAIR, M., CHRISTENSON, S., EVELO, D. i HURLEY, C. (1998). Dropout prevention for youth with disabilities: Efficacy of a sustained school engagement procedure. Exceptional Children, 65 (1), 7-21.

SNIPES, J., HOLTON, G., DOOLITE, F. i SZTEJNBERG, L. (2006). “Striving for student success: The effect of Project GRAD on high school student outcomes in three urban school districts”. New York, NY: MDRC.

SPARROW, R. (2007). “Protecting Education for the Poor in Times of Crisis: An Evaluation of a Scholarship Programme in Indonesia”. Oxford Bulletin of Economics and Statistics, 69.

VALLVÉ, C. (2016). “AlterBeques. Recull de l’exploració dels models existents de beques i ajudes a l’estudi”. Document de Treball. Fundació Jaume Bofill.

WALKER, H., KAVANAGH, K., STILLER, B., GOLLY, A., SEVERSON, H. i FEIL, E. (1998). “First Step to Success. An early intervention approach for preventing school antisocial behavior”. Journal of Emotional and Behavioral Disorders, 6 (2), 66–80.

WALKER, H., SEELEY, J., SMALL, J., SEVERSON, H., GRAHAM, B., FEIL, E. i FORNESS, S. (2009). “A randomized controlled trial of the First Step to Success early intervention: Demonstration of program efficacy outcomes in a diverse, urban school district”. Journal of Emotional and Behavioral Disorders, 17 (4), 197–212.