Estudio publicado por EPAA (education policy analysis archives) corrige “a la baja” –y d emanera significativa– el positivo efecto escuela inicialmente detectado por LLESE.
ARTICULO:
CERVINI, R.. The “school effect” in some Latin American countries: Reanalyzing SERCE data. education policy analysis archives, North America, 20, dec. 2012. Available at: <http://epaa.asu.edu/ojs/article/view/1086>. Date accessed: 03 Dec. 2012.
Bajar el texto completo (en castellano) aquí 598 KB
Conclusión
El Segundo Estudio Regional Comparativo y Explicativo (SERCE) se propuso conocer el
grado de incidencia que tienen los factores extra-escolares y los escolares sobre el nivel y la
distribución de los aprendizajes en América Latina y el Caribe. Como en todo estudio de este tipo, se
requiere primero, mensurar el efecto de los factores extra-escolares, es decir, determinar la
proporción de la varianza dejada sin explicar por tales factores y, a partir de allí, determinar cuánta
de esa variación es explicada por los factores propiamente escolares. Se desprende, entonces, que la
amplitud del campo posible de acción de las características propias del sistema educativo actual
dependerá de la magnitud del efecto de los factores extra-escolares. Ambos aspectos de la realidad
del sistema educativo latinoamericano están, entonces, estrechamente relacionados entre sí.
El Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE)
estimó que, una vez controlados los factores extra-escolares, 37% y 31% de la varianza total de los
rendimientos en Matemática y en Lectura, respectivamente, se debían al agrupamiento de los
alumnos en las escuelas, es decir, a características propias de las instituciones escolares de los países
intervinientes en el estudio (efecto escolar neto). Estas estimaciones lo llevaron a afirmar que
“prácticamente la mitad de la variabilidad de los puntajes en Matemática que obtienen los
estudiantes de la región se explica por las diferencias de sus establecimientos” y que “los
establecimientos de la región poseen un enorme potencial para mejorar el aprendizaje en esta área”
(Treviño et al., 2010: 36). Si bien el estudio reconoce el importante peso de los factores extraescolares,
no deja de enfatizar que los aprendizajes dependen en buena medida de la escuela y sus
factores.
De acuerdo con sus resultados, el LLECE esbozó recomendaciones para mejorar los
aprendizajes de los estudiantes aunque advirtió que la eficacia de la política educativa depende de
que se la acompañe con “políticas sociales que atenúen el peso que las desigualdades
socioeconómicas ejercen sobre el aprendizaje” (p. 121). Finalmente, con base en los cuestionarios
del docente y del director, identificó y dimensionó diversos factores escolares que tendrían un efecto
propio sobre el aprendizaje de los alumnos aun después de controlar el efecto de los factores extraescolares.
La extensa producción de investigaciones en esta área ha mostrado que algunas decisiones
metodológicas, tales como la forma de construir los indicadores, la técnica y la estrategia de análisis y
la conformación de la base de datos tienen un peso muy importante en los resultados finales al que
todo estudio arriba. En el presente trabajo se han reanalizado los datos del SERCE adoptando
criterios metodológicos diferentes de los del LLECE. Se han utilizado procedimientos distintos para
construir los indicadores del origen social del alumno y de la composición socioeconómica de la
escuela y se han definido modelos multinivel bivariados incluyendo el país como un tercer nivel.
Además, se han aprovechado las informaciones provenientes del cuestionario del alumno cuando el
de familia estaba perdido. Los resultados obtenidos por el LLECE en el análisis de los datos del
SERCE se han contrapuesto con los que surgen al aplicar estos criterios metodológicos diferentes.
Estos cambios arrojaron una imagen muy diferente de la expuesta por el LLECE. Una vez
controlados los factores extra-escolares, las diferencias entre los promedios de rendimiento de las
escuelas en Matemática y Lectura representan 16,0% y 10,6%, respectivamente, es decir, adquieren
una importancia relativa muy inferior a la estimada por el LLECE. Por otro lado, las diferencias
entre los promedios nacionales resultaron altamente significativas: 15,2% en Matemática y 12,8% en
Lectura, lo que no había sido considerado por el LLECE.
reducir aún más a la estimación del efecto escuela. En otro estudio reciente sobre 9 países
latinoamericanos, el efecto escuela neto fue estimado en 10,7% para Matemática y 8,45% para
Lengua, con base en modelos multinivel que incluyeron país y aula como niveles (Murillo, 2007:
Cuadro 3.3). En Argentina (Cervini, 2009), el efecto-escuela neto respecto de los resultados de una
prueba de Matemática de sexto grado de primaria fue estimado en 6,4% a través de un modelo
multinivel con cuatro niveles de agregación (estado, municipio, escuela y aula). En ambos casos, el
efecto aula neto fue superior al residuo del nivel escuela.
Respecto de las nuevas estimaciones resultantes de la aplicación de algunos criterios
metodológicos diferentes de los utilizados por el LLECE, parece oportuno realizar algunas
aclaraciones e inferir ciertas consecuencias relativas al tratamiento de los datos del SERCE:
1. Si se desea obtener una representación ajustada a la realidad de América Latina con la
totalidad de los datos del SERCE, es ineludible modelizar el nivel país. No hacerlo genera un cuadro
distorsionado debido a la sobreestimación del nivel escuela.
2. Los indicadores relativos al origen social del alumno y a la composición socioeconómica
de la escuela utilizados en el presente trabajo han demostrado tener una capacidad predictiva y un
ajuste a los datos muy superior a los construidos por el LLECE, pues su capacidad de reducir la
varianza intra-escuela e inter-escuela es notablemente mayor. Además, la interpretación de su
contenido es más directa y menos incierta y ambigua.
3. El resultado anterior convalida el uso de las informaciones provenientes del cuestionario
del alumno cuando falta el de familia; ello ha permitido incluir a México en el análisis.
4. En el presente trabajo, el efecto escuela neto ha sido estimado con solo dos indicadores de
control (capitales económico y cultural). Otras mediciones disponibles, como trabajo infantil,
asistencia al preescolar y repitencia escolar, también tienen efecto propio y, por tanto, su inclusión
habría provocado, muy probablemente, una disminución adicional del efecto escuela neto. Entonces,
sería incorrecto interpretar el residuo estimado para el nivel escuela como explicable totalmente por
factores propiamente escolares.
5. Como consecuencia de los puntos anteriores, la evaluación del efecto propio de los
factores escolares realizada por el LLECE para el conjunto de los países latinoamericanos
debería ser revista. La mayor bondad de ajuste de los indicadores socioeconómicos podría
incidir en las conclusiones relativas a esos factores. Además, no debería descartarse que algunos
de tales indicadores varíen en el nivel país y por tanto, aporten a la explicación de la varianza en
ese nivel y no en el nivel escuela.
6. Del presente trabajo nada puede inferirse con certeza respecto a cada país en particular.
De todas formas, los hallazgos fuertemente discordantes con los informados por el SERCE hacen
suponer que también allí se encontrarán diferencias importantes. Esta tarea queda pendiente y será
cubierta por un próximo trabajo.
Uno de los hallazgos de mayor implicación política es la acentuación del efecto de los
factores extra-escolares sobre el aprendizaje, lo que torna más preocupante la siguiente conclusión
del LLECE: “después de considerar las disparidades en las condiciones socioculturales de los
estudiantes, las escuelas ven reducida su capacidad de promover los aprendizajes” (Treviño et al.,
2010: 131).
La segunda constatación empírica con fuerte contenido político se ubica en el nivel de las
diferencias entre los promedios nacionales de rendimiento. De los indicadores utilizados para
detectar alguna explicación de esas diferencias, el gasto en educación y el grado de desigualdad en los
ingresos (Gini) resultaron los predictores más poderosos. Es decir, no son las diferencias
económicas estructurales, medidas a través del PBI per capita, las que demuestran esa cualidad.
Políticas gubernamentales tendientes a disminuir los niveles de desigualdad social y a aumentar los
gastos en educación en los países con mayor rezago en sus resultados serían eficaces para disminuir
las diferencias nacionales en los logros de aprendizaje.
Finalmente, es pertinente una aclaración acerca de la interpretación global de los hallazgos.
Ellos se refieren a la realidad del conjunto de los sistemas educativos de los países intervinientes, es
decir, son parámetros que describen cómo funcionan actualmente esos sistemas. Profundas
transformaciones macro-sociales o educativas podrían producir cambios en los parámetros
anteriormente estimados. Por ejemplo, la introducción de cambios en la organización o en la cultura
de la institución escolar, así como en sus prácticas educativas, podrían producir mayor
heterogeneidad en el nivel escuela y aumentar la importancia relativa de la escuela en la explicación
de las diferencias en los aprendizajes. La extensión de prácticas pedagógicas inclusivas y más
adecuadas a las necesidades de los amplios contingentes de alumnos con carencias socioeconómicas
se expresaría en un descenso en la fuerza predictiva de esas carencias y en un aumento de la
importancia relativa de la escuela como factor de distribución de aprendizajes.
El ideal democrático propugna que no debería haber diferencias entre las escuelas respecto al
nivel y a la distribución de los aprendizajes, y si las hubiere, no deberían explicarse por ninguno de
los principios de estratificación social operantes en la sociedad o por diferencias en el acceso a
insumos escolares que condicionan los aprendizajes. Los datos analizados reflejan una realidad
bastante lejana de ese ideal.