Interesante artículo publicado en The Chronicle of Higher Education sobre el valor de las evaluaciones de cursos realizadas por los estudiantes, a partir de los resultados de dos estudios recientemente publicados.
2 Studies Shed New Light on the Meaning of Course Evaluations
By David Glenn, The Chronicle of Higher Education, December 19, 2010
Under the mandate of a recently enacted state law, the Web sites of public colleges and universities in Texas will soon include student-evaluation ratings for each and every undergraduate course. Bored and curious people around the planet—steelworkers in Ukraine, lawyers in Peru, clerical workers in India—will be able, if they’re so inclined, to learn how students feel about Geology 3430 at Texas State University at San Marcos.
But how should the public interpret those ratings? Are student-course evaluations a reasonable gauge of quality? Are they correlated with genuine measures of learning? And what about students who choose not to fill out the forms—does their absence skew the data? Two recent studies shed new light on those old questions.
In one, three economists at the University of California at Riverside looked at a pool of more than 1100 students who took a remedial-mathematics course at a large university in the West (presumably Riverside) between 2007 and 2009. According to a working paper describing the study, the course was taught by 33 different instructors to 97 different sections during that period. The instructors had a good deal of freedom in their teaching and grading practices—but every student in every section had to pass a common high-stakes final exam, which they took after filling out their course evaluations.
That high-stakes end-of-the-semester test allowed the Riverside economists to directly measure student learning. The researchers also had access to the students’ pretest scores from the beginning of the semester, so they were able to track each student’s gains.
Most studies of course evaluations have lacked such clean measures of learning. Grades are an imperfect tool, as students’ course ratings are usually strongly correlated with their grades in the course. Because of that powerful correlation, some studies have suggested that course evaluations fuel a vicious cycle of grade inflation. (Patrick Moore, an associate professor of English at the University of Arkansas at Little Rock, argued in a 2009 essay that higher education has been corrupted by a Law of Reciprocal Grading—”If you give me a high grade, I will give you a high course evaluation.”)
But the remedial-math course analyzed in the Riverside paper largely avoids that syndrome. Whether a student takes the course with a lenient grader or a strict one, the same high-stakes exam awaits at the end of the semester.
What Seems to Matter
The Riverside economists discovered a small but statistically significant positive relationship between students’ course-evaluation ratings and their learning gains from the pretest to the final exam. The effect size was far from earthshaking: a one-standard-deviation increase in student learning was associated with a 0.05-to-0.07 increase in course-evaluation scores, on a five-point scale. But it suggests that student course evaluations might actually sometimes contain meaningful signals about the quality of teaching and learning.
The Riverside economists also broke down the individual components of the course-evaluation form to see which scores were most significantly associated with student learning. The three most-powerful predictors of learning were students’ levels of agreement with these statements: “The instructor was clear and understandable,” “The supplementary materials (e.g., films, slides, videos, guest lectures, Web pages, etc.) were informative,” and “The course over all as a learning experience was excellent.”
The least predictive evaluation questions, by contrast, were “The syllabus clearly explained the structure of the course,” “The exams reflected the material covered during the course,” and “The instructor respected the students.”
Even though the Riverside scholars found a modest positive correlation between course evaluations and learning, their study is unlikely to quiet the concerns of people like Mr. Moore, at Arkansas. The students’ grades were more strongly correlated with their course ratings than their learning was—so if the instructors in the remedial-math course are rewarded or punished for their course-evaluation scores, they may indeed feel pressure to inflate students’ grades in ways that do not reflect learning. A much-discussed study this year, which also benefited from an unusually clean data set, found that student course ratings were negatively correlated with “deep learning”—that is, with their performance in subsequent courses in the same department.
But the Riverside study does offer hope that well-designed evaluation forms might actually capture important information about student learning. (Back in April, The Chronicle looked at several innovative systems that aspire to ask wiser questions than traditional course-evaluation forms do.)
The Riverside working paper is titled “Do Course Evaluations Reflect Student Learning? Evidence from a Pre-Test/Post-Test Setting.” Its authors are Mindy S. Marks, an assistant professor of economics at Riverside; David H. Fairris, a professor of economics and vice provost for undergraduate education there; and Trinidad Beleche, who completed a doctorate in economics at Riverside this year.
Patterns of Nonparticipation
The other recent paper, which was presented last month at the annual meeting of the Association for the Study of Higher Education, examines which students choose not to fill out course evaluations, and why.
Those are longstanding questions in the study of course evaluations. If a significant number of students never fill out the forms (and the nonresponse rate is growing as universities move toward online surveys), does their absence skew the average scores for a given course? Or are the responders and the nonresponders essentially similar groups?
The authors, who are based at North Carolina State University, looked at the experiences of more than 20,000 students at the end of a recent semester “at a four-year research university in the Southeast.”
The overall response rate for student course evaluations was slightly more than 50 percent, and the patterns of nonresponse were not random. The researchers discovered the following:
* Students who earn D’s and F’s in a course are 23 percent less likely than others to fill out the course’s evaluation forms.
* Students’ response rates are six percentage points higher for courses in their majors than for those outside their majors.
* Response rates varied significantly by major. Students in so-called “realistic majors,” which include biology and computer science, were much more likely to fill out evaluation forms than were students in “social majors,” which include communications and psychology.
* Students appeared to exhibit “survey fatigue.” If they received 11 or more online surveys (including course evaluations) from the university in a semester, their response rates tended to decline.
All of those factors, the authors write, mean that it is important to be cautious about interpreting average evaluation scores for a particular course—the kind of scores that will soon be appearing by the thousand on Texas universities’ Web sites.
The paper’s title is “Who Doesn’t Respond and Why? An Analysis of Nonresponse to Online Student Evaluations of Teaching.” The authors are Meredith J.D. Adams, a teaching assistant professor of education at North Carolina State, and Paul D. Umbach, an associate professor of higher education there.

2 estudios arrojan nueva luz sobre el significado de las evaluaciones de cursos
Por Glenn David, The Chronicle of Higher Education, 19 de diciembre 2010
Bajo el mandato de una ley estatal promulgada recientemente, los sitios Web de universidades públicas y universidades en Texas pronto incluirá puntuaciones evaluación de los estudiantes para cada uno y todos los cursos de pregrado. Aburrido y curiosos de todo el planeta-trabajadores del acero en Ucrania, los abogados en el Perú, los trabajadores de oficina en la India-podrán, si está tan inclinado, para aprender cómo los estudiantes se sienten acerca de Geología 3430 en Texas State University en San Marcos.
Pero, ¿cómo debe interpretar el público en esas calificaciones? Son evaluaciones de los cursos el estudiante un indicador razonable de la calidad? Si se correlaciona con medidas reales de aprendizaje? Y ¿qué pasa con los estudiantes que optan por no llenar los formularios, su ausencia no sesgar los datos? Dos estudios recientes arrojan nueva luz sobre las viejas preguntas.
En uno, tres economistas de la Universidad de California en Riverside miró a un grupo de más de 1100 estudiantes que tomaron un curso de nivelación-matemáticas en una universidad grande en el Oeste (presumiblemente Riverside) entre 2007 y 2009. De acuerdo con un documento de trabajo describe el estudio, el curso fue impartido por 33 instructores de diferentes secciones diferentes a 97 durante ese período. Los profesores tenían una gran libertad en su enseñanza y las prácticas de calificación, pero todos los estudiantes en cada sección tenía que pasar un examen final común de alto riesgo, que se llevaron a cabo después de llenar sus evaluaciones de los cursos.
Esa prueba de fin de semestre-de alto riesgo permite a los economistas de Riverside para medir directamente el aprendizaje del estudiante. Los investigadores también tuvieron acceso a los estudiantes pre-test calificaciones desde el inicio del semestre, por lo que fueron capaces de rastrear las ganancias de cada estudiante.
La mayoría de los estudios de evaluaciones de los cursos han carecido de tales medidas de limpieza de aprendizaje. Las calificaciones son un instrumento imperfecto, como las calificaciones de los estudiantes del curso son por lo general una fuerte correlación con sus calificaciones en el curso. Debido a que la correlación de gran alcance, algunos estudios han sugerido que las evaluaciones del curso de combustible un círculo vicioso de inflación de calificaciones. (Patrick Moore, profesor asociado de Inglés en la Universidad de Arkansas en Little Rock, sostuvo en un ensayo de 2009 que la educación superior ha sido corrompida por una Ley de Clasificación recíproco: “Si usted me da un alto grado, que le dará una evaluación del curso alto. “)
Pero el curso de nivelación de matemáticas analizados en el documento de Riverside evita en gran medida que el síndrome. Si un estudiante toma el curso con un grado leve o un ser estricto, el mismo examen de alto riesgo espera al final del semestre.
Lo que parece importar
Los economistas Riverside descubrió una relación positiva pequeña pero estadísticamente significativa entre las calificaciones de los estudiantes de evaluación del curso y sus avances en el aprendizaje de la prueba previa al examen final. El tamaño del efecto estaba lejos de ser estremecedora: un aumento de una desviación estándar en el aprendizaje del estudiante se asoció con un aumento de 0,05 a 0,07 en las puntuaciones de evaluación del curso, en una escala de cinco puntos. Pero sugiere que las evaluaciones de los estudiantes del curso tal realidad a veces contienen señales significativas sobre la calidad de la enseñanza y el aprendizaje.
Los economistas de Riverside también rompió los componentes individuales de la forma de curso-evaluación para ver qué resultados fueron más significativamente asociados con el aprendizaje del estudiante. Los tres predictores más potentes de aprendizaje fueron los niveles de los estudiantes de acuerdo con estas declaraciones: “El instructor fue clara y comprensible”, “Los materiales complementarios (por ejemplo, películas, diapositivas, videos, profesores invitados, páginas web, etc) se informativos, “y” El curso total, con una experiencia de aprendizaje fue excelente. ”
Los menos preguntas predictivo de evaluación, por el contrario, eran “El programa explica claramente la estructura del curso”, “Los exámenes reflejan el material cubierto durante el curso,” y “El profesor respetado los estudiantes.”
A pesar de que los estudiosos de Riverside que se encuentran una modesta correlación positiva entre evaluaciones de los cursos y el aprendizaje, su estudio es poco probable que calma las preocupaciones de las personas como el Sr. Moore, en Arkansas. Los estudiantes fueron los grados más fuertemente correlacionados con valoraciones de su curso de su aprendizaje fue-por lo que si los instructores en el curso de nivelación de matemáticas son premiados o castigados por sus puntajes de evaluación del curso, que de hecho puede sentir presión para inflar los estudiantes en los grados medios que no reflejan el aprendizaje. Un estudio muy discutido este año, que también se benefició de un conjunto de datos inusualmente limpia, encontró que las calificaciones de los estudiantes por supuesto se correlacionaron negativamente con el “aprendizaje profundo”, es decir, con su desempeño en los cursos posteriores en el mismo departamento.
Pero el estudio de Riverside ofrece la esperanza de que bien diseñado formularios de evaluación en realidad podría capturar la información importante sobre el aprendizaje del estudiante. (En abril, La Crónica miró a varios sistemas innovadores que aspiran a hacer preguntas más sabio que las formas tradicionales de evaluación del curso-do.)
El documento de Riverside trabajo se titula “No Curso evaluaciones reflejan aprendizaje de los estudiantes? Evidencia de un pre / Marco”. Sus autores son Mindy S. Marks, profesor asistente de economía en Riverside, David H. Fairris, un profesor de economía y vicerrectora de la educación universitaria no, y Beleche Trinidad, quien completó un doctorado en economía en la orilla de este año.
Los patrones de falta de participación
El otro trabajo reciente, que fue presentado el mes pasado en la reunión anual de la Asociación para el Estudio de la Educación Superior, que examina los estudiantes optan por no completar evaluaciones de los cursos, y por qué.
Esas son cuestiones de larga data en el estudio de las evaluaciones de los cursos. Si un número significativo de estudiantes no llenar los formularios (y la tasa de no respuesta crece a medida que se mueven las universidades hacia las encuestas en línea), es su ausencia sesgar los resultados promedio de un determinado curso? ¿O los respondedores y los no respondedores grupos esencialmente similar?
Los autores, que se basan en la North Carolina State University, analizó las experiencias de más de 20.000 estudiantes al final de un semestre de los últimos “en una universidad de investigación de cuatro años en el sureste.”
La tasa total de respuesta de evaluaciones de los cursos los estudiantes fue un poco más del 50 por ciento, y los patrones de falta de respuesta no eran al azar. Los investigadores descubrieron lo siguiente:
* Los estudiantes que ganan D’s y de F en un curso de 23 por ciento menos propensos que otros a llenar los formularios de evaluación del curso.
* Los estudiantes tasas de respuesta de seis puntos porcentuales más alta para los cursos en sus especialidades que para los que están fuera de sus mayores.
* Las tasas de respuesta varió significativamente mayor. Los estudiantes en los llamados “grandes realistas”, que incluyen la biología y la informática, eran mucho más propensos a completar los formularios de evaluación que eran estudiantes en “grandes social”, que incluyen las comunicaciones y la psicología.
* Los estudiantes parecían exposición “fatiga de la encuesta.” Si recibió 11 o más exámenes en línea (incluyendo evaluaciones de los cursos) de la universidad en un semestre, sus tasas de respuesta tiende a disminuir.
Todos esos factores, escriben los autores, significa que es importante tener cuidado con la interpretación de las puntuaciones medias de evaluación para un curso en particular, el tipo de resultados que pronto irán apareciendo por miles en los sitios de las universidades de Texas Web.
El título del documento es “que no responde y por qué? Un análisis de la falta de respuesta en línea a evaluaciones de los estudiantes de la enseñanza.” Los autores son Meredith JD Adams, profesor asistente de enseñanza de la educación en el Estado de Carolina del Norte, y Paul D. Umbach, profesor asociado de la educación superior allí.