Reportaje del Chronicle of Higher Education sobre disonancias entre la autoevaluación de los estudiantes y medidas del progreso en sus capacidades de reflexión crítica, conciencia de si mismo y juicio moral.
Study Finds a Big Gap Between College Seniors’ Real and Perceived Learning
By Peter Schmidt, The Chronicle of Higher Education, April 11, 2011
New Orleans
College seniors’ judgment of their own intellectual progress over four years appears to have little grounding in their actual progress as measured by long-term assessments, according to study results presented here Monday at the annual conference of the American Educational Research Association.
A paper on the findings of the study, which examined students’ gains over four years in terms of critical and analytical thinking, moral reasoning, appreciation of diversity, and self-understanding, found “generally small or virtually nonexistent” correlations between the progress students reported making and their progress as measured by various assessments.
Moreover, the study found, many of the factors predicting students’ progress on longitudinal assessments had little bearing on their likelihood of self-reporting gains at the end of four years.
For example, students’ high-school grade-point averages were fairly reliable predictors of how much progress they would make on longitudinal assessments of their ability to think critically and analytically, but appeared to have little bearing on the likelihood that students would self-report progress in that area.
Nicholas A. Bowman, a postdoctoral research associate at the Center for Social Concerns at the University of Notre Dame, conducted his analysis based on data on 2,200 college seniors at 17 colleges and universities gathered as part of the Wabash National Study of Liberal Arts Education. He presented his findings in the paper “The Validity of College Seniors’ Self-Reported Gains as a Proxy for Longitudinal Growth.”
The paper notes that it is common for colleges to rely on surveys that ask students to judge their own progress. The use of such instruments is not surprising, the paper says, because, compared with objective measures of learning and development, surveys in which students rate their own gains “are inexpensive, are simple to administer, can assess a broad array of outcomes, and provide results in a short period of time.”
Mr. Bowman’s findings, however, “suggest that self-reported gains should not be used” as a proxy for actual, long-term growth among college seniors, his paper says. The paper warns that colleges that use self-reported gains as a substitute for real gains as measured on longitudinal assessments may err in two important respects:
First, they might not adequately promote college experiences that bolster students’ growth but do not appear to leave them more likely to report making gains.
For example, active and collaborative learning is associated with increased understanding of oneself as measured by longitudinal assessments, but it does not appear to have any bearing on the likelihood of students self-reporting gains in self-understanding.
“Second, and perhaps more insidiously,” the paper warns, “institutions may take actions to encourage or discourage experiences on the basis of false positives.” For example, colleges might discourage students from having jobs where they work for pay based on its being negatively associated with their self-reported gains in analytical and critical thinking, even though longitudinal assessments have found no negative relationship between the development of such skills and working for pay, and students could be hurt by the loss of income from employment.
A Place for Self-Reporting and Testing
Mr. Bowman was able to conduct his analysis as a result of the Wabash Study’s attention to both students’ self-reported and measured progress. As part of a survey administered at the end of their senior year, students were asked to rate on a scale their progress in four areas: “thinking critically and analytically,” “developing a personal code of values and ethics,” “understanding people of other racial and ethnic backgrounds,” and “understanding yourself.”
Throughout the period covered by the Wabash study, students were administered four widely used assessments, each of them touching on one of the four areas in which they were asked as seniors to rate themselves: the Collegiate Assessment of Academic Proficiency, which has a section that gauges critical and analytical thinking; the Defining Issues Test 2, which seeks to measure students’ moral reasoning; the Miville-Guzman Universality-Diversity scale, which seeks to measure how much students recognize commonalities among diverse groups of people; and the Socially Responsible Leadership Scale, which asks participants several questions examining how well they know themselves.
Mr. Bowman’s analysis found no statistically significant correlation between students’ overall assessments of their own progress and their progress as measured on the more objective of the longitudinal assessments administered to them, the CAAP assessment of their critical and analytical thinking and the DIT2 assessment of their moral reasoning.
Although he found some connections between students’ gains on the other two assessments and the progress they self-reported, the correlations were small, his paper says.
The study is not the first by Mr. Bowman to identify a gap between students’ real and perceived learning based on data from the Wabash National Study, which tracked students who entered college as freshmen in the fall of 2006.
In a study presented in 2008, he examined what students who are part of the Wabash study reported learning after one year of college and found that their self-reported progress did not correspond with their progress as charted by either objective or, strikingly, subjective measures.
Not only did their scores on tests not support their claims of how much they had learned, but their subjective self-assessments had also not changed enough from one year to the next to back their claims of how far they had come over that period. Students might report having made progress in areas such as self-awareness, for example, when how they rated their own self-awareness had changed little from one year to the next.
According to the paper presented Monday, it is important for researchers to study seniors, and the validity of their self-reported gains, given how much policy is informed by assessments of students’ learning during the entire undergraduate process.
The paper acknowledges that colleges cannot ignore students’ perceived learning, because their perceptions of how much they are learning, as divorced from reality as they might be, can have real implications for the success of both the student and the college.
“If students feel that they are not learning anything useful and not growing as an individual, they may be more likely to drop out, and they are more likely to tell their friends and family not to attend that school,” the paper says.

Estudio revela una gran brecha entre personas mayores Colegio real y percibida de aprendizaje
Por Peter Schmidt
Nueva Orleans
juicio de las personas mayores College de su progreso intelectual propia de más de cuatro años parece haber poca tierra en su avance real, según las evaluaciones a largo plazo, de acuerdo con los resultados del estudio presentado el lunes en la conferencia anual de la American Educational Research Association.
Un documento sobre las conclusiones del estudio, que examinó las ganancias de los estudiantes de más de cuatro años en términos de pensamiento crítico y analítico, razonamiento moral, la apreciación de la diversidad, y auto-entendimiento, que se encuentra “en general, pequeñas o inexistentes prácticamente” correlaciones entre el progreso de los estudiantes informó de decisiones y su progreso según las evaluaciones diferentes.
Por otra parte, según el estudio, muchos de los factores predictivos de progreso de los estudiantes en las evaluaciones longitudinales tenía poco que ver con la probabilidad de que las ganancias de auto-presentación de informes al final de cuatro años.
Por ejemplo, los estudiantes de secundaria un promedio de calificaciones-fueron predictores bastante fiable de la cantidad de progreso que haría en la evaluación longitudinal de su capacidad de pensar crítica y analíticamente, pero parecía tener poco que ver con la probabilidad de que los estudiantes se auto-informe avances en ese ámbito.
Nicholas R. Bowman, un investigador asociado postdoctoral en el Centro de Asuntos Sociales de la Universidad de Notre Dame, llevó a cabo su análisis basado en datos sobre 2.200 personas mayores universidad a los 17 colegios y universidades se reunieron en el marco del Estudio de Wabash Nacional de Artes Liberales de la Educación. Él presentó sus conclusiones en el documento “La validez de ganancias mayores College sobre la auto-como un proxy para el crecimiento longitudinal.”
El documento señala que es común que las universidades se basan en encuestas que preguntan a los estudiantes a juzgar su propio progreso. El uso de estos instrumentos no es de extrañar, dice el documento, porque, en comparación con las medidas objetivas de aprendizaje y desarrollo, las encuestas en las que los estudiantes tasa de sus propias ganancias “son de bajo costo, son fáciles de administrar, se puede evaluar una amplia gama de resultados, y proporcionar resultados en un corto período de tiempo. ”
conclusiones del Sr. Bowman, sin embargo, “sugieren que los beneficios de auto-reporte no debe ser utilizado” como un proxy para el crecimiento real a largo plazo entre las personas mayores de la universidad, su papel, dice. El documento advierte que los colegios que utilizan las ganancias de auto-reportado como un sustituto de las ganancias reales medidos en la evaluación longitudinal puede errar en dos aspectos importantes:
En primer lugar, no puede promover la adecuada experiencias universitarias que impulsar el crecimiento de los estudiantes, pero no parece que los deje más propensos a obtener ganancias.
Por ejemplo, el aprendizaje activo y colaborativo se asocia con una mayor comprensión de uno mismo, según las evaluaciones longitudinales, pero no parece tener ninguna incidencia en la probabilidad de que los estudiantes ganancias propio reporte de la autocomprensión.
“En segundo lugar, y quizás más insidiosa”, advierte el documento, “las instituciones pueden adoptar medidas para alentar o desalentar experiencias sobre la base de falsos positivos.” Por ejemplo, las universidades podrían disuadir a los estudiantes de tener trabajos en los que trabajan por una remuneración sobre la base de su ser asociado negativamente con sus ganancias de auto-reporte en el pensamiento analítico y crítico, a pesar de que las evaluaciones longitudinales no han encontrado una relación negativa entre el desarrollo de tales habilidades y el trabajo para pagar, y los estudiantes podrían ser perjudicados por la pérdida de ingresos procedentes del empleo.
Un lugar para la libre presentación de informes y pruebas
El Sr. Bowman fue capaz de llevar a cabo su análisis, como resultado de la atención del estudio Wabash para el progreso tanto de los estudiantes auto-reportados y medidos. Como parte de una encuesta administrada al final de su último año, los estudiantes se les pidió que calificaran en una escala de su progreso en cuatro áreas: “El pensamiento crítico y analítico”, “el desarrollo de un código personal de valores y la ética”, “comprender a la gente de otros grupos raciales y étnicos “, y” la comprensión a ti mismo. ”
A lo largo del período cubierto por el estudio de Wabash, los estudiantes se les administraron cuatro evaluaciones ampliamente utilizado, cada uno de ellos tocando en una de las cuatro áreas en las que se les pidió que las personas mayores para votar sí mismos: la Colegiata de Evaluación Académica de competencia, que tiene una sección que medidores de pensamiento crítico y analítico, las cuestiones definitorias de prueba 2, que trata de medir el razonamiento moral de los alumnos, la Miville Guzmán-universalidad-diversidad escala, que busca medir cómo los alumnos reconocen mucho en común entre los diversos grupos de personas, y el Liderazgo Socialmente Responsable escala, que pide a los participantes varias preguntas examinar qué tan bien se conocen.
el análisis del Sr. Bowman encontró ninguna correlación estadísticamente significativa entre las evaluaciones de los estudiantes en general de su propio progreso y su desarrollo, medida en el objetivo más de las evaluaciones longitudinales les administró, la evaluación de la CAAP de su pensamiento crítico y analítico y la evaluación de sus DIT2 razonamiento moral.
A pesar de que se encuentran algunas conexiones entre las ganancias de los estudiantes en las otras dos evaluaciones y el progreso que auto-reporte, las correlaciones eran pequeños, su papel, dice.
El estudio no es el primero por el Sr. Bowman para identificar una brecha entre los estudiantes “real y percibida de aprendizaje basado en datos del Estudio Nacional de Wabash, que evaluó a los estudiantes que ingresaron a la universidad como estudiantes de primer año en el otoño de 2006.
En un estudio presentado en 2008, examinó lo que los estudiantes que forman parte del estudio Wabash informó de aprendizaje después de un año de la universidad y descubrió que su progreso auto-reporte no se correspondían con su progreso como las cartas, ya sea objetivo o, sorprendentemente, las medidas subjetivas .
No sólo no sus puntuaciones en las pruebas de apoyo de sus alegaciones de lo mucho que había aprendido, pero su auto-evaluación subjetiva, tampoco había cambiado lo suficiente de un año a otro para respaldar sus afirmaciones de lo lejos que había llegado en ese período. Los estudiantes pueden tener informe de los progresos realizados en esferas tales como la auto-conciencia, por ejemplo, cuando la forma en que calificaron su propia conciencia de sí mismo había cambiado muy poco de un año a otro.
Según el documento presentado el lunes, es importante para los investigadores para estudiar la tercera edad, y la validez de sus ganancias de auto-reporte, habida cuenta de cómo la política es mucho más informado por las evaluaciones de aprendizaje de los estudiantes durante el proceso de pregrado entero.
El documento reconoce que los colegios no pueden ignorar el aprendizaje de los estudiantes perciben, debido a que sus percepciones de lo mucho que están aprendiendo, ya divorciada de la realidad, ya que podría ser, puede tener consecuencias reales para el éxito de ambos, el estudiante y la universidad.
“Si los estudiantes sienten que no están aprendiendo algo útil y no crece a medida que un individuo, que pueden ser más propensos a abandonar, y son más propensos a decir a sus amigos y familiares que no asisten a esa escuela”, dice el documento.