Interesante discusión sobre el concepto de “rendición de cuentas” y su aplicación a la medición de la productividad de los académicos. ¿Se está llegando demasidao lejos? Al final de la versión original en inglés de este artículo, ver traducción al castellano proporcionada automáticamente por Google.
Wrong Kind of Accountability?
Inside Higher Ed, May 10, 2011
Faculty and administrators at public universities in Texas said Monday they don’t want to shrink from efforts to make public higher education more accountable — they just don’t want to do it this way.
In this case, “this way” refers to efforts by the University of Texas System Board of Regents to measure the productivity of faculty members in strictly numerical terms. The efforts are reflected in 821 pages of raw data that have been collected by the UT system (which can be downloaded here). The data have not been vetted. Each page contains the disclaimer that the information is “incomplete and has not yet been fully verified or cross referenced [and] [i]n its present raw form … cannot yield accurate analysis, interpretations or conclusions.” Originally planned for release after more thorough review later this year, the data reached the public last week through open records requests filed by several Texas newspapers. The information lists the salary, teaching load and number of students of each faculty member, as well as his or her external research funding.
Resistance to the effort has already led to the ouster last month of Rick O’Donnell, an adviser to the regents who was seen as promoting the ideas of Governor Rick Perry, a Republican. O’Donnell, who worked at the Texas Public Policy Foundation (which has been something of the nerve center of Perry’s higher education reform agenda), has blamed senior officials in the University of Texas System and at the university’s flagship campus in Austin for resisting efforts to compile data on whether faculty teach enough.
But on Monday, the resistance to the productivity measures took a more public turn. In a speech, William Powers Jr., the president of UT-Austin, critiqued some of the assumptions underlying the analysis — though he never cited it or the regents directly. And, strikingly, he based his critique on the grounds that the analysis failed to adequately capture the output, productivity and relevance of research (typically, teaching is the aspect of a professor’s job that is thought to be the more difficult to accurately measure).
In addition to citing the contributions of two professors (one in the humanities and the other in physics), Powers described the experience of a student at the university: a senior in chemical engineering named Katie Maass. As an assistant at a campus laboratory, Maass worked on nanoparticles that can release medicine in the small intestine instead of the stomach, Powers said, which helped her land a five-year, $250,000 research grant as she plans to enter the doctoral program at the Massachusetts Institute of Technology.
“The kind of research experience that Katie received as an undergraduate at UT is not factored into the metrics some would use to evaluate Tier 1 research universities,” Powers said. “The kind of faculty mentoring and interaction that Katie received cannot be captured in a faculty profit-and-loss statement.”
The reference to a “profit-and-loss statement” was interpreted by some as a swipe at a previously released version of the data regarding faculty at Texas A&M University, which depicted individual faculty members as being in the red (costing more than they produce) or the black (generating revenue). That version has since been replaced, and the faculty productivity effort at UT should not be characterized in terms of profit and loss, said Anthony P. de Bruyn, a spokesman for the UT system.
In addition, said de Bruyn, the goal of gathering the data was not to assess individual faculty members, but to review university departments at each institution. When asked why, then, the information listed each faculty member by name and didn’t include tallies of these measurements by department, de Bruyn said that the institutional research divisions for each university had supplied the data that way.
Powers’s comments Monday were his first since last week’s release of the faculty productivity data at UT, and professors at Austin hailed their president’s words. Dean Neikirk, Cullen Trust for Higher Education Endowed Professor in the Department of Electrical and Computer Engineering (and president of UT-Austin’s Faculty Council), said Powers had expressed the difficulty of adequately measuring the impact that research — and individual professors — can have on the wider institution.
“It’s an ecosystem, and trying to reduce the contribution of a single individual to a set of simple numbers is never going to be easy,” Neikirk told Inside Higher Ed. “A lot of that is not reducible to a simple number the way an engineer will reduce things.”
On Monday, the Faculty Council at UT-Austin agreed. It unanimously passed a vote of confidence in Powers and his administration. Saying that the university’s mission, core purpose and core values are in jeopardy, the approximately 40 members of the faculty at the council’s meeting added that they believe Powers and his team “have tirelessly and effectively advocated for the university while valuing academic research and excellent teaching and adhering to the highest standards of professionalism and ethical conduct.”
The Texas Public Policy Foundation — a think tank whose trustee, Brenda Pejovich, is also a regent and the chair of the UT board’s task force on faculty productivity — added that it, too, was pleased with one aspect of the president’s comments: his acknowledgment of the need for reform in an environment in which universities must do more with less. (Powers said that — as state support for UT-Austin has dropped from 52 percent of the university’s budget in 1981 to a projected 13 percent, according to a version of the 2012 budget proposed by the House — the university will need to change how it does business and to chart a new, more sustainable path. “We can’t just long for the old days,” he said. “We need to be on the leading edge of change.”)
David Guenthner, senior communications director for the foundation, said the group’s interest in higher education is based in a belief that student learning and teaching have been neglected in recent years. “There needs to be an evaluation of where resources are going between research and education so we can set a proper balance,” he said.
He also acknowledged that the information compiled by the regents was incomplete in its current form (some faculty members with whom Inside Higher Ed spoke said that their salaries were listed in the raw data at levels that were higher than they actually were, or that the document underrepresented the quantity of their research). And Guenthner predicted that there would be “significant categories of research where we agree with universities that it’s worth the time and expense and the staff, and the release time from the classroom.”
But he added, “There will also be, I presume, a category of research where, not just us, but members of the public at large will look at it and say, ‘Is it really worth us giving release time from the classroom for a professor to put out that particular article? Instead, would it be a better use of time to have that teacher or professor in a classroom providing their knowledge to students?’ ”
In theory, such goals are fine, said Peter Hugill, professor of geography at Texas A&M, and president of the state conference of the American Association of University Professors. “Although I really am in favor of accountability, I just think we have to be cautious of overly simplistic measures,” he said. “Numbers are helpful, but they’re not by any means the sole arbiter of performance.” Hugill said department chairs typically evaluate the research of their own faculty members by using more nuanced methods: they don’t simply count the dollar amount of grants, but also consider the source; they don’t just tally the number of journal articles, but they also evaluate the impact of the scholarship and where it was published.
The numbers gathered by the regents are also already available, said Murray Leaf, speaker of the Academic Senate, and professor of anthropology and political economy at UT-Dallas. The problem, he said, is the way information is organized and assembled. “What this does is provide information that’s not normally juxtaposed,” Leaf said in an interview. Leaf, who said that the salary listed for him was overstated by 50 percent, described as “intrusive” the effort to use a snapshot from one point in time to paint a larger picture of productivity — because it will fail reflect the ebbs and flows of academic life. “It’s intended, I think, to be intimidating in that regents can arrange the information this way and propose to evaluate on this basis,” he said. “That attitude on the part of the regents is worrisome.”
Some also have been critical of the larger assumption that is embedded in the task force’s work — a hard distinction between teaching and research. Terri E. Givens, associate professor of government at UT-Austin (and author of the Running ‘Round the Ivory Tower blog for Inside Higher Ed), said that the data failed to reflect seven research trips she recently took — and that it was impossible to distinguish her research (with three undergraduate and four graduate students) from her instructional and service duties. “I spend half of my week doing writing and research,” she said, “It’s directly related to teaching.”
The Association of American Universities also weighed in, though privately. In a letter to the chancellor of the Texas A&M system, Robert M. Berdahl, AAU’s president, observed that “the key to the success of the American research university is the close alliance between research and teaching, especially the teaching of graduate students.”
Berdahl criticized related proposals that were advanced by the Texas Public Policy Foundation for further severing the connection between research and education. “Separating research from teaching and oversimplifying the evaluation of faculty does violence to the values that have produced the American universities that are envied and emulated across the globe,” he wrote.
But such a critique assumes the melding of research and teaching is the natural state of things when it really shouldn’t be, said Charles Miller, a former UT regent chairman who said the task force’s efforts to look at productivity (as well as another panel’s work on blended learning) were to be commended. Community colleges and non-flagships, as well as private liberal arts institutions, do very little research, said Miller.
“The real issues at ‘research universities’ revolve around about how teaching is undervalued relative to research or, most important, how effective the use of resources are in research — or in teaching,” Miller wrote in an e-mail to Inside Higher Ed. Miller used UT-Austin as an example, criticizing its graduation rates of approximately 50 percent (four years) and 80 percent (six years) among those who were top students in high school and hail from families with average incomes far above the median in Texas. “[This is] strong evidence of a place where teaching and learning is not conducted productively,” he said. “These graduation rates for a top ‘research university’ should be considered totally unacceptable by the UT System Board of Regents.”
And they are, at least by Powers. In his comments, he ascribed problems in the graduation rate to several factors, including poor choices, sometimes by students, but also on the part of the university. These poor decisions come, he said, “in choosing a major, in course selection, in matching their talents to their degree plan, or in our own failure to provide enough available course sequences.”

Tipo incorrecto de rendición de cuentas?
10 de mayo 2011
Profesores y administradores en las universidades públicas de Texas dijeron el lunes que no desea reducir los esfuerzos para hacer de la educación superior pública más responsable – simplemente no quieres hacerlo de esta manera.
En este caso, “esta manera” se refiere a los esfuerzos del Consejo de la Universidad de Texas Sistema de Regentes para medir la productividad de los miembros de la facultad en términos estrictamente numéricos. Los esfuerzos se reflejan en 821 páginas de datos en bruto que han sido recogidos por el sistema de UT (que se puede descargar aquí). Los datos no han sido controlados. Cada página contiene la advertencia de que la información es “incompleta y aún no ha sido totalmente verificados o referencias cruzadas [y] [e] n su forma cruda presente … no puede dar un análisis preciso, interpretaciones o conclusiones. “Originalmente planeado para su liberación después de una revisión más a fondo a finales de este año, los datos llegaron al público la semana pasada a través de las solicitudes de transparencia presentada por varios periódicos de Texas. La información que se enumeran los salarios, carga lectiva y el número de estudiantes de cada miembro de la facultad, así como su financiación de la investigación externa.
La resistencia al esfuerzo ya ha dado lugar a la expulsión el pasado mes de Rick O’Donnell, asesor de los regentes que fue visto como la promoción de las ideas del gobernador Rick Perry, un republicano. O’Donnell, que trabajaba en la Texas Public Policy Foundation (que ha sido algo así como el centro neurálgico de mayor Perry agenda de reforma de la educación), ha acusado a funcionarios de alto nivel en la Universidad de Texas y en el campus del buque insignia de la universidad en Austin para resistir los esfuerzos para compilar datos sobre si la facultad enseñan lo suficiente.
Pero el lunes, la resistencia a las medidas de productividad dio un giro más público. En un discurso, William Powers Jr., el presidente de UT-Austin, criticó algunas de las hipótesis que sustentan el análisis – aunque nunca citó ni regentes de la telefónica. Y, sorprendentemente, que basa su crítica en la base de que el análisis no reflejar adecuadamente la producción, la productividad y la pertinencia de la investigación (por lo general, la enseñanza es el aspecto del trabajo de un profesor que se cree que es el más difícil de medir con precisión).
Además de citar las aportaciones de dos profesores (uno en las humanidades y el otro en la física), Powers se describe la experiencia de un estudiante en la universidad: el último año de ingeniería química llamada Katie Maass. Como asistente en un laboratorio del campus, Maass trabajó en nanopartículas que pueden liberar la medicina en el intestino delgado en lugar del estómago, dijo Powers, que ayudó a su tierra un niño de cinco años, subvención de $ 250,000 de investigación, que planea entrar en el programa de doctorado en la Massachusetts Institute of Technology.
“El tipo de experiencia de investigación que Katie recibió como estudiante de UT no se cuenta en la métrica algunos se utilizan para evaluar el nivel 1 universidades de investigación”, dijo Powers. “El tipo de tutoría docente y la interacción que Katie recibido no puede ser capturado en un comunicado la facultad de ganancias y pérdidas.”
La referencia a un “estado de ganancias y pérdidas” fue interpretado por algunos como un golpe a una versión previamente publicada de los datos relativos a la facultad de Texas A & M University, que representa los miembros individuales de la facultad como en el rojo (que cuestan más de lo que producen ) o el negro (generación de ingresos). Esa versión ha sido sustituida, y el esfuerzo de productividad facultad de UT no debe ser caracterizada en términos de pérdidas y ganancias, dijo Anthony P. de Bruyn, portavoz para el sistema de UT.
Además, dijo De Bruyn, el objetivo de recopilar los datos no fue para evaluar los miembros individuales de la facultad, sino también reflexionar sobre los departamentos universitarios de cada institución. Cuando se le preguntó por qué, entonces, la información que aparece cada miembro de la facultad por su nombre y no incluyen recuentos de estas medidas por departamento, de Bruyn, dijo que las divisiones de investigación institucional de cada universidad había suministrado los datos de esa manera.
Potencias comentarios el lunes fueron su primera desde el lanzamiento de la semana pasada de los datos de la facultad de la productividad en la UT, y los profesores en Austin elogió las palabras de su presidente. Dean Neikirk, Cullen Fiduciario para la Educación Superior Dotado profesor en el Departamento de Ingeniería Eléctrica e Informática (y presidente de la Facultad de UT-Austin Consejo), dijo Powers había expresado la dificultad de medir adecuadamente el impacto que la investigación – profesores e individual – puede tienen en la institución en general.
“Es un ecosistema, y ​​tratando de reducir la contribución de un solo individuo a un conjunto de números simples nunca va a ser fácil”, dijo Neikirk Inside Higher Ed. “Mucho de eso no se reduce a un simple número la forma en que un ingeniero reducir las cosas.”
El lunes, el Consejo de la Facultad de UT-Austin estuvo de acuerdo. Se aprobó por unanimidad un voto de confianza en los poderes y su administración. Decir que la misión de la universidad, los objetivos fundamentales y los valores fundamentales están en peligro, los aproximadamente 40 miembros de la facultad en la reunión del consejo agregó que creen que las Potencias y su equipo “no han cesado y eficaz abogado por la universidad, mientras que la valoración de la investigación académica y la enseñanza excelente y adherirse a los más altos estándares de profesionalismo y conducta ética. ”
La Texas Public Policy Foundation – un grupo de reflexión cuyo fiduciario, Brenda Pejovich, es también un regente y el presidente del grupo de trabajo del consejo de UT en la productividad de la facultad – agregó que también se mostró satisfecho con un aspecto de los comentarios del presidente: su reconocimiento de la necesidad de una reforma en un entorno en el que las universidades deben hacer más con menos. (Powers dijo que – como el apoyo estatal a UT-Austin, ha caído de 52 por ciento del presupuesto de la universidad en 1981 a una previsión del 13 por ciento, según una versión del proyecto de presupuesto 2012 propuesto por la Cámara – la universidad tendrá que cambiar la forma en que hace negocios y para trazar un nuevo camino, más sostenible. “Podemos no sólo el tiempo de los viejos tiempos”, dijo. “Tenemos que estar a la vanguardia del cambio.”)
David Guenthner, director de comunicaciones de alto nivel para la fundación, dijo que el interés del grupo en la educación superior se basa en la creencia de que el aprendizaje y la enseñanza se han descuidado en los últimos años. “Tiene que haber una evaluación de los recursos que van entre la investigación y la educación para que podamos establecer un equilibrio adecuado”, dijo.
También reconoció que la información recopilada por los regentes era incompleta en su forma actual (algunos miembros de la facultad con la que Inside Higher Ed habló, dijo que sus salarios se enumeran en los datos en bruto a niveles que eran más altos de lo que realmente eran, o que el documento representados la cantidad de su investigación). Y Guenthner predijo que sería “categorías importantes de la investigación, donde estamos de acuerdo con las universidades que vale la pena el tiempo y los gastos y el personal, y el tiempo de liberación de la clase.”
Sin embargo, agregó, “También habrá, supongo, una categoría de investigación donde, no sólo nosotros, pero los miembros del público en general se miran y dicen, ‘¿Es realmente vale la pena que nos da tiempo de liberación de la clase de un profesor de apagar ese artículo en particular? En su lugar, ¿sería un mejor uso de tiempo para que el maestro o profesor en un aula de proporcionar sus conocimientos a los estudiantes? ”
En teoría, estos objetivos están muy bien, dijo Peter Hugill, profesor de geografía en la Universidad de Texas A & M, y el presidente de la conferencia estatal de la Asociación Americana de Profesores Universitarios. “A pesar de que realmente estoy a favor de la rendición de cuentas, sólo creo que tenemos que tener cuidado con las medidas excesivamente simplista”, dijo. “. Los números son útiles, pero no son de ninguna manera el único árbitro de los resultados”, dijo el departamento de Hugill sillas suelen evaluar la investigación de los miembros de su propia facultad mediante el uso de métodos más matizada: no se limitan a contar la cantidad en dólares de las donaciones , sino también considerar la fuente, que no sólo cuenta el número de artículos de revistas, pero también evaluar el impacto de la beca y donde se publicó.
Los números recogidos por los regentes también ya está disponible, dijo Murray Hoja, Presidente del Senado Académico y profesor de la antropología y la economía política de UT-Dallas. El problema, dijo, es la forma en la información está organizada y montada. “Lo que hace es proporcionar información que no es normalmente yuxtapuestos”, dijo la hoja en una entrevista. Hoja, quien dijo que el salario lista para él era exagerado en un 50 por ciento, que se describe como “intrusos” el esfuerzo de utilizar una instantánea de un punto en el tiempo para pintar un panorama más amplio de la productividad – ya que no se reflejan los flujos y reflujos de la vida académica. “Su intención es, creo, a ser intimidante en que los regentes puede organizar la información de esta manera y proponer para evaluar sobre esta base”, dijo. “Esa actitud por parte de los regentes es preocupante.”
Algunos también han sido críticos de la hipótesis más grande que se incrusta en la labor del grupo de trabajo – una distinción tajante entre la enseñanza y la investigación. Terri E. Givens, profesor asociado de gobierno en UT-Austin (y autor de la ejecución “de la Ronda el blog de la Torre de Marfil de Inside Higher Ed), dijo que los datos no reflejan siete viajes de investigación que recientemente tomó – y que era imposible distinguir su investigación (con tres de pregrado y cuatro estudiantes de posgrado) de sus funciones de instrucción y servicio. “Me paso la mitad de mi semana de hacer la escritura y la investigación”, dijo, “directamente relacionados con la enseñanza.”
La Asociación de Universidades de Estados Unidos también pesó en el, aunque en privado. En una carta al rector de la Texas A & sistema de seguimiento, Robert M. Berdahl, presidente de UCA, observó que “la clave para el éxito de la investigación de las universidades de América es la alianza estrecha entre la investigación y la enseñanza, especialmente la enseñanza de estudiantes de posgrado.”
Berdahl criticó las propuestas relacionadas que fueron avanzados por el Texas Public Policy Foundation para seguir cortando la conexión entre la investigación y la educación. “La separación de la investigación de la enseñanza y simplificar la evaluación del profesorado no violencia para los valores que han producido las universidades estadounidenses que son envidiados y emulado en todo el mundo”, escribió.
Pero esta crítica supone la fusión de la investigación y la enseñanza es el estado natural de las cosas cuando en realidad no debe ser, dijo Charles Miller, un ex presidente de UT regente que dijo que los esfuerzos del grupo de trabajo para buscar en la productividad (así como otro panel trabajar en blended learning) son dignos de encomio. colegios comunitarios y no emblemáticos, así como instituciones privadas de artes liberales, no muy poca investigación, dijo Miller.
“” Universidades de investigación “Los problemas reales a girar en torno a la enseñanza acerca de cómo está subvaluado en relación con la investigación o, más importante, la eficacia de la utilización de recursos en la investigación – o en la enseñanza”, escribió Miller en un correo electrónico a Inside Higher Ed. Miller utilizó UT-Austin como ejemplo, criticar sus tasas de graduación de aproximadamente 50 por ciento (cuatro años) y 80 por ciento (seis años), entre los que estaban los mejores estudiantes en la escuela secundaria y provienen de familias con ingresos muy por encima del promedio en Texas . “[Esto es] una fuerte evidencia de un lugar donde la enseñanza y el aprendizaje no se lleva a cabo de manera productiva”, dijo. “Estas tasas de graduación de” universidad de investigación “superior debe ser considerada totalmente inaceptable por la Junta de Regentes del Sistema de UT.”
Y son, al menos según Powers. En sus comentarios, que atribuyó los problemas en la tasa de graduación a varios factores, incluyendo malas decisiones, a veces por los estudiantes, sino también por parte de la universidad. Estas decisiones vienen pobres, dijo, “en la elección de una de las principales, en la selección de cursos, en la adecuación de sus talentos a su plan de estudios, o en nuestro propio fracaso para proporcionar secuencias del curso dispone de suficiente”.
— Dan Berrett