Interesante reportaje sobre los cmabios que comienzan a discutirse en los EEUU para hacer frente a la creciente presión crítica sobre las agencias de acreditación y los procesos que ellas administran. A continuación del texto en inglés, ver traduccion automática (Google) al castellano.
What’s ‘Good Enough’?
Inside Higher Ed, April 14, 2011
SAN FRANCISCO — Four years ago, as a member of a panel convened by then-Education Secretary Margaret Spellings to negotiate new federal regulations on accreditation, Ralph A. Wolff was among several accreditors forced to respond to criticism that they must do more than simply require the colleges they accredit to measure whether their students are learning, as they had been doing for years. With some colleges reporting graduation rates in the single digits and evidence that students were emerging from college with inadequate skills, wasn’t it time, the critics argued, to focus on more than process and hold colleges more accountable for their actual results?
The Spellings panel went so far as to put forward a proposal in early 2007 that accreditors identify a “core set of student achievement measures, both quantitative and qualitative,” and define an “acceptable level of performance” that all colleges should meet.
Wolff, president of the senior college commission of the Western Association of Colleges and Schools and a negotiator on the panel, bristled at the idea. Accreditors, he said at the time, have traditionally put the onus on “an institution to define its learning outcomes and to assess the achievement of those outcomes, and through that assessment to determine whether improvement is needed…. We should keep that locus of responsibility at the institutional level.” It would be a mistake, he said, to identify “quantitative ‘bright line’ indicators that … if you fall below them” the institution is in trouble. Facing pushback from Wolff and many others, the administration decided not to put forward new rules for accreditors.
Last week, at his agency’s Academic Resource Conference here, Wolff and WASC’s other leaders sought to sell presidents, provosts, and faculty members from the region’s four-year colleges on the idea that, with policy makers in Washington increasingly questioning the future of accreditation, the time has come for major changes in the agency’s peer review process.
Many of the alterations in the “redesign” would represent a significant break with how WASC and the other regional accrediting agencies have historically operated, including by making public the commission’s letters of findings about individual colleges and using an outside auditing firm to review the finances of publicly traded higher education companies during WASC’s accreditation process. Currently, WASC announces the actions it has taken on colleges, but does not release the evaluations themselves.
But perhaps no change would be more dramatic than a proposed requirement that colleges benchmark their own learning outcomes and measures of student success (i.e., retention and graduation rates) against those of their peers. One WASC document summarizing the commission’s goals suggested that each institution would work with WASC to set a “target graduation rate” (and potentially different rates for different subgroups) that it would “be expected to meet or exceed.”
“Our institutions have done an enormous amount of work on the process of assessment” of student learning, “but we need to do better at answering what the results mean,” Wolff said in an interview at last week’s meeting. But amid increased questioning about how much college students are learning, he said, WASC officials believe the time has come “to work with institutions to decide how you would validate those results in a responsible way…. What’s ‘good enough’ has to be more transparent.”
As Wolff and other WASC officials floated the proposed changes to groups of presidents and other senior campus administrators, pushback against them was relatively muted, probably because scores of campus officials have been involved in drafting them over the last year. Several presidents applauded Wolff and WASC for getting out front in contemplating major changes in accreditation, to help ward off potentially increased political interference.
But the criticism grew sharper when WASC officials ran the proposals by faculty members and academic administrators closer to campus classrooms, with several people expressing concerns that requiring colleges to compare their outcomes to peers’ would force them to use measures that are readily comparable to other institutions — and hence more likely to be standardized and simplistic.
Others said they feared that too much emphasis on measures like retention and graduation rates would prompt colleges with lower rates than their peers either to raise their admissions standards on the front end (to keep out lower-performing students who might drag down their performance) or “pass people who should not be passed,” as one person put it.
Aiming Higher
WASC’s senior commission (the changes would not apply to the Western accreditor’s two-year-college commission) did not set out to undertake such a thorough overhaul. The accrediting association, which represents about 160 colleges in California, Hawaii and several U.S. territories, began its federally mandated once-a-decade revision of the handbook that guides its (and its members’) work with a relatively modest goal: reducing the costs and demands of the process while retaining its focus on student success.
But at the same time, WASC notes in its description of the process, “serious challenges have arisen to the effectiveness of accreditation in addressing low graduation rates, evidence of ineffective learning of graduates, and questionable practices by for-profit institutions.”
Those concerns have led to intense scrutiny of accreditation in a variety of venues. The Obama administration has picked up where the Bush-era Education Department left off in undertaking a review of whether the peer-led process is a sufficient guarantor of quality, with some of its advisers going so far as to suggest breaking the link that makes accreditors the arbiter of whether colleges can qualify to award federal financial aid. The Senate, meanwhile, has gotten into the act by calling regional accreditors onto the carpet to defend their regulation of for-profit colleges.
In the interview, Wolff acknowledged that the external pressures on accreditors motivated WASC to consider a more thorough overhaul of its policies, and that the questions he endured from the Spellings-era panel in 2007 “have stayed with me.” But he rebuffed the suggestion that the changes the commission was weighing have been driven by the external pressures.
“There is a convergence here, but we wouldn’t be doing this unless we thought it was the right thing to do,” he said. “We can’t be sure that any action we take will stop [potential government intervention into accreditation policy] or forestall it, so we have to do this because we believe it’s good for students.”
The redesign process WASC has undertaken is wide-ranging, including outside consultants and five panels made up of 80 college officials, and it examines many aspects of the commission’s work. The overarching goal, as commission officials describe it, is to put student learning at the center of the accrediting process, in part by strengthening how the agency looks at those issues and in part (here’s the tradeoff for colleges) by streamlining the time and cost that institutions spend on other parts of the review.
Changes Ahead
If they are ultimately embraced later this year by the 25 college administrators and others who make up the senior college commission, some of the changes would be significant but relatively straightforward.
One set is designed to make WASC’s process more transparent, by making public the “action letters” the agency issues at the end of each college’s accreditation process and establishing a “report card” that would include information about how an institution scored on the various criteria used to judge colleges. The opaqueness of the accreditation process has been a major bone of contention to many critics.
The Western accreditor may also consider a system in which it would rate institutions not just by whether they are accredited or not, but also by “categories of distinction” in certain areas that colleges might apply for, along the lines of the LEED program in environmental sustainability.
WASC is weighing several steps aimed at strengthening its oversight of for-profit colleges. Wolff said the agency was considering using “secret shoppers” to explore the institutions’ recruitment, admissions and financial aid practices. And the accreditor is testing out a process aimed at assessing the finances of for-profit colleges, particularly complex publicly traded ones.
For an unnamed for-profit college that is seeking its accreditation now (almost certainly Bridgepoint Education’s Ashford University), WASC is contracting with accounting firm KPMG to lend its expertise. This step would be meant to acknowledge to the critique that accreditors do not have the wherewithal and expertise to understand and judge complex for-profit companies, but also to keep such a review under the accreditors’ umbrella, rather than peeling it off as some commentators have urged.
“It’s not entirely clear that it’s profitable to try to train a bunch of nonprofit folks in the workings of for-profits,” said Harold Hewitt, executive vice president and chief operating officer at Chapman University and a member of WASC’s for-profit task force. “This may be a better way to handle it.”
WASC is also experimenting with the Lumina Foundation for Education’s recently released Degree Qualifications Profile, which aims to define the types of knowledge that degree holders at various levels (associate, bachelor’s, etc.) should have and what they should be able to do.
Perhaps the biggest change that WASC is contemplating, though, is the idea of forcing institutions to identify levels of learning and student success that would be externally validated through comparisons with peer institutions.
The goal, said Linda Johnsrud, provost and vice president for academic planning and policy at the University of Hawaii System and chair of WASC’s senior college commission, is to make accreditation less about setting “minimum standards” and more about ensuring quality.
“It’s a natural evolution,” she said. “We’ve been measuring [student learning], but to what end? We’ve never said, ‘Is it good enough? Are the outcomes we’re getting what we want them to be?’ ”
Wolff and Johnsrud were quick to note that WASC is not looking to impose “bright line” metrics on institutions, and that in the accreditor’s vision at this stage, individual colleges and universities would set their own goals in tandem with WASC’s visiting teams of peer reviewers.
But the fact that the measures would need to be “externally validated” — which, to some, means compared statistically to other institutions — almost inevitably means that WASC will have to lean toward metrics that are readily comparable from one institution to the next. When it comes to student learning outcomes, that could mean an emphasis on standardized exams over e-portfolios and homegrown assessments; for measures of student success, it might favor numerical outcomes like retention and graduation rates over more qualitative measures.
That specter was raised by some members of the audience during one of Wolff’s presentations at last week’s WASC meeting. “A whole lot of bad things” happen when institutions become “obsessed with retention and graduation rates,” said one questioner. “There is a field full of land mines in front of us; I hope we can navigate it without getting blown up.”
Another said WASC’s proposed transition to “the arena of external comparisons” was a “fundamental shift” that would be “a hard sell” to faculty members on his campus, who will be concerned that a common set of metrics will straitjacket their own assessment efforts.
Wolff said he understood that that might be the case — but that accreditors have to answer the questions being asked of them. “We will contextualize new metrics to the type of institution, but we have to have very clear indicators” to satisfy the accountability demands. “I don’t know if it will work, but it would allow us to make a much more defensible case than, ‘We all go through a process and it leads to a result we won’t tell you about.’ ”
— Doug Lederman

¿Qué es “suficientemente bueno”?
Inside Higerr Ed, 14 de abril 2011
SAN FRANCISCO – Hace cuatro años, como miembro de un panel convocado por el entonces secretario de Educación, Margaret Spellings, para negociar las nuevas regulaciones federales sobre la acreditación, Ralph A. Wolff fue uno de los acreditadores varios obligados a responder a las críticas que tienen que hacer más que simplemente requieren las universidades que acreditan para medir si los estudiantes están aprendiendo, como lo habían estado haciendo durante años. Con algunas universidades que informan tasas de graduación de un solo dígito y las pruebas que los estudiantes salían de la universidad con la insuficiencia de conocimientos, no era el momento, los críticos argumentaron, para centrarse en más de proceso y mantener colegios más responsables de sus resultados reales?
El panel Spellings, llegó al extremo de presentar una propuesta a principios de 2007 acreditadores que identificar un “conjunto básico de medidas de rendimiento de los estudiantes, tanto cuantitativos como cualitativos”, y definir un “nivel aceptable de rendimiento” que todos los colegios deben cumplir.
Wolff, presidente de la comisión universitaria de alto nivel de la Asociación Occidental de Escuelas y Facultades y negociador en el panel, se molestó con la idea. Acreditadores, dijo en ese momento, que tradicionalmente sitúa la responsabilidad en “una institución para definir sus resultados de aprendizaje y para evaluar el logro de esos resultados, ya través de esa evaluación para determinar si es necesario mejorar …. Debemos mantener ese lugar de responsabilidad en el plano institucional. “Sería un error, dijo, para identificar los” indicadores cuantitativos ‘línea clara’ que … si usted se cae debajo de ellos “la institución está en problemas. Frente retroceso de Wolff y muchos otros, la administración decidió no presentar nuevas reglas para los acreditadores.
La semana pasada, en la Conferencia Académica de su agencia de recursos de aquí, otros líderes de Wolff y WASC buscó vender presidentes, rectores y profesores de universidades de cuatro años de la región en la idea de que, con los responsables políticos en Washington cuestiona cada vez más el futuro de la acreditación, ha llegado el momento de cambios importantes en el proceso de la agencia de revisión por pares.
Muchas de las alteraciones en el “rediseño” representaría una ruptura significativa con la forma en WASC y los demás organismos regionales de acreditación históricamente han funcionado, incluso poniéndolos a cartas públicas de la comisión de los hallazgos sobre las universidades individuales y el uso de una firma de auditores externos para revisar las finanzas de empresas que cotizan en bolsa más alta educación durante el proceso de acreditación de WASC. En la actualidad, WASC anuncia las acciones que ha tomado en los colegios, pero no libera las propias evaluaciones.
Pero quizá ningún cambio sería más dramático que el requisito de referencia propone que los colegios son dueños de sus resultados de aprendizaje y medidas de éxito de los estudiantes (es decir, la retención y graduación) con los de sus compañeros. Un documento WASC resumir los objetivos de la comisión propuso que cada institución trabajar con WASC para establecer una “tasa de graduación de destino” (y potencialmente diferentes tarifas para diferentes subgrupos) que sería “se espera que para igualar o mejorar”.
“Nuestras instituciones han hecho una enorme cantidad de trabajo sobre el proceso de evaluación” de aprendizaje de los estudiantes, “pero tenemos que hacerlo mejor en responder a lo que significan los resultados”, dijo Wolff, en una entrevista en la reunión de la semana pasada. Pero en medio de creciente cuestionamiento acerca de cómo los estudiantes universitarios están aprendiendo mucho, dijo, los funcionarios WASC creen que el tiempo ha llegado “para trabajar con las instituciones para decidir cómo se validan los resultados de una manera responsable …. ¿Qué es “suficientemente bueno” tiene que ser más transparente “.
Como Wolff y otros funcionarios de WASC flotaban los cambios propuestos a los grupos de presidentes y otros administradores de la escuela superior, retroceso en su contra fue relativamente moderada, probablemente debido a que decenas de funcionarios del campus han participado en su elaboración durante el último año. Varios presidentes aplaudieron Wolff y WASC para salir delante en la contemplación de grandes cambios en la acreditación, para ayudar a prevenir la interferencia que potencialmente mayor voluntad política.
Pero la crítica se agudizó cuando los funcionarios WASC corrió las propuestas de los profesores y administradores académicos más cerca de las aulas del campus, con varias personas que expresan la preocupación de que las universidades requieren para comparar sus resultados con sus compañeros “les obligaría a recurrir a medidas que sean fácilmente comparables con otras instituciones – y por lo tanto más probabilidades de ser estandarizada y simplista.
Otros dijeron que temían que demasiado énfasis en medidas como las tasas de retención y graduación llevarían a colegios con tasas más bajas que sus pares ya sea para elevar su nivel de ingresos en el extremo delantero (para mantener a los estudiantes de bajo rendimiento que podría arrastrar a su desempeño) o “pasar la gente que no se debe pasar”, como dijo una persona.
Con el objetivo superior
comisión de alto nivel WASC (los cambios no se aplicarían a la comisión del acreditador occidental de dos años de universidad) no se propuso llevar a cabo una revisión en profundidad. La asociación de acreditación, lo que representa alrededor de 160 colegios en California, Hawaii y varios territorios de los EE.UU., comenzó su revisión por mandato federal, una vez cada diez años del manual que guía a sus (y de sus miembros) trabajan con un objetivo relativamente modesto: reducir los costes y las exigencias del proceso, manteniendo su enfoque en el éxito del estudiante.
Pero al mismo tiempo, toma nota de WASC en su descripción del proceso, “graves problemas han surgido a la eficacia de la acreditación para hacer frente a las bajas tasas de graduación, la evidencia del aprendizaje eficaz de los titulados y las prácticas dudosas de las instituciones con fines de lucro.”
Estas preocupaciones han dado lugar a un intenso escrutinio de la acreditación en una variedad de lugares. La administración Obama ha recogido en la era Bush, el Departamento de Educación dejó en la realización de un examen de si el proceso dirigido por pares es una garantía suficiente de calidad, con algunos de sus asesores va tan lejos como para sugerir romper el vínculo que hace que los acreditadores el árbitro de si las universidades pueden calificar para otorgar ayuda financiera federal. El Senado, por su parte, se ha metido en el acto llamando a los acreditadores regionales sobre la alfombra para defender a su regulación de los colegios con fines de lucro.
En la entrevista, Wolff reconoció que las presiones externas sobre los acreditadores WASC motivado a considerar una revisión más exhaustiva de sus políticas, y que las preguntas que tuvo que soportar desde el panel de Spellings, la era en 2007 “se han quedado conmigo.” Pero él rechazó la sugerencia de que los cambios que la comisión de peso han sido impulsadas por las presiones externas.
“Hay una convergencia de aquí, pero no estaría haciendo esto si no pensamos que era lo correcto a hacer”, dijo. “No podemos estar seguros de que cualquier acción que tome dejará de [la posible intervención estatal en la política de acreditación] o de impedir que, por lo que tenemos que hacer esto porque creemos que es bueno para los estudiantes.”
El proceso de rediseño WASC ha llevado a cabo es muy amplia, incluyendo asesores externos y cinco paneles de compuesto de 80 funcionarios de la universidad, y se examina muchos aspectos del trabajo de la comisión. El objetivo general, como funcionarios de la Comisión de describirlo, es poner el aprendizaje del estudiante en el centro del proceso de acreditación, en parte por el fortalecimiento de cómo la agencia se ve en esas cuestiones y, en parte, (aquí está la solución de compromiso para las universidades), mediante la racionalización del tiempo y el costo que las instituciones de gastar en otras partes del examen.
Cambios que se avecinan
Si son en última instancia, adoptado a finales de este año por los 25 administradores de la universidad y otros que conforman la comisión universitaria superior, algunos de los cambios sería importante, pero relativamente sencilla.
Un conjunto está diseñado para hacer proceso de WASC es más transparente, dando a conocer las “cartas de acción”, la agencia emite al final del proceso de acreditación de cada universidad y el establecimiento de una “tarjeta de informe”, que incluya información acerca de cómo una institución anotó en los diversos criterios para colegios juez. La opacidad del proceso de acreditación ha sido un hueso principal de contención para muchos críticos.
El acreditador occidental también puede considerar un sistema en el que las instituciones que la tasa no sólo por el hecho de que están acreditados o no, sino también por “las categorías de distinción” en ciertas áreas que los colegios pueden solicitar, a lo largo de las líneas del programa LEED en el medio ambiente sostenibilidad.
WASC está pesando varias medidas encaminadas a fortalecer la supervisión de los colegios con fines de lucro. Wolff dijo que la agencia estaba considerando el uso de “compradores secretos” para explorar la contratación de las instituciones, las prácticas de admisión y ayuda financiera. Y el acreditador es la prueba de un proceso destinado a evaluar las finanzas de las universidades con fines de lucro, las que cotizan en bolsa particularmente complejo.
Por una universidad sin nombre con fines de lucro que busca su acreditación ahora (casi con toda seguridad Bridgepoint Educación de la Universidad de Ashford), WASC se contrae con la firma de contabilidad KPMG para aportar su experiencia. Este paso sería la intención de reconocer a la crítica de que los acreditadores no tienen los medios y conocimientos para comprender y juzgar complejo de empresas con fines de lucro, sino también para mantener una revisión bajo el paraguas de los acreditadores “, en lugar de despegándolo como algunos comentaristas han instado.
“No está completamente claro que es rentable para tratar de formar un grupo de personas sin fines de lucro en el funcionamiento de fines de lucro”, dijo Harold Hewitt, vicepresidente ejecutivo y director de operaciones de Chapman University y miembro de la fuerza WASC de tareas con fines de lucro . “Esto puede ser una mejor manera de manejarlo.”
WASC también está experimentando con la Fundación Lumina para la Educación publicó recientemente El perfil de las titulaciones, que tiene por objeto definir los tipos de conocimiento que los titulares de grado en los distintos niveles (asociado, licenciatura, etc) deben tener y lo que debe ser capaz de hacer.
Quizás el cambio más grande que WASC está contemplando, sin embargo, es la idea de obligar a las instituciones para determinar los niveles de aprendizaje y éxito de los estudiantes que serían validados externamente a través de comparaciones con instituciones pares.
El objetivo, dijo Linda Johnsrud, preboste y vicepresidente de la planificación académica y política en la Universidad de Hawai y presidente del Sistema de la comisión universitaria superior WASC, es para hacer menos de acreditación sobre la configuración de “normas mínimas” y más en garantizar la calidad.
“Es una evolución natural”, dijo. “Hemos estado midiendo [aprendizaje], pero ¿para qué? Nunca he dicho: ‘¿Es lo suficientemente bueno? ¿Son los resultados que está consiguiendo lo que queremos ser?” ”
Wolff y Johnsrud se apresuraron a señalar que WASC no está buscando imponer “brillante línea de” indicadores de las instituciones, y que en la visión de la acredita en esta etapa, las universidades, y se establecen sus propias metas en conjunto con los equipos visitantes WASC de los revisores .
Pero el hecho de que las medidas tendrían que ser “validado externamente” – que, para algunos, significa en comparación estadísticamente a otras instituciones – casi inevitablemente significa que WASC tendrá que inclinarse hacia indicadores que sean fácilmente comparables de una institución a otra . Cuando se trata de los resultados de aprendizaje de los estudiantes, que podría significar un énfasis en los exámenes estandarizados a través de e-portafolios y evaluaciones de cosecha propia, para las medidas de éxito de los estudiantes, que podrían favorecer los resultados numéricos como las tasas de retención y graduación de más de más medidas cualitativas.
Ese fantasma fue planteada por algunos miembros de la audiencia durante una de Wolff presentaciones en la reunión de la semana pasada WASC. “Un montón de cosas malas” que ocurren cuando las instituciones se convierten en “obsesionado con las tasas de retención y graduación”, dijo un interrogador. “Hay un campo lleno de minas terrestres en frente de nosotros, espero que podamos navegar sin volar por los aires.”
Otro dijo de transición propuesto WASC de “el campo de las comparaciones externas” era un “cambio fundamental” que sería “difícil de vender” a los profesores en su campus, que se preocupa que un conjunto común de indicadores que sus esfuerzos camisa de fuerza propia evaluación .
Wolff dijo que entendía que ese podría ser el caso -, pero que los acreditadores que responder las preguntas que se les pide. “Vamos a contextualizar las métricas en el tipo de institución, pero tenemos que contar con indicadores muy claros” para satisfacer las demandas de rendición de cuentas. “No sé si funcionará, pero nos permitiría hacer un caso mucho más defendible que,” Todos pasamos por un proceso y que conduce a un resultado no vamos a contar. ” ”
– Doug Lederman
Escuchar
Leer fonéticamente
Diccionario