Resumen Documento 12

EVALUACIÓN DE PROGRAMAS, CENTROS Y PROFESORES

INVESTIGACIÓN EVALUATIVA DE LAS EXPERIENCIAS DE INNOVACIÓN EDUCATIVA.

Introducción:

Los tiempos cambian al mismo ritmo que cambia la sociedad. Nuestro mundo se caracteriza actualmente por la aceleración de los cambios, por una marcada diversidad cultural, por la complejidad tecnológica, así como de continuos cambios científicos.

Dentro de toda esta corriente de cambios la educación también se ve afectada por estas nuevas tendencias.

Lo que caracteriza esta situación en la educación es el intento de llevar esa multiplicidad y variedad de cambios a la escuela. Es por ello que incluso se puede llegar a “una sobrecarga de innovaciones” tal y como dicen Hopkins, Ainscow y West (1994). Según estos autores este es uno de los grandes problemas del sistema educativo.

Estos cambios se han venido denotando desde los últimos años. Se han introducido cambios en el curriculum: nuevos contenidos, formas de enseñanza, la evaluación de las materias; cambios en la estructura del sistema de ampliación de la enseñanza obligatoria a los 16 años, regulación de la Educación Infantil, cambios en la forma de trabajo de los profesores: con introducción obligatoria de elaboración de Proyectos Educativos de Centro, Proyectos Curriculares, Reglamento de Organización y Funcionamiento, etc.; se han introducido cambios en el tratamiento de la diversidad en el aula; se han introducido cambios en las funciones, estrategias y procedimientos de la formación del profesorado y más concretamente en los incentivos a la formación. Pero los cambios no acaban, y el proceso sigue en continuo desarrollo.

Esta situación determina en gran medida la actividad diaria de los profesionales de la enseñanza que han de convivir con la incertidumbre, dilemas, presión e intensificación características de nuestro tiempo. Por ello se requiere de una formación a los profesores para que puedan funcionar adecuadamente en contextos caracterizados por la diversidad cultural, flexibilidad y complejidad económicas, fluidez y horizontalidad organizativas, incertidumbre moral y científica (Richert, 1994; Hargreaves, 1994).

Todos estos cambios siempre se producen teniendo en cuenta que van siempre desde arriba hacia abajo llevados a la práctica con una más que cuestionable atención a las características  de los procesos de cambio. Estos cambios han sido promovidos por la Administración. Por otro lado, desde la Administración Educativa se vienen produciendo y financiando proyectos para el desarrollo de innovaciones o cambios en el sistema educativo, y en concreto en algunos centros, que en absoluto vienen a equilibrar la ingente cantidad de cambios verticales que se han venido produciendo.

1. ¿QUÉ CONOCEMOS SOBRE COÓMO FUNCIONAN LAS INNOVACIONES Y CAMBIOS EN EDUCACIÓN?

1. 1. Sobre el concepto de innovación.

Diferentes autores han publicado definiciones del término innovación. Una de ellas es la de Mat Miles en 1964: “generalmente hablando, parece útil definir la innovación como un cambio deliberado, nuevo, específico que se piensa que va a ser más eficaz  para conseguir los objetivos de un sistema… parece razonable considerar que las innovaciones se planifican en lugar de que ocurran por azar. Un elemento de novedad puede venir dado por una recombinación de partes o por una forma cualitativamente diferente de lo que se hace”.

Esta definición y muchas otras vienen a plantear la necesidad de la existencia de una idea, técnica, función, etc. nueva o considerada como tal por los posibles usuarios. Se trata por tanto de un cambio fundamentado, que no es casual sino planificado con mayor o menor publicidad, pero con una clara intención de mejora.

La diferencia entre innovación curricular e innovación educativa, parece de matiz, pero nos puede conducir al debate entre los distintos niveles del cambio en educación, en función del impacto que pueda tener.

Algunos autores tienen la tendencia a igualar el concepto de innovación con el de cambio. Es evidente que todo proceso de cambio a nivel de escuela supone la modificación de algún elemento, o la introducción de alguna práctica a nivel didáctico u organizativo que tiene influencia personal y/o cultural. Cuban (1992) señala que existen tres creencias fuertemente asentadas con respecto al cambio en la escuela: La primera asumiría que el cambio planificado es positivo y procede de la idea generalizada de asumir el riesgo como valor positivo independientemente de las metas, resultados o intención. Una segunda creencia sería aquélla que asume que el cambio está separado de la estabilidad: esta creencia no se corrobora con las teorías de sociólogos, psicólogos, antropólogos, que establecen que el cambio siempre se hace por adaptación y transformación de la realidad existente. Una última creencia a la que hace referencia Cuban es que una vez que el cambio planificado se ha adoptado, las mejoras aparecen. Tendremos que plantear que la institucionalización del cambio es una de las frases más costosas y complejas del desarrollo curricular, sobre todo, cuando esos cambios afectan a cuestiones fundamentales del individuo o de la estructura organizativa (Carrera 1998).

Algunos autores como Romerg y Price diferencian entre Innovaciones menores y radicales. Las primeras se diseñan para mejorar la enseñanza y no suponen cambios a nivel de valores y tradiciones asociadas con la cultura escolar. Las innovaciones radicales son aquellas que se diseñan para cambiar las tradiciones culturales de las escuelas y se perciben por el profesorado como tal.

Los cambios de Primer orden corresponden a cambios menores dirigidos a mejorar algunas deficiencias detectadas en la escuela pero que no afectan a la estructura básica de la organización. Los cambios de segundo orden o cambios fundamentales buscan alterar la forma esencial de la organización, al introducir nuevas metas, estructuras, papeles, etc.

1.2. Algunos principios sobre los procesos de cambio.

Podemos ver como Miles realizó un análisis personal de lo que han supuesto 40 años de cambio en las escuelas, mostrando cómo han ido evolucionando los modelos y estrategias de intervención, desde el entrenamiento en destrezas y la aplicación técnica de procesos de adopción y difusión, hasta propuestas más recientes que han supuesto la introducción del asesor o agente de cambio. Este autor nos ofrece algunas conclusiones sobre el qué y el cómo de los cambios en educación basándose en su propia experiencia:

·         La resistencia al cambio es inevitable porque las personas se resisten al cambio

·         Cada escuela es única

·         Cuanto más se cambia, menos se cambia

·        Las escuelas son instituciones especialmente conservadoras, más difíciles de cambiar que otras instituciones

·         Hay que permanecer algún tiempo en la escuela para poder comprender y apoyar los cambios

·         Se necesita una meta, objetivos y una serie de tareas bien definidas con antelación

·         Nunca se puede agradar a todo el mundo, por lo que es necesario avanzar

·         En especial la participación de cada uno en los procesos de cambio

·         Comenzar por cambios pequeños, fáciles en lugar de por cambios grandes (Miles, 1992)

·         El problema no es la falta de innovaciones, sino la enorme sobrecarga de cambios fragmentados, descoordinados y efímeros

·         Los problemas educativos son complejos y se requiere un enfoque del cambio que reconozca este hecho

·         Se ha dado más importancia a los símbolos del cambio que a su sustancia

·         El cambio es un proceso de aprendizaje cargado de incertidumbre

·         El cambio es un proceso abierto: los modelos de planificación racionales no son de utilidad

·         Los problemas son nuestros amigos

·         El cambio demanda recursos personales, materiales, económicos

·         El cambio es sistemático (Fullan y Miles, 1992)

Se establecen también unos criterios y principios que resultan de interés:

·         Comprender el punto de vista de los participantes en un proceso de cambio es crucial

·         El cambio es un proceso, no un suceso accidental

·         Es posible anticipar gran parte de lo que ocurrirá durante un proceso de cambio

·         Innovación e implantación son dos caras de la misma moneda

·         Para cambiar algo, alguien tiene que primero cambiar

·         Cualquier persona puede facilitar el cambio

1.3. Fases en los procesos de cambios

Uno de los puntos fundamentales de los cambios es su carácter progresivo, procesual. Las innovaciones pasan siempre por diferentes etapas que es preciso reconocer si queremos ofrecer un modelo amplio que permita enfrentarse a su evaluación.

Para Roger existen unas condiciones previas necesarias para los procesos de innovación, tales como la existencia de un clima o consciencia de problemas y necesidades a nivel escolar o de profesores individuales, la apertura a la introducción de cambios, así como la existencia de conocimientos didácticos y organizativos disponibles como para ser llevados a la práctica. La evaluación diagnóstico de la situación actual representa el primer paso a dar en el desarrollo de todo proceso de innovación. 

Explorar opciones sería la segunda fase. La adopción parece ser en realidad el comienzo de la innovación.

La iniciación consiste en presentar la innovación, describirla, mostrarla a los posibles usuarios. La implementación o puesta en práctica de la innovación, y por último la Institucionalización.

La iniciación siempre configura una de las fases primeras de todo proceso de innovación. En la iniciación se diseña, se planifica, se da a conocer, se decide en definitiva el cambio al nivel que se considere.

La iniciación se ve influida también por una serie de variables que es necesario atender porque influyen y determinan las fases siguientes del proceso de innovación. Se requiere entonces que los profesores perciban que la innovación es de calidad, mejora la práctica cotidiana, es compatible y consistente con los valores, experiencias pasadas y necesidades potenciales de los usuarios. Miles establece también que las características del conocimiento comunicable son: Claridad: debe ser claro, no confuso, vago, irrelevante; Relevancia: significativo, conectado con la vida normal.

1.4. Factores asociados con la iniciación

La existencia de innovaciones de calidad es una de las condiciones innegables de todo proceso innovador. La “Difusión es el proceso por el que una innovación se comunica a través de ciertos canales a lo largo del tiempo y entre miembros de un sistema social. En el que los mensajes tienen que ver con ideas nuevas. La comunicación es un proceso en el que los participantes crean y comparten información entre sí para llegar a un mutuo entendimiento”. 

Así pues, La nueva concepción del cambio implica diferentes procesos. Los profesores están cambiando continuamente, pero a veces estos cambios son pequeños ajustes en el programa, aunque también pueden ser cambios de mayor importancia.

1.5. Consideraciones en la Planificación de la Adopción

Otras variables que influyen en el proceso de iniciación y adopción de innovaciones tiene que ver la normatividad u obligatoriedad con que se presente, la implicación de los profesores, la existencia de recursos económicos y materiales, así como las posibilidades de asesoramiento externo y especializado. Todos estos aspectos influyen en la iniciación de la innovación.

La iniciación no es un momento concreto sino un proceso en el que en función de los resultados que se van obteniendo, se van a su vez observando las repercusiones tanto en la incorporación de nuevos miembros así como el replanteamiento de metas y objetivos.

Por tanto la Implantación de la innovación es el proceso por el cual las innovaciones son asumidas, adoptadas por los profesores, y estos deciden ponerlas en práctica.

De las múltiples dimensiones que tienen los procesos de cambio, es necesario prestar especial atención a la dimensión personal del cambio si pretendemos que algo cambie realmente.

Y es que debemos tener claro que los profesores no son técnicos que ejecutan instrucciones, sino que cada vez más se asume que el profesor es un constructivista que procesa información, toma decisiones, genera conocimiento práctico, posee creencias, rutinas, etc, que influyen en su actividad profesional (Marcelo, 1994).
Fullan (1991) así lo plantea cuando establece que cualquier innovación conlleva inevitablemente la utilización de materiales curriculares diferentes a los habitualmente empleados. Fullan dice que “ la gestión del cambio se hace difícil debido a que debemos tener en cuenta los procesos de aprendizaje que son personales y causan ansiedad por parte de los individuos que trabajan en las organizaciones (1986:75).

         Por tanto la dimensión personal del cambio, es la atención al impacto que la propuesta de innovación tiene o puede tener en las creencias y valores de los profesores.

1.6. Modelo de Cambio del Profesor (Guskey, 1986)

Se refiere este modelo al proceso de cambio del proceso que presenta una orientación temporal. Cuando se habla de mejora no nos referimos sólo al aprendizaje, rendimiento, sino también a la motivación, participación, actitud hacia la escuela, etc.

Guskey parte de la idea de que los profesores son capaces de modificar su conducta docente sin estar totalmente convencidos de que lo que están haciendo vaya a repercutir positivamente en los alumnos. Es más, afirma que las innovaciones o propuestas de cambio han de ser “explicadas” a los profesores con la suficiente claridad para que éstos puedan llevar a la práctica las nuevas ideas.

Anteriormente ya habíamos hablado del modelo CBAM, éste se caracteriza principalmente porque enfatiza por encima de todo, la necesidad de comprender las actitudes y destrezas de los profesores, de tal forma que, actividades de apoyo tales como desarrollo del profesor, coaching, proporcionar materiales, etc., pueden relacionarse directamente con lo que los profesores perciben que necesitan.

En esta teoría, el concepto “preocupación” juega un papel importante en la medida en que asume que hay que atender a las necesidades y demandas específicas de los profesores que se implican en procesos de cambio.

Las etapas de preocupaciones de los profesores siguen una evolución. Para identificar las preocupaciones de los profesores, existe el Cuestionario de las Etapas de Preocupaciones. La utilización de estas etapas de Preocupaciones se ha empleado también para la evaluación de innovaciones tal como nos han informado Loucks y Melle (1982) y Mitchell (1988).

Un segundo componente del modelo CBAM es el denominado Niveles de Uso de la Innovación. Estos representan lo que se puede ver y observar en las clases en las que se lleva a cabo la innovación. Los niveles son seis:

VI Renovación: estado en el que el usuario reevalúa la calidad del uso de la innovación, busca mayores modificaciones o alternativas.

V Integración: estado en el cual el usuario combina los esfuerzos propios por usa la Innovación con los de sus colegas.

IVB Refinado: estado en el cual el usuario varía el uso de la innovación para mejorar el impacto sobre los alumnos.

IVA Rutina: El uso de la innovación se estabiliza.

III Uso mecánico: estado en el cual el usuario se centra sobre todo en los esfuerzos a corto plazo, en el uso día a día de la innovación con poco tiempo para reflexionar.

II Preparación: estado en el cual el usuario se está preparando para utilizar por primera vez la innovación.

I Orientación: estado en el que el usuario ha adquirido o está adquiriendo información sobre la innovación.

0 No uso: estado en el que poco o ningún conocimiento de la innovación se posee. No hay implicación con la innovación.

1.7. Niveles de Uso de la Innovación (Hall y Hord, 1987)

Los Niveles de Uso de la Innovación permiten conocer la evolución que una determinada innovación va teniendo a lo largo de un periodo de tiempo, por lo que se ha utilizado como estrategia la evaluación (Loucks y Melle, 1982).

Ahora, cómo se lleva a la práctica de forma individual la innovación planteada. Fullan (1991) nos habla de otras condiciones de todo proceso de implantación. Una de ellas es la necesidad de que en la escuela o entre los profesores exista una “visión”. “La visión entendida como un conjunto de metas compartidas no significa la suma de las metas individuales, sino que tiene que ver con el grado de consenso entre el profesorado” (Vandenberghe, 1991:3).

Otro aspecto importante es adoptar un tipo de planificación no rígida, sino evolutiva, asumiendo la necesidad de flexibilidad. Ya que ningún plan específico puede durar mucho tiempo.

Otra de las condiciones de la implantación es el continuo esfuerzo por el desarrollo profesional de los profesores, que participan en el proyecto de innovación.


2. LA EVALUACIÓN DE LAS INNOVACIONES EDUCATIVAS

Cuando hablamos de evaluación y calidad no son sólo problemas técnicos los que nos preocupan, sino también otros que determinan las metas de evaluación.

Llama la atención que existan muy pocos trabajos tanto de investigación como conceptuales en torno a la evaluación de innovaciones educativas. Las innovaciones consumen mucho tiempo y demandan considerable esfuerzo y energía. También son caras en el ámbito de recursos materiales.

Entendidas las innovaciones educativas como procesos de formación de profesores, podemos asumir plenamente las palabras de Joyce y Showers (1988) cuando establecen que “Diseñar la evaluación de programas de desarrollo profesional es difícil por las siguientes razones. Primero, el sistema es amplio y complicado. Segundo, la forma como se lleva a cabo cada actividad y programa está muy influida por su contexto. Tercero, las actividades de desarrollo profesional tienen como última meta influir en el aprendizaje de los alumnos a partir de una cadena de fenómenos...Cuarto, la medida de muchas de las variables presenta dificultades técnicas. Quinto, las limitaciones de presupuesto casi siempre producen la necesidad de estudiar muestras en lugar de la población en su totalidad. Sexto, las buenas evaluaciones se llevan a cabo en contra de lo que habitualmente se entiende por evaluaciones” (Joyce y Showers, 1988:111-112)

La evaluación de las innovaciones educativas resulta una tarea compleja, y amplia en la que influyen factores profesionales, económicos, políticos, institucionales, educativos y curriculares.

El análisis de la evaluación de la innovación educativa puede estructurarse en base a algunas de las preguntas que recientemente ha recordado Nevo (1995) en su libro School-Based Evaluation.

1. ¿Qué entendemos por evaluación?

2. ¿Qué se debe evaluar?

3. ¿Qué tipo de información debe recopilarse para cada objeto de evaluación?

4. ¿Qué criterios de evaluación se utilizarán?

5. ¿Cuáles son las funciones de la evaluación?

6. ¿Quiénes son los clientes o receptores de la evaluación?

7. ¿Cuál será el proceso a seguir para evaluar?

8. ¿Qué métodos de indagación se utilizarán?

9. ¿Quién realizará la evaluación?

10. ¿Qué criterios debe cumplir la propia evaluación?

Nevo plantea que la evaluación de los procesos de innovación educativa puede cumplir varias funciones. En primer lugar se puede afirmar que la evaluación es necesaria porque hay que rendir cuentas, para desarrollar una innovación. 

En segundo lugar, la evaluación de la innovación educativa, responde a la necesidad de mejorar los programas y procesos innovadores durante su propio proceso de realización.

Otra de las funciones es entender que la evaluación, entendida desde una perspectiva formativa conduce a la  profesionalización de los profesores. Ello es así porque la innovación significa también formación. Se asume generalmente que la escuela es un lugar para los alumnos, pero también para que los profesores aprendan, se desarrollen: “si entendemos la enseñanza como una profesión, y por tanto esperamos que los profesores planifiquen de forma mecánica un currículum planificado, entonces la evaluación es una parte fundamental de su trabajo. Les ayuda a analizar las necesidades de sus estudiantes en relación con las metas de la escuela, valora los recursos y oportunidades disponibles, escoge estrategias instruccionales y evalúa la calidad de su trabajo, si seguimos una concepción profesional en lugar burocrática de la enseñanza, la evaluación se convierte en una parte integral del trabajo de los profesores” (Nevo, 1995:44).

Evaluación e Innovación resultan aquí dos términos complementarios y básicos a tener en cuenta en la evaluación de las innovaciones educativas. Hopkins establecía tres tipos de relaciones entre ambos conceptos: Evaluación de la innovación; Evaluación para la innovación, y la Evaluación como innovación.

La evaluación de la innovación nos remite a un enfoque más sumativo y técnico de control de resultados al que ya nos hemos referido anteriormente. La evaluación para la innovación nos muestra la necesidad de incorporar procesos evaluativos para mejorar la innovación en sus diferentes fases. Por último, evaluación como innovación hace referencia a estrategias de desarrollo escolar o de investigación-acción en las que es la evaluación institucional el eje sobre el cual se construye y pivota un proceso de innovación.

A partir de las funciones que anteriormente hemos presentado se puede deslumbrar con claridad la distinción que Scriven realizó entre evaluación Sumativa y Formativa.  Describe la evaluación formativa como aquella que se desarrolla durante el proceso para proporcionar al equipo de coordinación información evaluativa útil para mejorarlo. La evaluación sumativa es aquella que se lleva a cabo al final del programa y que proporciona a los organizadores o patrocinadores de la actividad información referida a juicios acerca del valor y mérito del programa.

No quisiéramos plantear la opción entre evaluación formativa o sumativa como una elección excluyente. Las evaluaciones sumativas pueden tener un efecto formativo si la audiencia son los propios profesores participantes en el proceso de innovación. 

La diferencia entre evaluación Sumativa y Formativa lleva a diferenciar entre evaluación interna y evaluación externa. La evaluación interna se lleva a cabo por alguien que conoce mucho más el programa que un externo, aunque se corre el riesgo de que al estar tan próximo al mismo puede hacer que sea incapaz de ser completamente objetivo.

2.1. ¿Qué se evalúa en lso proyectos y procesos de innovación educativa?

Diferentes autores plantean la necesidad de hacer un esfuerzo especial en la determinación de los objetivos a evaluar. Todo ello tendrá que verse y ser tenido en cuenta en función de las posibilidades, tiempos y recursos asignados a la evaluación.

La evaluación es un proceso que debe realizarse en base a principios de rigor, honestidad y verosimilitud. De la Torre dice que la evaluación es “proceso de ordenación de la información y los argumentos que posibiliten a los individuos interesados, participar en un debate crítico sobre un programa específico”. Los principios a los que hace referencia serían:

-          Racionalidad.

-          Autonomía y responsabilidad.

-          Partir de los intereses de la comunidad.

-          Pluralidad de valores y perspectivas.

-          Comunidad autocrítica.

-          Honestidad.

-          Pertinencia.

Como hemos descrito anteriormente, no podemos entender la innovación educativa como un a suceso aislado que ocurre de manera casual. No sólo hay que entenderlo como un proceso que consta de diferentes fases y momentos, sino que influye y a su vez está influido por las condiciones de la política educativa respecto a la innovación y la formación del profesorado.

La evaluación de la innovación educativa ha de contemplar no sólo el proceso de iniciación, desarrollo e institucionalización en los propios centros educativos, sino que será necesario incorporar un análisis evaluativo de las políticas de promoción, mantenimiento y difusión de la innovación por parte de la Administración Educativa. Así, la evaluación de la innovación ha de tener en cuenta los dos componentes básicos del sistema: el sistema público de apoyo a la innovación educativa, así como los procesos de iniciación y desarrollo de innovaciones concretas en centros educativos.

Con respecto a lo hemos denominado Sistema Público de Apoyo a la Innovación Educativa, entendemos que deberían ser objeto de revisión y análisis, en primer lugar la propia convocatoria oficial que anualmente concreta lo establecido en el Plan de Formación de Profesorado.

Un segundo aspecto a tener en cuenta en la evaluación de la innovación educativa tiene que ver con los procesos y criterios que se establecen para la selección, aprobación o denegación de los proyectos de innovación presentados a la convocatoria.

El segundo sistema que nos interesa destacar es el proceso interno de desarrollo de la innovación. De este decir, en primer lugar, que nos parece necesario analizar el  contexto donde surgen los proyectos de innovación, el tipo de centro, de profesorado, las experiencias previas en otras innovaciones o actividades formativas, la participación de los padres, etc. En segundo lugar, es importante conocer como se inicia el proyecto, quien decide el tema, cómo se decide, qué nivel de participación tienen los profesores, cómo se construye el proyecto, etc. En tercer lugar, y ya con el proyecto de innovación aprobado, nos parece imprescindible conocer el propio desarrollo del proyecto y el ciclo de transformaciones que se producen en el mismo.

Por último nos ha interesado conocer cuáles han sido los resultados que se producen como consecuencia del proyecto de innovación en los profesores como profesionales, en las aulas, en el centro, en los alumnos.

La mayor parte de la investigación que se ha llevado a cabo en relación al desarrollo profesional de los profesores ha pretendido establecer qué cambia como consecuencia de la participación en una actividad de desarrollo profesional.

La evaluación de las innovaciones ha de contemplar necesariamente los efectos que ésta produce a diferentes niveles.

En primer lugar, el efecto del desarrollo de una innovación educativa puede suponer que los profesores que han participado poseen un conocimiento, destreza, desarrollo personal, nivel conceptual, madurez, etc. que anteriormente no poseían o poseían en  menor medida. En función del nivel a que nos retirarnos, la evaluación se llevará a cabo utilizando pruebas escritas, entrevistas u observaciones de clase.

En segundo lugar, la participación de los profesores en una actividad de formación puede tener repercusiones en los alumnos. Los alumnos pueden mejorar sus resultados cognitivos, así como los resultados socio-afectivos y personales.

Los cambios que podemos encontrar en los alumnos vienen como consecuencia de la introducción en el aula de estrategias didácticas innovadoras. En este sentido la clase se configura como un elemento de crucial importancia para la evaluación de la innovación.

En cuarto lugar, los cambios pueden tener también una repercusión a nivel de escuela.

BIBLIOGRAFÍA:

-  Marcelo García C. Investigación evaluativa de las experiencias de innovación educativa.  Universidad de Sevilla.