Introducción
En el presente estudio se da cuenta de resultados obtenidos en el marco de una investigación doctoral sobre la calidad de los sistemas de evaluación de los estudiantes (Cabra, 2005). Aquí nos centramos exclusivamente en el análisis de los principios de calidad propuestos en estándares profesionales de la evaluación educativa, a partir de las percepciones de los estudiantes.
Como se sabe la calidad de los sistemas de evaluación del estudiante constituye, en la actualidad, un campo complejo de conocimientos y competencias profesionales que exige sin lugar a dudas una actualización, ajuste y formación más rigurosa de los profesores que la que tradicionalmente se ha proporcionado en los programas de formación docente.
Como respuesta a la necesidad de perfeccionamiento de los sistemas de evaluación y del fortalecimiento de la calidad de la enseñanza, en las últimas décadas, en diversos países, se ha impulsado la elaboración y difusión de estándares y códigos de la práctica que buscan implicar a los profesores en un aprendizaje profesional de la evaluación y promover su responsabilidad. En algunos trabajos (Stufflebeam & Sanders, 1997) se ha tratado de ilustrar la potencialidad de los estándares de práctica para activar iniciativas de mejoramiento y facilitar la regulación crítica de la acción evaluativa en la institución educativa, más allá de su carácter prescriptivo o normativo. Nos referiremos en este trabajo, en concreto, a los estándares para la evaluación del estudiante publicados en el 2003 por el Joint Committee on Education Standards for Educational Evaluation -JCSEE- (Comité Conjunto de Estándares para la Evaluación Educativa).
Estándares profesionales de práctica:
su importancia en la enseñanza y la evaluación educativa
Conviene recordar que, con frecuencia, los estándares se confunden con las evaluaciones y se asocian con la estandarización por eso su definición requiere una clarificación específica (Montes Iturrizaga, 2002; Ravitch, 2002). Planteamos aquí la diferencia entre estándares referidos a los aprendizajes de los estudiantes, o estándares curriculares que definen lo que los estudiantes deben saber y saber hacer, y los estándares de práctica referidos, en cambio, al ejercicio profesional y los procesos implicados.
Los estándares de práctica representan modelos de práctica derivados de tres perspectivas: del conocimiento basado en la investigación, de la experiencia práctica y de las consideraciones éticas, la responsabilidad, los valores y principios profesionales compartidos. Para Ingvarson y Kleinhenz (2006), los estándares de práctica buscan reflejar de alguna manera la profundidad y complejidad de las actividades de la profesión, no se limitan a reglamentos por cumplir. No deben ser tomados como prescripciones, reflejan más bien las normas y conocimientos compartidos y relacionados con los principios en los que debe basarse el ejercicio profesional.
Distanciándonos, entonces, del carácter polémico y conflictivo de los estándares curriculares, nos enfocamos, más bien, en el sentido regulador y orientador que podrían tener los estándares de práctica como principios que pueden activar iniciativas de mejoramiento docente y profesional. En tanto, los estándares de práctica se orientan más hacia las cuestiones claves de la formación del profesorado y de las buenas prácticas de la profesión, su núcleo de interés lo constituyen el conocimiento y las competencias docentes como factores indispensables de cualquier iniciativa de reorientación del currículo.
La importancia de los estándares de práctica para la enseñanza y la evaluación radica en enfatizar la dimensión pública y colegiada de la evaluación, lo que implica fortalecer la actuación profesional del profesor de modo que sus acciones y decisiones puedan estar avaladas por su competencia, conocimiento y juicio profesional, antes que por una acción rutinaria irreflexiva (Cabra, 2003).
Los estándares referidos a la práctica profesional, como es el caso de los Estándares para la Evaluación del Estudiante elaborados por el JCSEE, no son prescripciones, reflejan más bien normas y conocimientos compartidos por las personas implicadas en una práctica. En efecto, algunos de los principios y estándares de evaluación no pretenden ser ni exhaustivos ni obligatorios, de lo que se desprende más bien una función de carácter práctico, orientador y reflexivo (JCSEE, 1988).
El modelo profesional de los estándares de evaluación, propuesto por el Comité norteamericano, al que hacemos referencia en nuestro estudio, está basado en la capacidad de generar el consenso e implicación del profesorado a nivel de centro (McKenna, Stufflebeam, Nevo & Thomas, 1998). En nuestra opinión, el desarrollo de determinadas habilidades y el perfeccionamiento de la competencia evaluadora son, en principio, una respuesta apropiada para aligerar la carga evaluativa del profesor, en particular las tareas burocráticas y la falta de una planificación adecuada. Por tanto, una mayor competencia implicara más confianza y control sobre su trabajo, así como capacidad de aprender más.
La calidad de acuerdo con los Estándares
para la evaluación de los estudiantes (JCSEE)
Los estándares más elaborados y que se basan en mayor consenso, son probablemente los desarrollados y publicados por el JCSEE en 1981, 1994 y 1998. Para el objetivo de este trabajo nos detendremos en la descripción de los Estándares para la evaluación del estudiante (The student evaluation standards, 2003) publicados bajo la dirección de Arlen Gullickson.
El término estándar de evaluación no es precisamente una expresión con la que se encuentre familiarizado el profesorado. Un estándar de evaluación en el sentido planteado por el Comité Conjunto norteamericano, es ante todo un principio de calidad. Los estándares son principios acordados por una comunidad de expertos en el campo de la evaluación, tienen un carácter más bien orientativo, y pueden servir de guías y lineamientos para el perfeccionamiento de los sistemas de evaluación del alumnado y de las prácticas evaluativas de los profesores.
El conjunto de los 28 estándares de evaluación del estudiante, se organiza bajo cuatro principios que definen una evaluación de calidad: estándares de propiedad o legitimidad, estándares de utilidad, estándares de viabilidad y estándares de precisión, como se presentan en la Tabla 1.
- Estándares de propiedad: conjunto de siete estándares que tiene como finalidad asegurar que la evaluación se lleva a cabo de forma legal y ética, respetando los derechos de los estudiantes en el proceso de evaluación y garantizando la integridad de la práctica.
- Estándares de utilidad: consisten en un conjunto de siete estándares con el fin de asegurar que la evaluación satisface las necesidades prácticas de información (de profesores, estudiantes, familias). Tienen como objetivo hacer que las evaluaciones sean informativas, oportunas y produzcan el impacto necesario para que los resultados se traduzcan en acciones y políticas para el mejoramiento del proceso educativo.
- Estándares de viabilidad: Hace referencia al tiempo y los recursos para llevar a cabo el proceso evaluativo de manera eficaz, así como también a la participación activa y el compromiso de los directamente afectados en la evaluación (estudiantes, profesores, familias y otros participantes involucrados).
- Estándares de precisión: conjunto de once estándares para asegurar que la evaluación revela y transmite información técnicamente adecuada. Los estándares de precisión permiten determinar si una evaluación ha producido información razonable, si los métodos son apropiados a los propósitos de la evaluación, al contexto y a los estudiantes evaluados.
El uso de los Estándares para la
evaluación de los estudiantes del JCSEE
Vale la pena decir, que los estándares para la evaluación de los estudiantes no son contrarios al significado de una evaluación comprensiva, contextualizada e interactiva propia de la educación básica. Referimos a continuación los cuatro usos más significativos que se tienen de los estándares en el contexto educativo:
- Diagnóstico y mejora de los sistemas de evaluación. Los estándares pueden utilizarse para detectar las deficiencias de los sistemas de evaluación del alumnado y, en general, para diagnosticar fortalezas y debilidades y orientar las acciones de mejora (Nevo, 1997; McKenna, Nevo, Stufflebeam & Thomas, 1998).
- Desarrollo de sistemas de evaluación de calidad (útiles, válidos y equitativos). En el caso de reformar o crear nuevos sistemas de evaluación, los estándares son útiles para tener en cuenta un amplio abanico de cuestiones legales, éticas, procedimentales y metodológicas que garantizan la validez y justicia de las prácticas de evaluación (Farland & Gullickson, 1998; JCSEE, 1998).
- Autorregulación y búsqueda de la excelencia profesional. Los estándares pueden ser utilizados desde una orientación puramente formativa para buscar y promover la excelencia profesional de los profesores, proporcionando una fundamentación adecuada para revisar su propia práctica y ajustarla a principios basados en la investigación educativa.
- Formación inicial y continua del profesorado. También se le ha asignado la posibilidad de servir para la formación y entrenamiento de evaluadores, de profesorado y personal administrativo y también de los aspirantes a la profesión docente. Baumgart (1996) destaca la importancia de contar con códigos de ética ampliamente aceptados en la profesión para promover el carácter ético en la formación de evaluadores.
- Metaevaluación. Hace referencia a la evaluación de la evaluación. En términos prácticos, los estándares pueden facilitar la actividad metaevaluativa, por ejemplo, facilitando al profesorado unos principios y normas para evaluar periódicamente los procesos, procedimientos e instrumentos de los programas de evaluación de los aprendizajes.
En suma, los estándares para la evaluación del estudiante, pueden responder a distintos usos educativos como recursos que enriquecen y propician el diálogo reflexivo sobre la evaluación como práctica profesional; podrían utilizarse para desarrollar actividades de perfeccionamiento del profesorado; o como referencias para el diagnóstico y mejoramiento de la calidad de los sistemas de evaluación, desde la perspectiva de los distintos actores educativos.
El presente estudio se aproxima a esta última alternativa: se exploran las percepciones de estudiantes sobre la calidad del proceso de evaluación y se contrasta la calidad determinada por los expertos con la realidad educativa concreta de los estudiantes y el significado que le otorgan al proceso evaluativo.
Método
Participantes
El estudio se llevó a cabo en dos centros educativos españoles de carácter privado en el curso académico de 2003-2004. Los criterios específicos de los que partimos para la selección, se pueden sintetizar en los siguientes:
• Centros educativos con experiencia y/o apertura a la innovación y calidad educativas.
• Centros educativos que intentan o deseen intentar de manera planificada la mejora de la evaluación de los alumnos.
• Centros educativos dispuestos a conceder tiempo para el trabajo del profesorado y aceptación de un contrato para aprender.
Partiendo de lo anterior, se optó por los centros que respondieran a los criterios de nuestra convocatoria, que admitieran su participación en el calendario propuesto por la investigación y, como lo señala Stake (1998), fue muy importante el criterio de oportunidad para aprender y optar por centros donde nuestras indagaciones fueron bien acogidas.
La muestra de estudiantes estuvo compuesta por un total de 350 estudiantes de ESO (Educación Secundaria Obligatoria) y Bachillerato que fueron encuestados, de los cuales se obtuvieron 311 casos válidos. La muestra se configuró tratando de consultar los estudiantes de los distintos niveles de modo que se obtuviera una muestra equilibrada cubriendo todos los niveles de ESO y Bachillerato, a través de un muestreo intencional (Dorio, Sabariego & Massot, 2004). En las características de la muestra, se confirma la antigüedad de los encuestados (un alto porcentaje de estudiantes con más de seis años en el centro) quienes, es posible afirmar, han experimentado el sistema de evaluación en más de un ciclo de su formación y, por lo tanto, su opinión es valiosa ya que han sido testigos de diversas metodologías y normas relacionadas con la calidad de la evaluación en los centros educativos, objeto del estudio.
Diseño del cuestionario
Para recoger información sobre la percepción de los estudiantes en torno a la calidad del proceso de evaluación, hemos recurrido al diseño de un cuestionario autoadministrado, conformado por 32 ítems, utilizando una escala tipo Likert con cinco niveles de respuesta. Los ítems del cuestionario están distribuidos dentro de las cuatro (4) normas en las que se organizan los estándares de evaluación del JCSEE. Para reflejar el contenido, se redactaron entre uno y tres ítems para cada uno de los 28 estándares dependiendo del grado de complejidad o aspectos que eran considerados esenciales para medir el estándar en cuestión. La distribución final de los ítems se presenta en la Tabla 2.
Para cumplir con las condiciones de validez y fiabilidad del instrumento diseñado, se llevaron a cabo los siguientes procedimientos:
- Un estudio de validez de contenido mediante 14 jueces de los cuales 10 eran expertos en evaluación educativa y cuatro profesores de secundaria y directores de centros educativos. Para llevar a cabo el procedimiento de validación, elaboramos una plantilla con las instrucciones correspondientes para que cada uno de los expertos puntuara la pertinencia y claridad de los distintos ítems.
- Una prueba piloto a una muestra de 119 estudiantes, teniendo en cuenta que el tipo de centro presentara características similares a los del estudio definitivo. Durante la administración del cuestionario se registraron las dificultades y dudas expresadas por los estudiantes al tratar de responder las preguntas, así como el tiempo promedio empleado en responderlas. La nueva escala revisada se aplicó a 350 estudiantes de los cuales 165 eran hombres y 184 mujeres; 236 pertenecían al nivel de Educación Secundaria Obligatoria y 114 estaban en Bachillerato.
- La aplicación del análisis factorial como técnica para la validación de la escala, la cual arrojó ocho factores y permitió observar los pesos de los distintos factores en la configuración interna del instrumento y obtener elementos de interpretación del mismo. Se utilizó la técnica de Análisis de Componentes Principales con rotación Varimax. Para este análisis se utilizaron 311 de los casos y no los 350 pues 39 casos contenían datos perdidos y la técnica utilizada no puede dar cuenta de ellos.
- Se aplicó un análisis de fiabilidad y consistencia interna con el programa estadístico SPSS para cada uno de los ocho factores extraídos (Tabla 3). Los niveles de fiabilidad de los factores no son tan altos como se esperaban, sin embargo, en futuras implementaciones pueden ser mejorados al incluir nuevos ítems que permitan lograr escalas más robustas
- Todo el ejercicio de validación y revisión permitió ajustar el instrumento y someterlo a un análisis detallado de su contenido y relevancia, que dio como resultado niveles aceptables de calidad en su elaboración, reconociendo las limitaciones que se podrán superar en estudios posteriores.
Resultados
La técnica del análisis factorial es utilizada para reducir un amplio número de variables a un número reducido de componentes o factores, así “lo que se busca es que todas las variables entre las que existe una relación se agrupen o saturen en un mismo factor, utilizándose como método exploratorio” (González López, 2006, p. 454). Teniendo en cuenta que el análisis factorial exploratorio es considerado más un procedimiento para generar ideas que para confirmarlas (Morales, 2007), nos enfocamos en su carácter descriptivo y analizamos los resultados tratando de profundizar en el contenido de cada uno de los ítems que componen cada factor, es decir, nos centramos en los conceptos subyacentes o latentes.
Del proceso de agrupamiento de las 32 variables se obtuvo un conjunto de ocho factores relacionados con cuestiones relativas al proceso de evaluación del estudiante, como se observa en la Tabla 4.
Cada uno de los factores agrupa, a su vez, entre seis y tres ítems pertenecientes a los distintos atributos de la evaluación (propiedad, utilidad, viabilidad o precisión) y no sólo a un tipo de estándar específico, como se puede confirmar en cada uno de los factores obtenidos. El Factor ocho es lógicamente el más débil para su interpretación, pero se ha integrado por el interés que puede presentar su análisis de contenido.
En un primer plano del análisis, exploramos el significado de los factores obtenidos y en un segundo plano, a modo de discusión, procedemos a describir la relación entre dichos factores y los elementos de un modelo de evaluación orientado al perfeccionamiento educativo.
Significado de los factores obtenidos
A partir de una descripción de los factores obtenidos, nos aproximamos a algunas de las dimensiones de la calidad de la evaluación, que desde la perspectiva de los estudiantes encuestados aparecen como significativas para los participantes.
- Factor 1: Usos de la evaluación. Este factor hace referencia a los usos de la evaluación en el aula de clase que se dan diariamente en el intercambio entre estudiantes y profesores (Tabla 5). Hay muchos usos potenciales de la evaluación: además de informar sobre en qué medida se han aprendido los contenidos, se destaca el uso de la evaluación como medio para la reflexión sobre lo aprendido y para mejorar la propia forma en que se lleva a cabo; para proporcionar información sobre las fortalezas y debilidades, para dar recomendaciones sobre lo que se debe mejorar y cómo hacerlo; y para la provisión de actividades que permitan a los estudiantes superar las dificultades y avanzar en el aprendizaje. Un uso adecuado de la evaluación implica, además, la comunicación de los criterios de evaluación que se utilizarán para juzgar el trabajo de los estudiantes en las distintas asignaturas.
- Factor 2: Evaluación como revisión del proceso. Este factor hace referencia a las actividades y condiciones que favorecen la mejora del aprendizaje del estudiante (Tabla 6). En concreto, la evaluación formativa que sirve como base para tomar decisiones respecto a cómo avanza el proceso de enseñanza y de aprendizaje; el conocimiento del contexto del estudiante y los factores que influyen o condicionan su aprendizaje; la revisión diaria del trabajo del estudiante y las aclaraciones que se deben hacer durante el proceso; las orientaciones prácticas para mejorar los resultados de aprendizaje; confirmar la claridad de instrucciones y preguntas para que la evaluación sea más válida y justa; y la preocupación porque los estudiantes cuenten con los recursos y las condiciones previas para enfrentarse a las actividades de evaluación.
- Factor 3: Resultados de la evaluación como retroalimentación. Este factor hace referencia a algunas de las acciones implicadas en la entrega de los resultados de la evaluación del aprendizaje (Tabla 7), tales como: señalar en cada trabajo y prueba de evaluación los aspectos que se deben corregir y mejorar; devolver los resultados en un tiempo oportuno, si se quiere que los utilicen los estudiantes para mejorar los logros de aprendizaje; y en general explicar con claridad los resultados para lograr mayor conciencia sobre las actividades y objetivos de aprendizaje. El análisis de los resultados se relaciona, en este caso, con la condición previa de proporcionar un tiempo suficiente para realizar las tareas de evaluación con el fin de garantizar su éxito en el trabajo escolar.
- Factor 4: Orientaciones de la evaluación. Este factor se refiere al conjunto de orientaciones que se proporciona a los estudiantes y familias acerca de los métodos, los procedimientos de evaluación y los criterios (Tabla 8). Se tiene en cuenta como condición el derecho de los estudiantes y familias a conocer con anterioridad tanto los procedimientos como los criterios de evaluación de las actividades, aspectos que definen en gran parte las metas, las estrategias y el sentido del trabajo escolar.
- Factor 5: Legitimidad de la evaluación. Este factor hace referencia a los estándares relativos a los derechos de los estudiantes y al respeto de su integridad durante el proceso de la evaluación (Tabla 9). Se enfatiza en la relación profesor-estudiante y en el manejo de los conflictos derivados de la aplicación y desarrollo de la evaluación en las instituciones educativas.
Los ítems que agrupa este factor son cuatro (4), éste es el único factor que agrupó estándares del mismo tipo –estándares de propiedad–, lo cual sugiere la importancia otorgada a las garantías procedimentales de la evaluación del estudiante como condición indispensable para que el proceso de evaluación sea legítimo, justo y formativo.
- Factor 6: Claridad de la información de la evaluación. Este factor sugiere la importancia dada a los procesos de comunicación y clarificación de los procedimientos y objetivos de aprendizaje, antes y después de las evaluaciones (Tabla 10); se relaciona con el Factor 4 ya descrito. El énfasis se hace en la responsabilidad del profesor de explicar cómo se llevará a cabo la evaluación en relación estrecha con los objetivos de aprendizaje. Así mismo, resulta importante permitir a los estudiantes hacer preguntas o comentarios sobre las actividades evaluativas y sobre cómo se toman las decisiones y cuáles son los objetivos más relevantes a alcanzar.
- Factor 7: Garantía de la evaluación. Este factor hace referencia a que el proceso de evaluación efectivamente garantice tres aspectos significativos (Tabla 11): primero, una identificación y comprensión de la medida en que los aprendizajes han sido logrados por el estudiante; segundo, el ajuste de las prácticas de enseñanza a las condiciones y necesidades identificadas para que se favorezca el aprendizaje; y tercero, que se cuente con el apoyo y comprensión de las familias para lograr una visión compartida entre escuela-familia respecto a la evaluación y el aprendizaje escolar, factor indispensable en la viabilidad del proceso evaluativo.
- Factor 8: Objetividad de la evaluación. De los ocho factores obtenidos es el más endeble, por tanto presenta mayor riesgo para interpretarlo pero nos remite al concepto de objetividad y de credibilidad, dos tópicos que suelen ser una constante en las discusiones y apreciaciones sobre la idoneidad de la evaluación. Por un lado, se espera que la evaluación no tenga sesgos y, por otro, que refleje lo que realmente se ha aprendido (Tabla 12).
En suma, el análisis realizado nos ha permitido, de alguna manera, obtener una visión aproximada y exploratoria de la calidad del proceso de evaluación percibido por los estudiantes y, en concreto, entender de qué manera los estándares se relacionan con el proceso de evaluación en sus distintos momentos y actividades.
Es evidente la relevancia dada a todos los atributos de la evaluación (utilidad, legitimidad, viabilidad y precisión) y cómo algunos pueden resultar más relevantes en una fase u otra del proceso de evaluación. Hemos podido confirmar la forma en que se agrupan los estándares cuando se aplican en realidades prácticas de la evaluación, es decir, vemos cómo los estándares son complementarios unos con otros y cómo no se identifican siempre con tareas específicas de la evaluación, sino que son transversales a las distintas operaciones y cuestiones evaluativas, en un proceso sistemático continuo y riguroso.
Discusión
Los análisis nos han permitido comprender de qué manera los estándares se relacionan con el proceso más amplio de la evaluación y el sentido que tienen para los estudiantes encuestados. Como es sabido, los estándares se han desarrollado desde un nivel técnico-científico, hacen referencia a un entorno ideal de la práctica y, por lo tanto, definen un nivel de exigencia alto para llevar a cabo una evaluación idónea. En este análisis, de alguna manera, se contrasta la calidad determinada por los expertos con la realidad educativa concreta de los estudiantes; podríamos decir que hemos aproximado la realidad técnica a una realidad más subjetiva como es la del aula de clase.
En un primer plano del análisis hemos encontrado la relación entre los estándares y el proceso de evaluación; en un segundo plano del análisis veremos cómo los factores se relacionan, a su vez, con los elementos de un modelo de evaluación orientado al perfeccionamiento educativo.
La evaluación de los estudiantes: aproximación a un modelo orientado al mejoramiento educativo
En este plano del análisis encontramos que el conjunto de los 8 factores se vincula con determinados elementos del Modelo CIPP (Context-Input-Process Product), de Stufflebeam (2003) el cual ha sido concebido como una estrategia de perfeccionamiento. Desde hace 30 años, el autor manifestaba que la función primaria de la evaluación es la mejora, sosteniendo que “la evaluación no es para demostrar sino para mejorar” (Stufflebeam & Shinkfield, 1987).
El Modelo CIPP es un modelo netamente comprensivo y lo hemos considerado como el más apropiado para describir los procesos de un sistema de evaluación de los estudiantes y para representar el sistema de relaciones entre los factores encontrados. Como se puede apreciar en la Tabla 13, los ocho factores obtenidos están relacionados con los elementos del Modelo CIPP y responden, de alguna manera, a las fases de un proceso de evaluación global que permite sistematizar los distintos aspectos de la realidad de la práctica de la evaluación: a) las condiciones de partida o contexto, b) los propósitos y planes de acción, c) el proceso de implementación y desarrollo y d) los resultados de la evaluación.
A. Las condiciones de partida o contexto: el entorno y las necesidades de los estudiantes
Evidentemente, una situación de evaluación siempre sucede dentro de un contexto histórico determinado. El contexto no se circunscribe sólo a la institución educativa, sino también al contexto sociocultural más amplio y, a su vez, se relaciona con el entorno familiar más cercano del estudiante. En el contexto de la evaluación del estudiante, esa es precisamente la orientación diagnóstica de la evaluación, “que tiene como función prevalente informar al profesor sobre a) dónde están los estudiantes al comenzar el curso: qué saben ya, qué deficiencias traen, etc.; b) hecha durante el período de instrucción, tiene como finalidad el determinar las causas de los fracasos, qué circunstancias influyen en que no se vayan consiguiendo los objetivos propuestos, etc.” (Morales, 1995, p. 35). La evaluación ya no trata sólo de clasificar y seleccionar sino que tiene que entenderse como un diagnóstico al servicio de las necesidades de conocimiento del estudiante.
Concretamente, en relación con el estudiante, sus necesidades, intereses y motivación, marcan y ejercen una influencia determinante en la evaluación. Aunque no siempre sean dimensiones explícitamente reconocidas o comprendidas por ellos mismos, es un hecho que pueden condicionar la aplicabilidad de las actividades de aprendizaje y evaluación.
B. Entrada: Los propósitos, la información y los planes de acción de la evaluación del estudiante
La evaluación de entrada hace referencia a los planes de acción, sus propósitos y en general a la información relacionada con las metas y las actividades de evaluación. En la evaluación del estudiante desempeñan un papel importante los objetivos de aprendizaje, los criterios y la información de partida que deben conocer profesores, estudiantes y familias para tener una visión compartida de la evaluación.
Todo proceso evaluativo implica una fase preactiva, de prefiguración y planificación en la que se establecen los propósitos, los objetivos didácticos, los contenidos de aprendizaje y las estrategias de valoración, comprobación y comunicación, todo lo cual es necesario establecerlo al inicio del proceso formativo.
Estas orientaciones dadas al inicio y durante el proceso de evaluación, determinan en parte la calidad de la comunicación y favorecen la comprensión del proceso evaluativo por parte de estudiantes y familias. Son un punto de partida para el diálogo, para el establecimiento de normas, de acuerdos y de intencionalidades explícitas entre estudiantes y profesores, por esto son determinantes en la coherencia entre lo que se hace y se dice durante el proceso de evaluación.
La evaluación juega, además, un papel determinante en el clima y contenido del encuentro didáctico. Según Morales (1995), con objetivos didácticos claros se garantiza la validez de la evaluación, se facilita la comunicación entre profesores y estudiantes, ya que los objetivos bien definidos se ven como más asequibles y el estudiante se organiza mejor.
Toda evaluación formativa incluye el diálogo y la comunicación en los distintos momentos del proceso: al principio para identificar necesidades y para informar sobre los objetivos y revisar los criterios establecidos, durante el proceso para enfatizar la comprensión y ajuste de los objetivos de aprendizaje y obtener información para la mejora, y al final para comunicar y discutir los resultados.
C. Proceso: La evaluación formativa y las interacciones educativas en el proceso evaluativo
La evaluación del proceso debe usarse de manera prospectiva para mejorar el plan de trabajo, pero también de manera retrospectiva para juzgar hasta qué punto la calidad del proceso desarrollado determina el por qué los resultados son de un nivel u otro (Stufflebeam & Shinkfield, 1987).
Gran parte de los factores obtenidos hacen referencia al ‘proceso’ más que al producto de la evaluación. Algunos se relacionan con los procesos de aula tales como la evaluación formativa, la claridad de la información, las garantías procedimentales de la evaluación y, también, con el clima de aula referido, en concreto, a la legitimidad de la evaluación que da cuenta de la dimensión relacional y su carácter equitativo.
La evaluación que se hace de manera individual a los estudiantes en el aula de clase se basa en una serie de orientaciones sobre cómo aprender y mejorar el aprendizaje. Estas actividades de carácter más didáctico y relacional que constituyen la retroalimentación y la evaluación formativa se han considerado como el verdadero factor de garantía de la calidad de los aprendizajes (Stiggins, 1994; Nevo, 1997; Black & William, 1998).
La evaluación formativa tiene un carácter puramente procesual, es orientadora y no prescriptiva y marcha paralelamente con los propósitos propuestos. De acuerdo con Nevo (1997, p. 90), “la evaluación formativa que aporta datos para la mejora de la enseñanza y el aprendizaje, parece ser la función primaria más útil de la evaluación, tanto para profesores como para estudiantes”: realimenta el proceso de enseñanza a partir de las diferentes actividades de evaluación; delimita los factores causales directos e indirectos que influyen o condicionan el aprendizaje del estudiante; orienta sobre las técnicas y procedimientos que resultan de mayor beneficio; y provee de una información continua a los estudiantes sobre sus progresos individuales. Por tanto, de la claridad de la información que se comunique a los estudiantes depende en gran parte el logro de las metas y la comprensión del proceso de evaluación y de sus consecuencias formativas.
Desde un punto de vista crítico se han analizado los fenómenos que desata la evaluación en la institución escolar. Según Gimeno Sacristán y Pérez Gómez (1992):
El hecho de realizar la evaluación, y hacerla de una determinada forma, desencadena una serie de fenómenos en los profesores y en los que la padecen (casi exclusivamente los estudiantes), en el propio contexto escolar donde tiene lugar y en el ambiente familiar y social más inmediato a la escuela. Las consecuencias que se derivan de las prácticas de evaluación para estudiantes, profesores, clima escolar o relaciones familia-estudiante y estudiante-sociedad conforman uno de los apartados más relevantes del currículo oculto de la escolarización. (p.337)
El factor relacionado con el clima del proceso de evaluación, subraya la importancia de aspectos, como son los derechos de los participantes, las normas existentes para la solución de conflictos, la forma en que se relacionan los profesores y estudiantes, el apoyo, la participación y la satisfacción de estudiantes, profesorado y familias.
Específicamente en la relación profesores-estudiantes resulta significativa la influencia que ejercen las expectativas del profesor sobre el comportamiento del estudiante. En su polo más positivo, la investigación ha demostrado (Firestone & Rosenblum, 1988 citado en Fullan & Stiegelbauer, 2003, p. 154) “(…) que el compromiso del maestro y el estudiante se retroalimentan mutuamente en formas positivas y negativas. Los estudiantes responden al respeto que les demuestre el maestro, la cantidad de trabajo interesante y la paciencia y el afecto del profesor cuando explica y vuelve a explicar”. Los estudiantes realmente valoran la preocupación por su aprendizaje y bienestar personal y académico.
Por otro lado, el reconocimiento de los derechos de las personas y un trato adecuado inciden en la percepción de justicia, respeto y confianza en el proceso de evaluación. Estas cuestiones, sin embargo, generan dilemas de tipo ético que no son fáciles de dilucidar. Law (1984 citado en Gimeno Sacristán & Pérez Gómez, 1992, p. 382), plantea algunas cuestiones que reflejan la complejidad del proceso, veamos:
- ¿Conviene plasmar apreciaciones del profesor por escrito y darlas a conocer a otros?
- ¿Deben tener los estudiantes poder para rectificar las evaluaciones que se hacen de ellos?
- ¿Debemos hacer públicos todos los datos que poseemos sobre los estudiantes? ¿Qué datos tienen un carácter público y otro reservado?
- ¿A quién debe hacerse partícipe de las informaciones que se poseen?
- ¿Debe tener el estudiante acceso a cualquier cosa que se diga de él?
- Una información que tiene un profesor ¿debe comunicarla a otros profesores del mismo estudiante?
- ¿Qué datos reflejar en informes escritos que quedan en los centros o pasan a la administración pública?
- ¿Quién creemos que debe acceder a los informes de la evaluación: los que toman decisiones en educación y aquellos que recogen información para realizarla, o ha de estar abierta también para los propios estudiantes?
Producto: Los resultados de la evaluación del estudiante
La evaluación del producto sirve para centrarse en la consecución de objetivos valiosos y para determinar si se atendieron las necesidades de los estudiantes previamente identificadas (Stufflebeam, 2003). En realidad pueden existir distintos matices respecto al interés sobre los resultados ya sea que dicho interés provenga del profesorado, del estudiante, de las familias o de la dirección de la institución.
La utilidad de los resultados está relacionada con la capacidad de la evaluación para contestar las preguntas de profesores, estudiantes y familias sobre los resultados de la evaluación. Así, puede ser el caso de que una evaluación sencilla y ágil sea más útil que una evaluación extensa y laboriosa (Marchesi & Martin, 1999). Por lo tanto, depende de cada situación y contexto en que se lleva a cabo la evaluación y de la necesidad de información existente.
Si bien el énfasis sobre la utilidad de la evaluación se centra, con frecuencia, en la toma de decisiones por parte de los profesores, los estudiantes también deben ser concientes de las decisiones implicadas en su proceso de aprendizaje, tanto las que toman los adultos como las que dependen de ellos mismos y que afectan su desarrollo personal y académico.
Finalmente, un aspecto estrechamente relacionado con los resultados de la evaluación es el de la objetividad y su credibilidad. Como señalan Appel y Rieche (2001), el estudiante necesita la mirada ética del docente sobre sus logros: Por su parte el maestro ha de ser una guía que se pone al servicio del grupo evitando dar espacio a sus preferencias o a utilizar su rol para fines personales. Su identidad profesional frente a la práctica evaluativa implica hacer públicos los criterios de evaluación y explicitar los aspectos tenidos en cuenta en la toma de decisiones sobre la promoción del estudiante: “La asignación de valor ciñéndose a la tarea, teniendo en cuenta a todos y a cada uno de los alumnos es una condición necesaria para enseñar y aprender”. (p. 51)
Presentamos a continuación una propuesta funcional para afrontar el autoanálisis de las prácticas de evaluación de los estudiantes a partir de preguntas claves que pueden enfocarse de manera flexible a los contextos de los centros educativos y servir como pautas para la acción teniendo como base los principios de calidad propuestos en los estándares profesionales (Tabla 14).
Reflexiones finales
El estudio permitió contrastar la calidad determinada por los expertos con la realidad educativa concreta de los estudiantes y el significado que le otorgan al proceso evaluativo, en estrecha relación con los elementos de un modelo de evaluación orientado al mejoramiento. En concreto, el análisis realizado sobre los principios de calidad desde la percepción de los estudiantes arrojó información útil y relevante y abre una línea de indagación sobre cómo mejorar la calidad de los sistemas de evaluación que debe extenderse a futuras investigaciones, a una contrastación de lo que cree que hace el docente y la forma en que el alumno experimenta el proceso de la evaluación.
Consideramos que un recurso técnico y normativo como son los Estándares para la evaluación del estudiante, puede contribuir a mejorar los sistemas de evaluación y la práctica profesional de los docentes ya que ofrecen guías para la acción desde las dimensiones ética y técnica, no obstante, a nuestro modo de ver, se requiere adicionalmente y de forma paralela desarrollar una visión pedagógica sobre la evaluación que enfatice, más allá de las obligaciones normativas, procedimentales de la profesión docente, el compromiso del profesor inherente a la práctica educativa en relación con las consecuencias formativas de la evaluación.
Vale la pena señalar, finalmente, que una evaluación de calidad en clave pedagógica lo es si realmente cumple una función de perfeccionamiento de los procesos formativos, curriculares y didácticos en la institución educativa; si en efecto, contribuye a la superación de los aspectos que requieren de mejora y si el estudiante es partícipe de dicha concepción y práctica.
Referencias
Appel, J. & Reiche, B. (2001). Las pruebas en el aula aprendizaje y evaluación. Buenos Aires: Aique Grupo Editor.
Black, P. & William, D. (1998). Inside the black box: Raising the standards through classroom assessment. Phi Delta Kappan, 80(2), 1-13.
Baumgart, N. (1996). Codes of ethics on assessment practice: Confronting a quandary or inculcating ethical character? Overview of two sample documents. Assessment in Education, 3, 393-411.
Cabra, F. (2003, mayo). Uso y adaptación de estándares para la evaluación del estudiante. Ponencia presentada en V Jornadas sobre Calidad y Dirección de Centros Educativos, Florida Universitaria, Valencia, España.
Cabra, F. (2005). Calidad y estándares de la evaluación del estudiante. Disertación Doctoral no publicada, Universidad de Deusto, España.
Castillo Arredondo, S. (Coord). (2002). Compromisos de la evaluación educativa. Madrid: Prentice Hall.
Dorio, I. Sabariego, M. & Massot, I. (2004). Características generales de la metodología cualitativa. En R. Bizquerra Alzina (Coord.), Metodología de la investigación educativa (pp. 275-292). Madrid: La Muralla S.A.
Dylan, W. (2000, August). Integrating formative and summative functions of assessment. Paper presented to Working Group 10 of the International Congress on Mathematics Education, Makahart, Tokyo, Japan.
Farland, D. & Gullickson, A. (1998). Guía para la elaboración de un manual de evaluación del profesorado. Bilbao: Ediciones Mensajero, ICE Universidad de Deusto.
Fullan, M. & Stiegelbauer, S. (2003). El cambio educativo. Guía de planeación para maestros. México: Trillas.
Gimeno Sacristán, J. & Pérez Gómez, A. (1985). La enseñanza: su teoría y práctica (2ª ed.). Madrid: Akal Editor.
González López, I. (2006). Dimensiones de evaluación de la calidad universitaria en el Espacio Europeo de Educación Superior [Número online 10]. Revista electrónica de investigación psicoeducativa, 4, 445-468.
Ingarson, L. & Kleinhenz, E. (2006). Estándares profesionales de práctica y su importancia para la enseñanza. Revista de Educación, 340, 265-295.
Joint Committee on Standards for Educational Evaluation. (2003). Arlen Gullickson (Chair), The Student Evaluation Standards. Thousand Oaks, CA: Corwin Press, ETS Educational Policy Leadership Institute.
Joint Committee on Standards for Educational Evaluation. (2000). Estándares de evaluación del personal. Cómo evaluar Sistemas de Evaluación de educadores. Bilbao: Ediciones Mensajero, ICE Universidad de Deusto.
Joint Committee on Standards for Educational Evaluation. (2000). The need for student evaluation standards. Thousand Oaks, CA. Recuperado el 20 marzo, 2005, de http://www.wmich.edu
Joint Committee on Standards for Educational Evaluation. (1988). James R. Sanders (Presidente), Estándares para la evaluación de programas. Bilbao: Ediciones Mensajero, ICE Universidad de Deusto.
Joint Committee on Standards for Educational Evaluation. (1988). D. Stufflebeam (Presidente), Normas de evaluación para programas, proyectos y material educativo. México: Editorial Trillas.
Linn, R. & Herman, J. (1997). La evaluación impulsada por estándares: problemas técnicos y políticos en la medición del progreso de la escuela y los estudiantes. Lima: PREAL-GRADE.
McKenna, B., Nevo, D., Stufflebeam, D. & Thomas, R. (1998). Guía profesional para la mejora de los sistemas de evaluación del profesorado. Bilbao: Ediciones Mensajero, ICE Universidad de Deusto.
Marchesi, A. & Martín, E. (1998). Calidad de la enseñanza en tiempos de cambio. Madrid: Alianza Editorial.
Montes Iturrizaga, I. (2002, julio). Apuntes acerca del movimiento de estándares educativos en América Latina. VI Congreso Nacional de Educadores. Nuevas Tendencias y Metodologías aplicadas a la Educación, Lima, Perú.
Morales, P. (2007). El análisis factorial en la construcción e interpretación de tests, escalas y cuestionarios. Universidad Pontificia Comillas, Departamento de Metodología y Evaluación. Recuperado el 10 de enero, 2008, de http://www.upcomillas.es/personal/peter/investigacion/AnalisisFactorial.pdf
Morales, P. (1998). La relación profesor-estudiante. Madrid: PPC.
Morales, P. (1995). Tipos de pruebas: los exámenes orales y las pruebas de respuesta abierta. Bilbao: ICE de la Universidad de Deusto.
Nevo, D. (1997). Evaluación basada en el centro. Un diálogo para la mejora educativa. Bilbao: Ediciones Mensajero, ICE Universidad de Deusto.
Ravitch, D. (2002). Estándares nacionales en educación. En VVAA Estándares educativos. Evaluación y calidad de la educación (pp. 61-101). Bogotá: Cooperativa Editorial Magisterio.
Santos Guerra, M. A. (1995). La evaluación: un proceso de diálogo, comprensión y mejora. Málaga: Ediciones Aljibe.
Stake, R. (1998). Investigación con estudio de casos. Madrid: Morata.
Stiggins, R. (1994). Student-Centered Classroom Assessment. New York: Macmillan College Publishing Company.
Stufflebeam, D. (2003, March). The CIPP model for evaluation. An update, a review of the model’s development, a checklist to guide implementation. Paper presented at the Annual Conference of the Oregon Program Evaluators Network (OPEN), Portland, Oregon. Recuperado el 20 de mayo, 2004, en http://www.wmich.edu/~evalctr/pubs/CIPPModelOregon10-03.pdf
Stufflebeam, D. (2000). La evaluación y la escuela como organización educativa. En A. Villa (Dir.), Liderazgo y organizaciones que aprenden. III Congreso Internacional sobre dirección de centros educativos. Bilbao: ICE Universidad de Deusto, Ediciones Mensajero.
Stufflebeam, D. & Sanders, J. (1997). Cómo utilizar los estándares de evaluación de personal para la evaluación del profesorado. En J. Millman & L. Darling-Hammond (Eds.), Manual para la evaluación del profesorado (pp.561-579). Madrid: Editorial La Muralla S.A.
Stufflebeam, D. & Shinkfield, A. (1987). Evaluación sistemática. Guía teórica y práctica. Barcelona: Paidós.
|
