La presión para mejorar el rendimiento de los estudiantes en las escuelas, el maltrato en la actualidad en la educación de dos frentes. En primer lugar, el público exige nuestra educación preparar a nuestros estudiantes para competir en una economía global. Los resultados de la evaluación internacional nos recuerda la diferencia entre nuestros estudiantes y sus pares internacionales (ver Friedman, 2007). El segundo frente ha sido la ley educativa. La evaluación y la responsabilidad educativa directamente no fueron unidas en 2001 con No Child Left Behind (NCLB) la legislación. Esta legislación introducida en una nueva era de responsabilidad arraigada en la colección, análisis, y empleo de datos de evaluación de estudiante para la mejora educativa.

Como resultado, los distritos escolares y sus dirigentes deben elevar las apuestas sobre las evaluaciones educativas. Más allá de utilizar los datos a nivel estatal, los líderes buscan otras evaluaciones para utilizar en las escuelas durante el año escolar para determinar los logros de los estudiantes y su crecimiento entre las evaluaciones a nivel estatal. Dos cosas están claras en las escuelas de hoy: (1) la evaluación de "la cola [es] definitivamente... menear el plan de estudios/ instrucción canina" (Popham, 2004, p. 4), y (2) corresponde a los directivos escolares para encontrar un sistema de evaluación formativa que responda a las necesidades de sus estudiantes, profesores y padres. Más concretamente, las escuelas están en busca de una evaluación que pueda mostrar en crecimiento en los objetivos de aprendizaje, diagnosticar las necesidades de aprendizaje de los estudiantes dentro del año escolar, y para predecir el logro de nivel sobre el estado de evaluación.

La demanda de la evaluación formativa es clara. Las escuelas están empleando una variedad de sistemas de evaluación formativa (FAS) que van desde las pruebas "home grown" creadas por los propios docentes a más de 20 proyectos comerciales de los sistemas de evaluación costando $ 12 o más por estudiante (Militello, Sireci, y Schweid, 2008). FAS combina estrechamente unida instrumentos de evaluación, el almacenamiento de datos, análisis y presentación de informes en batería (Sharkey y Murnane, 2006).

Sistemas de evaluación formativa (FAS) son de rápido crecimiento en virtud del fenómeno estudiado, con importantes implicaciones para la práctica docente Además, los directivos están en una posición única para el acceso (Ej., la compra), evaluación (Ej., el seguimiento y la evaluación), y el apoyo y los recursos (Ej., formar y desarrollar) los datos de evaluación en las escuelas. El propósito de este artículo es proporcionar un marco a los directores de escuelas que tienen que tomar decisiones importantes sobre los sistemas de evaluación formativa.

Ajuste asuntos. Encontrar el "just right" entre lo que coincide con algo que tiene que ofrecer y la utilidad debe ser de la máxima importancia para los consumidores. La historia de Ricitos de Oro ofrece una alegoría de la búsqueda del" just right "conveniente. La métrica de Ricitos de oro encaja e incluye la temperatura de la avena, el tamaño de la silla, y la comodidad de la cama. Como educadores y de políticas se ajustan en las cifras de un sistema de evaluación se debería incluir tanto los efectos de las evaluaciones (Ej., las propiedades de la evaluación incluyendo la validez) y los usos previstos por los educadores de la escuela (Ej., planificación de lecciones) (Militello, Sireci, y Schweid, 2008).

Las evaluaciones educativas vienen en muchas formas y tamaños. Evaluaciones a gran escala puede ser criterio de referencia (Ej., NCLB evaluaciones a nivel estatal) o de referencia normativa (Ej., TIMSS, NAEP, SAT, ACT). A pequeña escala las evaluaciones tienden a ser realizadas y analizadas en el aula y puede incluir una valiosa comprensión cualitativa de los profesores. En algún lugar del centro residen evaluaciones formativas. Como William (2006) describe, una evaluación formativa es sólo si la información acerca de lo que se está evaluando los resultados en el cambio que, de otro modo no se produciría. En virtud de esta directriz, "La evaluación de los planes de estudios es formativa, es si las formas del desarrollo de currículo. La evaluación de un estudiante es formativa si es que las formas de aprendizaje del estudiante "(p. 3). He aquí la definición de la evaluación formativa se convierte más delineada por la utilidad para los profesores. Es decir, proporcionar los datos a los maestros con detalles acerca de si y ¿cómo los estudiantes están aprendiendo? Este tipo de evaluación formativa que se ha llamado cognitivo de diagnóstico. Leighton y Gierl (2007) define la evaluación cognitiva de diagnóstico como un medio para "medir los conocimientos específicos de las estructuras y capacidades de transformación en los estudiantes a fin de proporcionar información sobre sus fortalezas y debilidades cognitivas" (p. 3). Mientras que "los educadores están exigiendo. . . instruccionalmente reciben los resultados relevantes de cualquier evaluación. . . y que estas evaluación estén suficientemente alineadas con prácticas en el aula a ser de máximo valor de instrucción, "(Huff y Goodman, 2007, p. 24), Ahí existen pocas pruebas de que hay sistemas de evaluación disponibles para satisfacer esas demandas locales.

La cuestión de la evaluación en forma es más difícil cuando se mira al maestro como lo usuario final. Si bien la mayoría de los sistemas de evaluación formativa demandan la utilidad para los profesores de aula, hay pocas pruebas de que el derecho de los datos de evaluación se les proporcionó. Dos marcos ayudan a desempaquetar la búsqueda de un sistema de evaluación que responda a las necesidades de los docentes. En primer lugar, el Consejo Nacional de Investigación del "triángulo de la evaluación" ofrece los anclajes de evaluación incluyendo la habilidad para: (1) diagnóstico de la cognición del estudiante dentro de un área temática específica, (2) realizar las observaciones para obtener respuestas de los estudiantes y ofrecer evidencias de competencias, y (3) hacer inferencias justa y exacta sobre los logros de los estudiantes (el Consejo de Investigación nacional, 2001) Además, la literatura ha generado características normativas del el uso eficaz de los docentes a nivel de evaluaciones formativas incluidas (ver Brunner et al., 2005; Coburn y Talbert, 2006; Patrimonio, 2007; Kerr, Marsh, Schuyler Ikemoto, Darilek, y Barney, 2006; Marshall, 2008; Militello y Sykes, 2006; Murnane, Sharkey, y Boudett, 2005; Streifer y Shumann, 2005; Wayman y Stringfield, 2006; y Ciofalo Wylie, 2008): • Las evaluaciones que están vinculadas a un plan de estudios que está alineado con el alcance y secuencia del distrito y del estado de referencia curricular; • Evaluaciones que proporcionan información oportuna, estudiante de diagnóstico a nivel de datos; • Habilidad de desglosar los datos con otras bases de datos (Ej., el rendimiento de los estudiantes de otros datos, datos de percepciones etc.) y de fácil acceso a los informes y comunicar con una variedad de audiencias, y • Disponibilidad en curso de desarrollo profesional e inmediata de asistencia sobre el sitio para traducir los datos en conocimiento de instrucción. En un esfuerzo por ilustrar por qué esta cuestión de forma es importante para los actuales y futuros líderes de la educación describimos las características de los tres sistemas de evaluación formativa disponible en la actualidad. A continuación, analizamos las características de cada sistema en relación con el concepto de ajuste.

La prueba matemática MAP consta de 52 preguntas de opción múltiple. Según el NWEA Manual Técnico (2005), existen al menos 1.500 ítems en recursos comunes para cada materia aprobada en un estado con un mínimo de 200 ítems por objetivo. Las pruebas MAP se supone que tienen que ser en un momento oportuno, pero el manual recomienda la asignación de 75 minutos para asegurar que todos los estudiantes que terminan sin ser apresurados. A un mes de prueba es necesario, porque cada alumno necesita tener acceso a una terminal de computadora. MAP utiliza tecnología computarizada de adaptación de pruebas. Este ensayo asigna a los estudiantes se pongan al parejo por la dificultad de un elemento para el logro del nivel de los estudiantes. Otra característica fundamental es que todos los artículos dentro de cada área temática se calibran en una escala común. Esta ampliación permite a los estudiantes a ser puestos en esta misma escala a pesar de que responden a diferentes temas. La escala común para el análisis también permite el crecimiento de los estudiantes a través del tiempo. El elemento específico del estado de fondos comunes es creado a partir del "universo" de todos los elementos MAP para utilizar fondos comunes para el estado particular, están mejor adaptados a la situación del marco de los programas.

Galileo es un sistema de referencia para la construcción de las evaluaciones disponibles a través de Evaluación de Tecnología Incorporada (ATI, 2006). El sistema Galileo tiene un gran banco de reactivos y está diseñado para permitir trabajar en ATI en colaboración con el distrito para diseñar un sistema de evaluación que está alineado con las instrucciones locales e informa a la planificación del plan de estudios. ATI empieza trabajando con un distrito para identificar el número de evaluaciones que se administrarán en un año determinado y las normas (objetivos) que debe medirse en cada área temática en cada grado. Los distritos son capaces de acostumbrarse a través de las evaluaciones Galileo "Sistema de Gestión de la Educación." ATI tiene un punto de referencia Planificador en cada distrito en el que define los objetivos de la evaluación, especifica las normas que se deben medir y el número de puntos por contenido, y comentarios de las versiones preliminares de las evaluaciones.

Galileo tiene varios informes que resumen el desempeño de los estudiantes en niveles individuales y globales. Los informes del nivel agregado se pueden producir en la clase, la escuela y el nivel de distrito, y muchos pueden ser interactivamente creados para adaptarse a las necesidades del usuario. Un primer informe de referencia para la evaluación es el Perfil de Informe del Desarrollo. Este informe enumera y describe todos los estándares (objetivos), mide y proporciona una clasificación del nivel de logro de cada estudiante para cada estándar.

El sistema ASSISTments esta basado en una herramienta de Internet desarrollada en el Worcester Polytechnic Institute (WPI) y en la Carnegie Mellon University. El sistema ASSISTment combina evaluación y asistencia instruccional. El sistema evalúa el aprendizaje de los estudiantes de escuelas de nivel secundaria haciendo preguntas de matemáticas extraídas de un banco de más de 1400 preguntas generadas por el personal del proyecto, de profesores locales, y evaluación a nivel estatal de liberación de reactivos). El sistema ayuda a los estudiantes, proporcionando información inmediata dando comentarios y respuestas a preguntas equivocadas, si se dan.

La figura 1 muestra una pantalla de la muestra ASSISTment punto que significó comprender álgebra, perímetro, y la congruencia. Al igual que un tutor humano, el sistema ASSISTment rompe un elemento a los diferentes pasos necesarios para resolver el problema. Mediante el seguimiento donde la comprensión de los estudiantes termina, el sistema puede realizar un seguimiento de los componentes específicos del aprendizaje del estudiante y dar datos precisos a los maestros sobre las piezas precisas de los conocimientos que los estudiantes tienen y no han aprendido a dominar. Por ejemplo, un estudiante presenta inicialmente una evaluación del estado real la evaluación tiene varias necesidades preparadas (congruencia, el perímetro y la solución de la ecuación) para resolver la correctamente. Si el estudiante ha obtenido la pregunta correcta el habría obtenido el crédito hacia las tres competencias. Si un estudiante obtiene la pregunta incorrecta, puede pedir ayuda. El estudiante se ve obligado a pedir tanta ayuda como sea necesaria y así puedan responder a la pregunta y pasar a la siguiente cuestión enfocada en el perímetro. La captura de pantalla muestra un mensaje con errores (accionado por ideas falsas comunes del estudiante) así como dos mensajes con pistas. Después de que el estudiante recibe la segunda pregunta correcta se le dará una enfocada en pregunta de álgebra resolviendo X (No se muestra en la figura).

La figura 1

Los profesores pueden acceder de inmediato una serie de informes. Un tema a nivel de informe se puede generar para ver las respuestas de los estudiantes en temas específicos. Los maestros también pueden generar informes a nivel de estudiante. En este informe, cada profesor puede analizar el progreso de los estudiantes y proporcionar una comunicación narrativa de para el estudiante y sus padres o tutores. Los profesores pueden ver el número de reactivos tomados, el porcentaje correcto, intervalo de tiempo, y pista requerida. El sistema ASSISTments también cuenta con características de notificación a padres y a profesores. Los padres reciben un correo electrónico desde el sistema que se describe el rendimiento de su hijo en ASSISTments. Finalmente, cuando los maestros asignan tareas nocturnas con el sistema, se les envía un mensaje de correo electrónico que describe quien completo la tarea y específica los temas de cada estudiante si tiene derecho o no.

Una serie de estudios se han llevado a cabo para evaluar el impacto del uso de ASSISTment. Los estudios iniciales encontraron que ASSISTments en un buen asesor del conocimiento del estudiante de (Feng y Heffernan, 2006; Feng y Heffernan, 2007; Razzaq, Heffernan, y Linderman, 2007). ASSISTments también tienen competencias en el pronóstico respecto a los futuros exámenes de nivel estatal (Feng, Beck, Heffernan, Koedinger, 2008). Tal vez lo más importante, ASSISTments proporciona a los maestros conocimiento útil con estudiante de nivel que pueden reflexionar, hablar con los colegas del tema y ajustar su pedagogía.

El cuadro 1

Los tres mencionados FAS fueron también estudiados en su contexto de uso en los distritos escolares (véase Militello y Schweid, 2009; Militello, Schweid, y Sireci, objeto de examen; Militello, Sireci, y Schweid, 2008). Tres distritos escolares, localizados en un estado del Noreste, fueron estudiados en cuanto a su adopción, implementación y uso de estos tres sistemas de evaluación formativa. Mientras cada uno de los distritos fue buscando un sistema de evaluación formativa para mejorar el aprendizaje de los estudiantes, existe una diferencia en la utilidad o forma para los diferentes actores escolares.

El estudio encontró que NWEA del MAP era más apropiado para su uso en el nivel de distrito. En concreto, ya que los datos generados por la evaluación dieron resultados a los administradores del distrito longitudinal (modelos de un año a otro), estos educadores fueron capaces de tomar decisiones acerca de cosas tales como oportunidades de desarrollo profesional y de prácticas para estudiantes. Sin embargo, debido a los datos del MAP no generaron el tema a nivel de informes de datos, los profesores encontraron poca utilidad en su uso diario de planificación de clase o estrategias pedagógicas.

ATI Galileo proporcionó un rico conjunto de las evaluaciones o de referencia a nivel escolar que los educadores fueron capaces de utilizar para monitorear las ganancias de los estudiantes sobre lo que ha sido enseñado recientemente. En concreto, los profesores fueron capaces de evaluar lo que recientemente enseñaron. Como resultado, esta FAS ayudó a los maestros determinar si los estudiantes aprendieron lo que les enseñaron. Además, Galileo ayudó a los líderes escolares a responsabilizar a los profesores de la enseñanza del currículo. Sin embargo, sólo un FAS proporcionó a los profesores de aula en tiempo real, de forma cognitiva de diagnóstico: ASSISTments. Los profesores usaron el sistema ASSISTment y crearon tareas personalizadas mediante conjuntos de problemas Esto fue tan simple como pedirle a un estudiante le conteste a un profesor las respuestas de los libros de texto un problema del sistema ASSISTments. El sistema también satisface en la clase-respuestas instantáneas - para respuestas abiertas y cerradas. Estas respuestas se realizaron de manera simultánea y los resultados fueron mostrados de forma anónima. Los profesores también se utilizaron el sistema para hacer más accesible el trabajo de los estudiantes con la variedad de los informes disponibles. Estos informes incluyeron a los correos electrónicos generados automáticamente a los padres y a los maestros. El padre presentó una notificación detallada al término de ASSISTment por correo electrónico con éxito. Para los profesores, los informes fueron enviados en relación con la conclusión y el éxito de la tarea.

Los profesores también tienen acceso a la codificación de código abierto para desarrollar sus propios temas. Aquí nuevas preguntas y / o andamio sub-preguntas y mensajes con pista fueron creados y controlados constantemente. En resumen, este sistema recopilo los datos de manera eficiente y el aprendizaje de los estudiantes. Los datos permitieron a nivel de aula la toma de decisiones por parte de los maestros para la instrucción del día a día (por ejemplo, estrategias reenseñanza), así como a largo plazo los objetivos de evaluación por ejemplo, estrategias reenseñanza), así como a largo plazo el estado de evaluación de objetivos (por ejemplo, a corto plazo la capacidad de agrupación homogénea de estudiantes). Los profesores que utilizaron ASSISTments en el estudio desarrollado de propiedad de datos, ya que pasaron mucho tiempo analizando datos y crearon sus propias preguntas locales para ser cargadas. Por último, para los estudiantes, ASSISTments no es sólo otra prueba. Más bien se trataba de un tutor que a su propio ritmo ha generado respuestas e intervenciones docentes computarizadas.

La fábula de Ricitos de oro se utilizó para ayudar a ilustrar a educadores en búsqueda del proceso que deben comprometerse a encontrar el "just right" adecuado de un sistema de evaluación formativa. Además, nuestro trabajo con el FAS, ilustrado por los estudios descritos en este artículo, demuestran asuntos adaptados (e inadaptados). La respuesta a la pregunta, "¿Qué evaluación formativa debemos usar?" Debería ser: Depende. La utilidad de un sistema de evaluación formativa se basa en el uso final. Es decir, cómo los educadores desean utilizar los datos de evaluación que deberían guiar a la selección de un producto. Al estudiar las características técnicas de los sistemas de evaluación y su utilidad actual en los distritos escolares que nosotros fuimos capaces de desarrollar un marco para el ajuste. Utilizamos este modelo (ver Figura 2 abajo) para describir el ajuste entre los tres sistemas de evaluación formativa y la apropiada (no necesariamente la intención) de uso final.

La figura 2

Actualmente, los datos de evaluación ubicuos son sobre-promocionados y subutilizados y, sin embargo, las escuelas siguen siendo alimentadas con una dieta constante de pruebas. El poder real de las evaluaciones se encuentra en la transformación de datos brutos y difusión de la información en conocimiento explícito para orientar el mejoramiento instruccional. Las altas demandas para usar datos, acoplados con la educación (el entrenamiento) inadecuada y el miedo penetrante, causan el fenómeno de prácticas pedagógicas engranadas hacia pruebas y menos sobre la práctica buena de instruccional (Earl y Katz, 2002). Como las escuelas envían paridades de búsqueda para encontrar e implementar sistemas de evaluación formativa, Que harían bien en armarse con una comprensión de la forma. Es decir, los consumidores de productos FAS deben saber qué datos necesitan y para quién, entonces ellos pueden buscar un producto con rasgos técnicamente sanos que emparejen o encajen a sus necesidades.

Las compañías de la evaluación formativa no son inherentemente malas. Que han llenado un nicho. Sin embargo, las escuelas y las políticas educativas necesitan ser mejores consumidores. La importancia debe ser colocada en una intención de uso de FAS y las características de los sistemas debe ser evaluado. Armado con esta información les permitirá tomar decisiones más informadas. Los líderes escolares tienen un papel que desempeñar en el proceso de comprensión y aplicación de la evaluación formativa. La Escuela de líderes sería un buen servicio si (1) entiende el concepto de evaluación apropiadamente, (2) construir la capacidad de los profesores para usar las evaluaciones que proporcionan los estudiantes a nivel de datos de diagnóstico, (3) proporcionar recursos adecuados y mecanismos de apoyo, y (4) vigilar el uso adecuado de los datos de evaluación.

Encontrar lo "adecuado" entre el fin de un sistema de evaluación y los usos previstos por los educadores locales es una cuestión importante. Pedir a los docentes que utilizan los datos para informar a su enseñanza a fin de avanzar en el logro del estudiante requiere una cuidadosa consideración. El uso constante de la prensa de "datos" puede dar lugar a la utilización de cualquier dato que está fácilmente disponible. Tal persona inadaptada conduce a empleos inadecuados y, en el peor de los casos, esto puede conducir a la pedagogía pobre y la confusión de estudiante. El uso adecuado de la evaluación formativa de datos requerirá educadores locales para desarrollar la eficacia hacia las evaluaciones. Postulamos que esta es una función de utilidad (como los profesores en realidad pueden utilizar los datos en su práctica) y los resultados (los profesores pueden ver el crecimiento del estudiante en función de la utilización de los datos en su práctica). A medida de que más y más evaluaciones bombardean escuelas, no debemos adoptar una mentalidad Luddite, contra todas las pruebas. Más bien debemos desarrollar nuestra capacidad para discriminar entre los tipos que se adhieran a la evaluación, entrenar y utilizar las evaluaciones que son "just right" para nuestros estudiantes. El futuro- de los sistemas de evaluación formativa puede ser brillante si son los siguientes: alineado a la enseña y los planes de estudio y fácilmente accesible y útil para los educadores, estudiantes y padres. Lo que es más importante, las evaluaciones deben proporcionar a los profesores de aula con la información sobre el si y el cómo los estudiantes están adquiriendo nuevos conocimientos. Sólo cuando los educadores encuentren la valoración de que es "just right" seremos capaces de alimentar a la práctica de los docentes y mejorar el logro de los estudiantes.

Assessment Technology Incorporated. (2006). Building reliable and valid benchmark assessments. Tucson, AZ: Assessment Technology Incorporated.

Brunner, C., Fasca, C., Heinze, J., Honey, M., Light, D., Mandinach, E., et al. (2005). Linking data and learning: The Grow Network study. Journal for Students Placed at Risk, 10(3), 241-267.

Coburn, C., & Talbert, J. (2006). Conceptions of evidence use in school districts: Mapping the terrain. American Journal of Education, 112(4), 469-495.

Earl, L., & Katz, S. (2002). Leading schools in a data-rich world. In K. Liethwood & P. Hallinger (Eds.), Second international handbook of educational leadership and administration, Part Two (pp. 1003-1023). Dordrecht, The Netherlands: Kluwer Academic Publishers.

Friedman, T. (2007). The world is flat 3.0: A brief history of the twenty-first century. New York: Farrar, Staus and Giroux.

Heritage, M. (2007). Formative assessment: What do teachers need to know and do? Phi Delta Kappan, 89(2), 140-145.

Kerr, K. A., Marsh, J. A., Schuyler Ikemoto, G., Darilek, H., & Barney, H. (2006). Strategies to promote data use for instructional improvement: Actions, outcomes, and lessons from three urban districts. American Journal of Education, 112(4), 496-520.

Marshall, K. (2008). Interim assessments: A user's guide. Phi Delta Kappan, 90(1), 64-68.

Militello, M., & Schweid, J. (2009). WPI PIMSE Annual Report. . Washington, DC: National Science Foundation, Graduate STEM Fellows in K-12 Education (GK-12).

Militello, M., Schweid, J., & Sireci, S. (Under Review). Formative assessment systems: Evaluating fit between intended use and product characteristics. Educational Assessment.

Militello, M., Sireci, S., & Schweid, J. (2008, March). Intent, purpose, and fit: An examination of formative assessment systems in school districts. Paper presented at the American Educational Research Association, New York City, NY.

Militello, M., & Sykes, G. (2006, April). Why schools have trouble using data. Paper presented at the National Council on Measurement in Education, San Francisco, CA.

Murnane, R., Sharkey, N. S., & Boudett, K. P. (2005). Using student-assessment results to improve instruction: Lessons from a workshop. Journal of Education for Students Placed at Risk, 10(3), 269-280.

National Research Council. (2001). Knowing what students know: The science and design of educational assessment. Washington, DC: National Academic Press.

Northwest Evaluation Association. (2005). Technical manual: For use with Measures of Academic Progress and achievement level tests. Lake Oswego, OR: NWEA.

Popham, W. J. (2004). Curriculum, instruction, and assessment: Amiable allies or phony friends? Teacher College Record, 106(3), 417-428.

Sharkey, N. S., & Murnane, R. (2006). Tough choices in designing a formative assessment system. American Journal of Education, 112(4), 572-588.

Streifer, P. A., & Shumann, J. S. (2005). Using data mining to identify actionable information: Breaking ground in data-driven decision making. Journal of Education for Students Placed at Risk, 10(3), 281-293.

Wayman, J., & Stringfield, S. (2006). Data use for school improvement: School practices and research perspectives. American Journal of Education, 112(4), 463-468.

Wylie, E. C., & Ciofalo, J. (2008). Supporting teachers' use of individual diagnostic items [Electronic Version]. Teachers College Record. Retrieved October 13, 2008 from http://www.tcrecord.org/PrintContent.asp?ContentID=15363.