REGLAS PARA ELABORAR ITEMS DE SELECCIÓN MULTIPLE CON UNICA RESPUESTA
Este documento es parte del aporte de las profesoras Martha C. Rocha Gaona y Carlos A. Pardo Adames al “Taller Elaboración de Ítems” realizado por el ICFES (Instituto Colombiano para el Fomento de la Educación Superior) durante los días 17 y 18 de julio de 2006 en la universidad Externado de Colombia. Se ha respetado el contenido y se ha ajustado el formato en lo estrictamente necesario.
4. REGLAS PARA LA ELABORACIÓN DE ÍTEMS DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA
La experiencia propia de varios años en el desarrollo de instrumentos de evaluación, combinada con la de entidades extranjeras dedicadas a la misma labor y con los hallazgos de numerosos estudios realizados sobre las técnicas que conducen a mejorar la calidad de los ítems6, 7, 8, 9, 10 ha hecho posible que en la actualidad se cuente con un conjunto de reglas que orientan la correcta elaboración de ítems. A continuación se presenta un compendio de dichas reglas.
ASPECTOS GENERALES
• No es recomendable trabajar contrarreloj cuando se busca tener un instrumento de calidad. Haga una programación juiciosa de todas las fases del diseño del instrumento y, particularmente, de la fase de elaboración de ítems contemplando tiempos de revisión, ajustes y edición.
• Conforme el equipo de trabajo con base en las competencias de cada miembro y en su saber sobre el objeto de evaluación; el dominio en la disciplina o campo que se evaluará debe combinarse con el conocimiento en medición y evaluación. En lo posible, cuente con el apoyo de alguien con experiencia en el tema.
• Planee sesiones de inducción para quienes vayan a elaborar ítems y asegúrese de que comprenden el propósito del instrumento y los demás planteamientos básicos del marco de fundamentación y de las especificaciones de prueba. Si se trata de personas sin experiencia, deben ser entrenados además en las técnicas de elaboración de ítems.
• Un buen ítem, por lo general, ha experimentado toda una metamorfosis desde su versión original. Durante la fase de elaboración de los items, realice sesiones de socialización o análisis conjunto de los ítems elaborados por cada miembro del equipo, con el fin de que cada uno tenga oportunidad de hacer aportes a la cualificación de todos los ítems (tanto en toque refiere a la forma como al contenido).
• Evite usar eufemismos y prefiera un lenguaje directo, sin sacrificar el nivel técnico y "académico del proceso. La claridad y concreción en el lenguaje debe ser una consideración permanente; utilice dibujos, gráficos o tablas sólo si estos en realidad aportan a la comprensión de la tarea de evaluación; tenga en cuenta el tiempo que el evaluado debe emplear para leer instrucciones, contextos, enunciados y opciones, y el tiempo total del cual dispone para responder.
• Asegúrese de que en ninguna parte del instrumento (portada, textos, instrucciones, items, etc.) haya errores de ortografía, de gramática o de puntuación, que no se incluya incorrectamente abreviaciones, citas, -nombres, cifras, fechas, etc.
• REGLAS SOBRE EL CONTENIDO DE LOS ÍTEMS
• Evite elaborar ítems que confunden al evaluado. Diferentes estudios han establecido cuáles son algunas de las situaciones que llevan a percibir los ítems como confusos11; entre éstas están:
a) Contenido trivial
b) Presencia de información irrelevante
c) Presentación ambigua de las opciones de respuesta
d) Discriminación muy fina -difícil de percibir entre las opciones de respuesta
e) Presentación de información en modo distinto a como ha sido aprendida por la población evaluada, dentro de su proceso educativo.
• Cada ítem debe corresponder a una tarea de evaluación definida en la estructura de la prueba
• Evite evaluar el mismo aspecto específico con varios ítems. Aproveche cada ítem para hacer cada vez más completa la evaluación.
• Plantee una sola problemática en cada ítem.
• Evite ítems que incluyan posiciones ideológicas o prejuicios; tenga en cuenta que las proposiciones prejuiciosas pueden resultar en una ofensa para cualquiera de los evaluados. Se exceptúa esta recomendación si justamente dichas posiciones son el objeto de evaluación; entonces será obligatorio incluirlas.
• El vocabulario utilizado debe ser adecuado para la población objetivo.
• Cada ítem debe ser independiente y no proveer información para responder a otros.
• No utilice ítems que aparezcan en libros, revistas u otros documentos, como base para sus ítems. Elabore ítems originales.
• Evite ítems en los cuales se indague la opinión (parecer no argumentado) del evaluado (a menos que el instrumento justamente pretenda servir para un sondeo de opinión).
• Evite plantear ítems cuya respuesta válida se determine según la opinión de quien la elabora.
• Balancee la complejidad de los ítems para que el instrumento cubra los niveles de habilidad de la población objetivo, es decir, la prueba debe incluir ítems de dificultad alta, media y baja.
• REGLAS SOBRE CONSTRUCCIÓN DEL ENUNCIADO
• Si plantea el enunciado en forma de proposición incompleta asegúrese de usar conjugaciones verbales, género y número adecuados para las opciones de respuesta que planteará. Si lo escribe en forma de pregunta asegúrese de usar adecuadamente signos de interrogación y la estructura gramatical de una pregunta.
• Presente en el enunciado la tarea de evaluación.
• Escriba con claridad.
• Evite texto excesivo.
• Redacte el enunciado en forma positiva; es decir, evite negaciones.
• REGLAS SOBRE CONSTRUCCIÓN DE OPCIONES DE RESPUESTA
• Asegure la concordancia gramatical entre la proposición del enunciado y cada opción.
• Organice las opciones en un orden lógico (alfabético, longitud, etc.) o numérico.
• Mantenga la independencia entre las opciones. Éstas no deben solaparse o intersectarse y no deben ser sinónimas.
• Refiérase en todas las opciones al problema planteado en el enunciado. Evite opciones fácilmente descartables.
• Elabore opciones de respuesta de longitud similar.
• Evite colocar como opción:
- Todos los anteriores
- Ninguno de los anteriores
- A y B son correctas (o cualquier combinación de opciones)
- No sé
• Redacte las opciones en forma positiva, es decir, evite negaciones. Si debe colocar una negación, resáltela (use negrilla o mayúsculas sostenidas).
• No repita en las opciones frases contenidas en el enunciado.
• Elabore ítems con 4 opciones de respuesta. Elaborar opciones plausibles es dispendioso; seguramente ganará calidad en las que redacte si no son demasiadas. Hay referencia de distintos estudios que analizaron la cantidad de opciones útiles para los propósitos de evaluación12 13; si bien no existe consenso alrededor de un único número de opciones, se encuentra a menudo conveniente, en cuanto a facilidad de redacción y capacidad de discriminación, trabajar con 4 opciones; para poblaciones de infantes puede ser conveniente usar 3 opciones.
• Evite en las opciones el uso de adverbios como:
- Siempre
- Nunca
- Totalmente
- Absolutamente
- Completamente
• La posición de la opción válida debe balancearse entre todos los ítems del instrumento. Es recomendable que aparezca proporcionalmente en cada posición posible.
• Evite que la opción válida pueda ser identificada fácilmente por contraste con las demás opciones, por alguna de las siguientes situaciones:
- tener la mayor longitud
- ser la proposición de mayor precisión o imprecisión
- estar redactada en un tipo lenguaje diferente (técnico o común)
- tener el mayor nivel de generalización o de particularidad
- tener las mismas palabras que el enunciado
- referirse a una problemática o tema diferente
• Justifique adecuadamente cada una de las opciones para garantizar que sólo hay una válida y que las demás son plausibles para quienes no dominan completamente la tarea de evaluación
5. SOBRE LA VALIDEZ
El concepto moderno de la validez es global, a diferencia del clásico que consideraba distintos "tipos de validez". Se reconoce que la validez no es del instrumento, sino de las inferencias e interpretaciones realizadas a partir de las puntuaciones obtenidas en un proceso de evaluación.
La validez se entiende como "un juicio evaluativo del grado en el cual la evidencia empírica y teórica sustentan la pertinencia y conveniencia de las inferencias acerca de los resultados en un instrumento de medición, así como las acciones que se realizan a partir de dichos resultados"14.
Dicho de otra forma, la validez hace referencia a qué tan fuertes son los argumentos y las evidencias que respaldan las interpretaciones hechas acerca del objeto de evaluación (por ejemplo, la competencia) a partir de los resultados obtenidos. En tal sentido, la validez compromete a todas las etapas del diseño dé pruebas: desde la definición y caracterización del objeto de evaluación hasta la divulgación de resultados.
El evaluador debe reconocer que el usuario directo de la evaluación -el evaluado-, así como tos usuarios indirectos de la misma, utilizarán los resultados para comprender y analizar procesos, para emitir juicios, para tomar decisiones, etc., y, por tanto, es su responsabilidad ética y social asegurarse de que tales análisis, juicios y decisiones sean verdaderamente posibles de derivar de la evaluación que realiza.
La rigurosidad académica y técnica en la elaboración de los ítems (y, por supuesto, en las demás etapas del diseño del instrumento) aporta para que los resultados de la evaluación sean pertinentes con su propósito. Las reglas de elaboración de ítems descritas en este documento tienen la pretensión de orientar al evaluador para que los ítems que elabora evalúen realmente el objeto de evaluación que se pretende; en este sentido, la aplicación de tales reglas contribuye a consolidarla argumentación alrededor de que lo que los resultados indican es verdadero.
En resumen, en lo que concierne a la elaboración de ítems, los siguientes son factores que afectan negativamente la validez:
• La tarea a la cual se enfoca el ítem no es relevante para la evaluación del objeto definido en el marco de fundamentación.
• En el ítem se incluye información que la facilita o la dificulta, más allá del propósito de evaluación.
Ahora bien, en la fase de elaboración de ítems no basta con aplicar las reglas de elaboración para contribuir a la validez; es necesario garantizar que quienes van a ser evaluados con dichos ítems no lleguen a responderlos correctamente por circunstancias distintas a su propia capacidad o competencia.
Así, entonces, otro factor determinante de la validez es la confidencialidad del instrumento, antes de su aplicación. Con ello se asegura que las condiciones en las cuales los evaluados se enfrentan a la aplicación del instrumento son equitativas y, por ende, que las escalas de calificación que se generen y los resultados que se divulguen reflejan genuinamente el objeto de evaluación. Los anexos 2 y 3 son ejemplos de mecanismos utilizados en el ICFES con miras a guardar la confidencialidad de los ítems durante el proceso de elaboración.
-----
6. Haladyna y Downing. (1989). A taxonomy of múltiple choice ítem writing rules. En Apply Measurement in Education. Vol. 1.
7. Haladyna, I (1994). Development and validatin múltiple choice test ítems. New Jersey: Lawrence Earlbaum Associates.
8. Cheung, D. Y Bucat, R. (2002). How can we construct good múltiple choice ítems? Hong Kong: Sciens and Technology Education Conference.
9. ICFES. (2004). Estándares para la construcción de pruebas. Grupo de Evaluación de la Educación Superior. Bogotá: ICFES.
10. Cohén, A. y Woollack, J. (2004). Helpful tips for creating reliable and valid classroom test. En Handbook on Test Development. U. Wisconsin.
11. 11 Roberts, D (1993) An empirical studing on the nature of tric questions. Journal of educational measurement. Vol 30
12. Ladina, T y Dwoning, S. (1995) How meny options is enough for a multiple choice ítem. New Jersey: LEA.
13. Pardo, C. (1994) Nú,ero útil de opciones de respuesta en las pruebas saber. Documento de trabajo. Bogotá: ICFES.
14. 14 "Messick, S. (1989). Validity. In R.L. Linn (Ed.), Educational measurement (3rd ed., pp. 13-103). New York: Macmillan.
D:/TecnicaItems2.doc
