Standardized evaluation of learning at UABC: Psycometric analysis innovation
DOI:
https://doi.org/10.32870/Ap.v12n1.1698Keywords:
Standardized evaluation, psychometric, methodology, educational quality, testAbstract
The evaluation has had a strong impact on teaching, which is why learning instruments that are valid and reliable are indispensable. The Faculty of Languages of the Universidad Autónoma de Baja California does not implement a technological tool for the development of standardized tests and their psychometric analysis. Therefore, this paper analyze the implementation of standardized tests referred to a criterion, based on the Item Response Theory. The used methodology required the integration of several committees of specialists to produce instruments that guided the construction of the test, such as the curricular relevance index table, the contents justification, etc. The test quality was evaluated using an innovating development that automatically quantified the psychometric criteria of validity and trustworthiness like the difficulty index of the items and the discrimination index. The results allow to observe the quality of the test identifying the yield of each item, as well as the yield and level of knowledge of the participant students sample, which contributes to the realization of more accurate assessments of their academic performance. It is concluded that the instrument showed utility for both formative and summative evaluation.
References
Brooks, Gordon & Johanson, George. (2003). TAP: Test Analysis Program. Applied Psychological Measurement, 27(4), 303-304. https://doi.org/10.1177/0146621603027004007.
Cechova, Ivana; Neubauer, Jiri & Sedlacik, Marek. (2014). Computer-adaptive testing: Item analysis and statistics for effective testing, en European Conference on e-Learning. Academic Conferences International Limited.
Centro Nacional de Evaluación para la Educación Superior. (2017). Origen y evolución del Ceneval. Recuperado de: http://www.ceneval.edu.mx/documents/20182/49855/OrigenEvolucionCeneval_2018/f8406659-7d28-4960-9ec1-964d90c76e4c
Contreras Niño, Luis Ángel. (2000). Desarrollo y pilotaje de un examen de español para la educación primaria en Baja California (tesis de maestría). Instituto de Investigación y Desarrollo Educativo: Universidad Autónoma de Baja California, Campus Ensenada. Recuperado de: http://iide.ens.uabc.mx/images/pdf/tesis/MCE/Tesis%20MCE%20Luis-Angel-Contreras-Nino.pdf
Contreras Niño, Luis Ángel y Backhoff Escudero, Eduardo. (2004). Metodología para elaborar exámenes criteriales alineados al currículo, en Sandra Castañeda (ed.), Educación aprendizaje y cognición, teoría en la práctica. México: Manual Moderno.
Contreras Niño, Luis Ángel; Encinas Bringas, José Álvaro y De las Fuentes Lara, Maximiliano. (2005). Evaluación colegiada del aprendizaje en la Universidad Autónoma de Baja California: el caso del examen de Matemáticas I de la Facultad de Ingeniería Mexicali, en Memoria del VIII Congreso Nacional de Investigación Educativa. México: COMIE.
Fernández Navas, Manuel; Alcaraz Salarirche, Noelia y Sola Fernández, Miguel. (2017). Evaluación y pruebas estandarizadas: una reflexión sobre el sentido, utilidad y efectos de estas pruebas en el campo educativo. Revista Iberoamericana de Evaluación Educativa 10(1), 51-67. https://doi.org/10.15366/riee2017.10.1.003
Ferreyra Martínez, María Fabiana y Backhoff Escudero, Eduardo. (2016). Validez del generador automático de ítems del examen de competencias básicas (Excoba). Relieve-Revista Electrónica de Investigación y Evaluación Educativa, 22(1), 1-16. https://doi.org/10.7203/relieve.22.1.8048
Gómez Rada, Carlos Alberto. (2015). Diseño, construcción y validación de un instrumento que evalúa clima organizacional en empresas colombianas, desde la teoría de respuesta al ítem. Acta Colombiana de Psicología, (11), 97-113. Recuperado de: https://editorial.ucatolica.edu.co/index.php/acta-colombiana-psicologia/article/view/482
Góngora Ortega, Javier; Rocha Hernández, Tania Marlene; Verver, Ingrid Verenice. (2015). La prueba Exhcoba como predictora para la deserción y reprobación en medicina. Revista de la Escuela de Medicina “Dr. José Sierra Flores” Universidad del Noreste, 29(1), 16-24. Recuperado de: http://www.une.edu.mx/Resources/RevistaMedicina/2015/Vol29No1.pdf#page=16
Hernández Madrigal, Mónica; Ramírez Flores, Élfego y Gamboa Cerda, Silvia. (2018). La implementación de una evaluación estandarizada en una institución de educación superior. Innovación Educativa, 18(76), 149-170. Recuperado de: http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1665-26732018000100149&lng=es&tlng=es
Kramp Denegri, Uwe. (2008). Equivalencia entre los modelos de análisis factorial de los ítems y teoría de respuesta a los ítems en la evaluación de las propiedades psicométricas de los instrumentos de medición psicológica. Revista Peruana de Psicometría, 1(1). Recuperado de: https://www.academia.edu/3673226/Equivalencia_entre_los_modelos_de_an%C3%A1lisis_factorial_de_los_%C3%ADtems_y_teor%C3%ADa_de_respuesta_a_los_%C3%ADtems_en_la_Evaluaci%C3%B3n_de_las_propiedades_Psicom%C3%A9tricas_de_los_instrumentos_de_Medici%C3%B3n_psicol%C3%B3gica
Leyva Barajas, Yolanda Edith. (2011). Una reseña sobre la validez de constructo de pruebas referidas a criterio. Perfiles Educativos, 33(131), 131-154. Recuperado de: http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0185-26982011000100009
Márquez Jiménez, Alejandro. (2014). Las pruebas estandarizadas en entredicho. Perfiles Educativos, 36(144), 3-9. Recuperado de: http://www.redalyc.org/articulo.oa?id=13230751001
Mayaute Escurra, Luis Miguel y Vásquez Delgado, Ana Esther. (2010). Análisis psicométrico del test de matrices progresivas avanzadas de Raven mediante el modelo de tres parámetros de la teoría de la respuesta al ítem. Persona, (13), 71-97. Recuperado de: http://www.redalyc.org/articulo.oa?id=147118212004
Mola, Débora Jeanette; Saavedra, Bianca Analía; Reyna, Cecilia y Belaus, Anabel. (2013). Valoración psicométrica de la Psychological Entitlement Scale desde la teoría clásica de los tests y la teoría de respuesta al ítem. Pensamiento Psicológico, 11(2), 19-38. Recuperado de: https://ri.conicet.gov.ar/bitstream/handle/11336/23949/CONICET_Digital_Nro.4290b666-0f89-4d7f-8738-01898530318f_A.pdf?sequence=2
Muñiz Fernández, José. (2010). Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo, 31(1), 57-66. Recuperado de: http://www.redalyc.org/articulo.oa?id=77812441006
Nitko, Anthony. (1994). A model for development curriculum-driven criterion- referenced and norm-referenced examination for certification and selection of students. Documento presentado en la Conference of Education, Evaluation and Assessment for the Association Studies of Educational Evaluation in Sudafrica (ASEESA). Sudáfrica. Recuperado de: https://eric.ed.gov/?id=ED377200
Pérez Morán, Juan Carlos; Larrazolo Reyna, Norma y Backhoff Escudero, Eduardo. (2015). Análisis de la estructura cognitiva del área de habilidades cuantitativas del Exhcoba mediante el modelo LLTM de Fisher. Revista Internacional de Educación y Aprendizaje, 3(1), 25-38. Recuperado de: https://journals.epistemopolis.org/index.php/educacion/article/view/584
Tirado Segura, Felipe; Backhoff Escudero, Eduardo; Larrazolo Reyna, Norma y Rosas Morales, Martín. (1997). Validez predictiva del Examen de Habilidades y Conocimientos Básicos (Excoba). Revista Mexicana de Investigación Educativa, 2(3), 67-84. Recuperado de: http://www.comie.org.mx/revista/v2018/rmie/index.php/nrmie/article/download/1057/1057
Thoe, Ng Khar; Fook, Fong Soon & Thah, Soon Seng. (2009). Use of ICT tool for Item Analysis of a Science Performance Test. Journal of Educational Technology, 9(1), 5-15. Recuperado de: http://www.mjet-meta.com/resources/V9N1%20-%20NKT%20-%202009%20-%20ICT%20-%20Online.pdf
Published
Issue
Section
License
The copyright belongs to the authors of the text. In case the manuscript is accepted for publication, the Sistema de Universidad Virtual of the Universidad de Guadalajara (UDGVirtual) is authorized to modify the text in the correction of style, translate, fix, disseminate, reproduce, publish and market with this. Likewise, the Universidad de Guadalajara is authorized to carry out the above described jointly or through possible third parties. (See the detailed authorization in the copyright letter.)
The authors guarantee to Apertura the right to be the first means of publication of the work. The reproduction of the texts published in the Apertura is authorized, in whole or in part, as long as it is non-profit, the source is cited and the content or design is not modified. Authors may exclusively distribute the final editorial or postprint version in any medium and at any time.
Apertura, its editors and UDGVirtual dissociate themselves from the information provided by collaborators or advertisers. The articles of the contributors do not necessarily represent the point of view of the publisher or UDGVirtual and the content of the advertisements are the sole responsibility of the contractors.
Apertura is registered in the National Institute of Copyright with the ISSN number: 1665-6180 (printed version) and e-ISSN 2007-1094 (electronic version), and with the Certificate of Reservation of Rights to the Exclusive Use of the Title: 04 -2005-120212472000-102.
It is also certified by the Qualifying Commission for Illustrated Publications and Journals of the Ministry of the Interior with the Licensed Certificates of Title number: 13449; and Content Legality: 11022.
