Assessment of research competence in the educational field: an analysis of measurement instruments

Article Sidebar

PDF (Spanish) PDF EPUB (Spanish) HTML (Spanish)
Published: Aug 5, 2024
Updated: 2024-08-05
Versions:
2024-08-05 (2)
DOI: https://doi.org/10.17163/alt.v19n2.2024.05
Keywords:
research competence, higher education, university student, student evaluation, measuring instrument, educational research

Main Article Content

Oscar Vázquez-Rodríguez
Universidad Nacional Autónoma de México
https://orcid.org/0000-0003-0537-0580

Abstract

There is a growing interest in the acquisition, promotion, and assessment of the competencies necessary for research among university students. However, within the field of educational evaluation, one confronts the complexity of establishing precise measures that inform about the performance of this competence. This study examined the measurement instruments employed to assess the research competence of university students in the educational field. The research followed the PRISMA protocol for conducting systematic literature reviews and performed a critical analysis of the identified measurement instruments. The aspects under investigation included: proposed use, target population, construct’s conceptualization, instrument format, and validity evidence’s generation. Findings indicated that these instruments are employed both to assess the acquisition and mastery of research competence and to evaluate the effectiveness of pedagogical interventions aimed at fostering it. A lack of representativeness of the student population in disciplines with an educational focus was identified. The components and indicators of research competence share a common organization into dimensions spanning from metacognitive skills to contextual conditions within which research is practiced. There was an observed tendency towards the use of questionnaires and a prevalence of traditional approaches in validation procedures.

Article Details

Issue
Vol. 19 No. 2 (2024): (July-December 2024): Research Competence in Education: Challenges and Opportunities.
Section
Central Theme
Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Authorship: The list of authors signing must include only those people who have contributed intellectually to the development of the work. Collaboration in the collection of data is not, by itself, a sufficient criterion of authorship. "Alteridad" declines any responsibility for possible conflicts arising from the authorship of the works that are published.

Copyright: The Salesian Polytechnic University preserves the copyrights of the published articles, and favors and allows their reuse under the Creative Commons Attribution-NonCommercial-ShareAlike 3.0 Ecuador license. They may be copied, used, disseminated, transmitted and publicly displayed, provided that: i) the authorship and the original source of their publication (journal, editorial and work URL) are cited; (Ii) are not used for commercial purposes; Iii) mention the existence and specifications of this license.

References

American Educational Research Association, American Psychological Association, y National Council on Measurement in Education. [AERA, APA y NCME]. (2018). Estándares para pruebas educativas y psicológicas (M. Lieve, Trans.). American Educational Research Association.

Ary, D., Jacobs, L. C., Sorensen, C. y Razaviech, A. (2010). Introduction to Research in Education (8th Edition). Wadsworth Cengage Learning.

Boritz, J. E. y Carnaghan, C. A. (2003). Competency-based education and assessment for the accounting profession: a critical review. Canadian Accounting Perspectives, 2(1), (7-42). https://doi.org/10.1506/5K7C-YT1H-0G32-90K0

Cardoza, M., Montenegro, L., Collazos, M. A., García, V. A., Bellido, O. y Turriate, J. J. (2023). Development of research competences in university professors: A bibliographic review. International Journal of Membrane Science and Technology, 10(3), 1750-1755. https://doi.org/10.15379/ijmst.v10i3.1790

Carlín-Chávez, E., Carballosa-González, A. y Herrera-Rivas, K. (2020). Formación de competencias investigativas de los estudiantes en la Universidad de Guayaquil. Revista Universidad y Sociedad, 12(2), 8-16. https://bit.ly/3PyPz6c

Castillo-Martínez I. M. y Ramírez-Montoya, M. S. (2021). Research competencies to develop academic reading and writing: a systematic literature review. Frontiers in Education, 5. https://doi.org/10.3389/feduc.2020.576961

Chen, Q., Huang, C., Castro, A. y Tang, S. (2021). Instruments for measuring nursing research competence: a protocol for scoping review. BMJ Open, 11(2) https://doi.org/10.1136/bmjopen-2020-042325

Ciraso-Calí, A., Martínez-Fernández, J. R., París-Mañas, G., Sánchez-Martí, A. y García-Ravidá, L. B. (2022). The research competence: acquisition and development among undergraduates in education sciences. Frontiers in Education, 7. https://doi.org/10.3389/feduc.2022.836165

Colás-Bravo, P. y Hernández, M. Á. (2021). Las competencias investigadoras en la formación universitaria. Revista Universidad y Sociedad, 13(1), 17-25. https://bit.ly/3x6rvkT

Díaz-Espinoza, M. y Cardoza-Sernaqué, M. (2021). Habilidades y actitudes investigativas en estudiantes de maestría en educación. Revista Venezolana de Gerencia, 26(e6), 410-425. https://doi.org/10.52080/rvgluz.26.e6.25

Downing, S. M. (2006). Twelve steps for effective test development. En S. M. Downing y T. M. Haladyna (Eds.), Handbook of test development (pp. 3-25). Lawrence Erlbaum Associates.

Downing, S. M. y Haladyna, T. M. (2011). Handbook of test development. Lawrence Erlbaum Associates.

Espinoza, E., Rivera, A. y Tinoco, N. (2016). Formación de competencias investigativas en los estudiantes universitarios. Atenas, 1(33). https://bit.ly/3IQwAjD

Estrada, O. (2014). Sistematización teórica sobre la competencia investigativa. Revista Electrónica Educare, 18(2), 177-194. http://dx.doi.org/10.15359/ree.18-2.9

Fuster-Guillén, D. y Santa-María, H. (2020). New functional model of research skills in social problem solving. International Journal of Early Childhood Special Education, 12(1), 442-451. https://doi.org/10.9756/INT-JECSE/V12I1.201024

García-Cabrero, B., y Ledesma, A. (2022). La evaluación de competencias en educación superior: enfoques tradicionales y estrategias innovadoras. En M. Sánchez-Mendiola y A. Martínez-González (eds.), Evaluación y aprendizaje en educación universitaria: estrategias e instrumentos (pp. 605-619). CUAIEED.

García-Gutiérrez, Z. y Aznar-Díaz, I. (2019). El desarrollo de competencias investigativas, una alternativa para formar profesionales pedagogía infantil como personal docente investigador. Revista Electrónica Educare, 23(1). https://doi.org/10.15359/ree.23-1.15

Geisinger, K. F., Bracken, B. A., Carlson, J. K., Hansen, J. C., Kuncel, N. R., Reise, S. P. y Rodriguez M. C. (2013). APA handbook of testing and assessment in psychology, Vol. 3: testing and assessment in school psychology and education. APA.

Gess, C., Geiger, C. y Ziegler, M. (2019). Social-scientific research competency validation for test score interpretations for evaluative purposes in higher education. European Journal of Psychological Assessment, 35(5), 737-750. https://doi.org/10.1027/1015-5759/a000451

Gómez-Escorcha, J., Isea, N. y López, V. (2019). Competencias investigativas y su influencia en la formulación de proyectos de investigación en la Universidad Valle del Momboy. Actualidades Pedagógicas, 1(74), 191-213. https://doi.org/10.19052/ap.vol1.iss74.10

Hattie, J., y Leeson, H. (2013). Future directions in assessment and testing in education and psychology. En K. F. Geisinger, B. A. Bracken, J. F. Carlson, J. C. Hansen, N. R. Kuncel, S. P. Reise y M. C. Rodriguez (eds.), APA handbook of testing and assessment in psychology, Vol. 3: testing and assessment in school psychology and education (pp. 391-414). APA.

Hernández, M. I., Patricia, A., Daher, J. y Royero, M. (2019). Las competencias investigativas en la Educación Superior. Yachana Revista Científica, 8(3), 71-80. https://doi.org/10.62325/10.62325/yachana.v8.n3.2019.610

Ianni, P., Samuels, E., Eakin, B., Perorazio, T. Ellingrod, V. (2019). Assessments of research competencies for clinical investigators: a systematic review. Evaluation and the Health Professions, 44(3), 268-278. https://doi.org/10.1177/0163278719896

Jornet, J., González, J., Suárez, J. y Perales, J. (2011). Diseño de procesos de evaluación de competencias: consideraciones acerca de los estándares en el dominio de las competencias. Bordón. Revista de Pedagogía, 63(1), 125-145. https://bit.ly/3vzXtVY

Jornet, J., Perales, M. y González-Such, J. (2020). El concepto de validez de los procesos de evaluación de la docencia. Revista Española de Pedagogía, 78(276), 233-252. https://doi.org/10.22550/REP78-2-2020-01

Juárez. D. y Torres, C. (2022). La competencia investigativa básica. Una estrategia didáctica para la era digital. Sinéctica, Revista Electrónica de Educación, (58), e1302. https://doi.org/10.31391/S2007-7033(2022)0058-003

Kane, M. (1992). An argument-based approach to validation. Psychological Bulletin, 112(3), 527-535. https://doi.org/10.1037/0033-2909.112.3.527

Kane, M. (2013). Validating the interpretations and Uses of Test Scores. Journal of Educational Measurement, 50(1), 1-73. https://doi.org/10.1111/jedm.12000

Lane, S., Raymon, M. R. y Haladyna, T. M. (2016). Handbook of test development (2nd Edition). Routledge.

Lane, S., Raymond, M. R., Haladyna, T. M. y Downing, S. M. (2016b). Test development process. En S. Lane, M. R. Raymond y T. M. Haladyna (eds.), Handbook of Test Development (2nd Edition) (pp. 3-18). Routledge.

Linn, R. L. (2010). Educational measurement: overview. En P. Peterson, E. Baker y B. McGaw (eds.), International Encyclopedia of Education (pp. 45-49). Elsevier.

Manzanares, A. y Sánchez-Santamaría, J. (2016). La dimensión pedagógica de la evaluación por competencias y la promoción del desarrollo profesional en el estudiante universitario. Revista Iberoamericana de Evaluación Educativa, 5(1e), 187-202. https://doi.org/10.15366/riee2012.5.1.013

Marrs, S., Quesada-Pallarés, C., Nicolai, K., Severson-Irby, E. y Martínez-Fernández, J. (2022). Measuring perceived research competence of junior researchers. Frontiers in Psychology, 13. https://doi.org/10.3389/fpsyg.2022.834843

Martínez-Rizo, F. (2019). El nuevo oficio del investigador educativo. Una introducción metodológica. UAA: COMIE.

Mejía, O. (2012). De la evaluación tradicional a una nueva evaluación basada en competencias. Revista Electrónica Educare, 16(1), (27-46). http://doi.org/10.15359/ree.16-1.3

Mellado-Moreno, P., Sánchez-Antolín, P. y Blanco-García, M. (2021). Tendencias de la evaluación formativa y sumativa del alumnado en Web of Sciencies. Alteridad Revista de Educación, 16(2), 170-183. https://doi.org/10.17163/alt.v16n2.2021.01

Mendioroz, A., Napal, M. y Peñalva, A. (2022). La competencia investigativa del profesorado en formación: percepciones y desempeño. Revista Electrónica de Investigación Educativa, 24, e28. https://doi.org/10.24320/redie.2022.24.e28.4182

Moreno-Olivos, T. (2021). Cambiar la evaluación: un imperativo en tiempos de incertidumbre. Alteridad Revista de Educación, 16(2), 223-234. https://doi.org/10.17163/alt.v16n2.2021.05

Muslu-Kaygisiz, G., Gurkan, B. y Akbas, U. (2018). Adaptation of scientific reasoning scale into Turkish and examination of its psychometric properties. Educational Sciences: Theory & Practice, 18, 737-757. http://dx.doi.org/10.12738/estp.2018.3.0175

Naglieri, J. A. (2013). Psychological assessment by school psychologists: opportunities and challenges of a changing landscape. En K. F. Geisinger, B. A. Bracken, J. F. Carlson, J. C. Hanse, N. R. Kuncel, S. P. Reise y M. C., Rodriguez (eds.), APA handbook of testing and assessment in psychology, Vol. 3. Testing and assessment in school psychology and education (pp. 3-19). APA. https://doi.org/10.1037/14049-000

Núñez-Rojas, N., Chanduví-Calderón, W., Ballena-de-la-Cruz, A. y Ayala-Tandazo, J. (2021). Proyectos formativos y de investigación-acción como estrategias didácticas en la formación de docentes peruanos. Revista de Ciencias Sociales, 27(e4), 364-378. https://doi.org/10.31876/rcs.v27i.37013

Olazábal, G. y Aguila, A. (2020). Formación de la competencia investigativa en los estudiantes de la carrera Licenciatura en Educación Lengua Extranjera. Mendive, Revista de Educación, 18(3), 515-527. https://bit.ly/43AbIqr

Paterson, B. (2012). It looks great but how do I know if it fits? An introduction to meta-synthesis research. En K. Hannes y C. Lockwood (eds.), Synthesizing qualitative research: choosing the right approach (pp. 1-20). Wiley-Blackwell.

Paz, C. L. y Estrada, L. (2022). Condiciones pedagógicas y desafíos para el desarrollo de competencias investigativas. Revista Electrónica de Investigación Educativa, 24(e09), 1-17. https://doi.org/10.24320/redie.2022.24.e09.3937

Ramos, A. (2015). La validez en los exámenes de alto impacto. Un enfoque desde la lógica argumentativa. Perfiles Educativos, 37(149), 169-186. https://doi.org/10.22201/iisue.24486167e.2015.149.53132

Ravelo-Peña, M., Bonilla-Vichot, I., Martell-Socorras, M. y Toledo-González, M. (2019). La formación y desarrollo de la competencia investigativa, una experiencia en Pinar del Río. Mendive, Revista de Educación, 17(1), 54-68. https://bit.ly/3IOZgcP

Reyes-González, D. y García-Cartagena., Y. (2014). Desarrollo de habilidades científicas en la formación inicial de profesores de ciencias y matemáticas. Educación y Educadores, 17(2), 271-285. https://doi.org/10.5294/edu.2014.17.2.4

Ríos, P., Ruiz, C., Paulos, T. y León, R. (2023). Desarrollo de una escala para medir competencias investigativas en docentes y estudiantes universitarios. Areté, Revista Digital del Doctorado en Educación, 9(17), 147-169. https://doi.org/10.55560/arete.2023.17.9.7

Rodríguez, A., Caurcel, M. J., Gallardo, C. y García, A. (2023). Reconocimiento y actitud hacia la investigación educativa en la universidad. Revisa Interuniversitaria de Formación del Profesorado, 98(37.1), 139-158. https://doi.org/10.47553/rifop.v98i37.1.97824

Sanabria, L., López, O. y Leal, L. (2014). Desarrollo de competencias metacognitivas e investigativas en docentes en formación mediante la incorporación de tecnologías digitales: aportes a la excelencia docente. Revista Colombiana de Educación, (67), 147-170. https://doi.org/10.17227/0120391.67rce147.170

Sandelowski, M. y Barroso, J. (2007). Handbook for Synthesizing Qualitative Research. Springer.

Sandoval-Henríquez, F. y Sáez-Delgado, F. (2023). Revisión sistemática sobre competencias de investigación en estudiantes de educación superior. Páginas de Educación, 16(2), 186-211. https://doi.org/10.22235/pe.v16i2.3340

Su, G. y Long, T. (2021). Is the text-based cognitive tool more effective than the concept map on improving the pre-service teachers’ argumentation skills? Thinking Skills and Creativity, 41. https://doi.org/10.1016/j.tsc.2021.100862

Urrútia, G. y Bonfill, X. (2010). Declaración PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clinica, 135(11), 207-511. https://doi.org/10.1016/j.medcli.2010.01.015

Valderrama, M. W., Pérez, C. L., Llaque, G. I. y Matute, J. C. (2022). Habilidades investigativas en estudiantes universitarios. Una revisión sistemática [Conferencia]. 20th LACCEI International Multi-conference for Engineering, Education and Technology: education, research and leadership in post-pandemic engineering: resilient, inclusive and sustainable actions. Florida, Estados Unidos. http://dx.doi.org/10.18687/LACCEI2022.1.1.127

Valdiviezo-Villegas, G. y Leyva-Aguilar, N. (2023). Development of research competence in education: systematic review of literature. Russian Law Journal, 11(4). https://bit.ly/3VzSejN

Villa, L. (2005). La delimitación y validez de la investigación educativa. En P. G. Rodríguez (ed.), Linderos. Diálogos sobre investigación educativa (pp. 239-245). COMIE: CEE: SEB: ITESO

Wongdee, P. (2019). The development of activity-based learning model to enhance research skills for pre-service teachers of industrial education, faculty of industrial education and technology, Kmutt. Humanities, Arts and Social Studies, 19(1), 182-220. https://doi.org/10.14456/hasss.2019.9