Indicadores metodológicos clave para modular el nivel de concreción de los diseños de investigación

Por Clemente Rodríguez-Sabiote

Departamento de Métodos de Investigación y Diagnóstico en Educación

Universidad de Granada

 

Palabras clave: RELIEVE, RIE, indicadores metodológico-analíticos, control de calidad

La importancia que tienen los indicadores metodológico-analíticos en la modulación de la calidad mostrada por los trabajos científicos, más allá de los estrictamente bibliométricos y su complementariedad con los mismos, ha quedado constatada en algunos trabajos, entre otros los de Rodríguez-Sabiote (2017a); Rodríguez-Sabiote (2017b); Rodríguez-Sabiote y Úbeda-Sánchez (2019). En el caso de las referencias anteriormente citadas se tomaron como objeto de análisis los artículos publicados en revistas científicas de impacto en la disciplina educativa, aunque no obstante esta investigación podría replicarse en otras tantas disciplinas y sería interesante determinar qué tipo de hallazgos y conclusiones se derivan de los mismos, aplicando las sugerencias de mejora que, por ejemplo, propone Aliaga (2017).

En este sentido, el uso y ab(uso) de indicadores bibliométricos tradicionales basados en procesos de citación y complejos algoritmos de cálculo parece responder más bien a la determinación del impacto y visibilidad de la revista que al verdadero concepto de calidad de la misma. Esta práctica, además de ser la que se ha impuesto desde ya algún tiempo está provocando, no pocos efectos indeseables en el seno de la comunidad científica (Delgado-López-Cózar, Ràfols y Abadal, 2021).

Así con Rodríguez-Sabiote et al. (2022) destacamos que uno de los efectos perversos de tal práctica es la de promover la cultura del “publica o perece” que en muchos casos provoca un aumento del número de publicaciones de cuestionable calidad y valía científica (Delgado-López-Cózar y Martín-Martín, 2019; Fernández-Cano, 2021). Otro efecto negativo es la excesiva dedicación del docente universitario a tareas de producción científica en detrimento de la docencia y la transferencia (De-Rijcke et al., 2016; Feenstra & Delgado-López-Cózar, 2021) y las posibles consecuencias que ello puede generar en la calidad de los procesos de enseñanza-aprendizaje y en obstaculización de la transferencia de conocimientos generados en el contexto universitario a entornos socio-económicos.

Finalmente, también destacamos la multiplicación de comportamientos totalmente alejados de toda ética deontológica por el interés de publicar a cualquier precio (Feenstra et al, 2021), que en muchos casos puede llegar a la impostura, la dehonestidad académico-científica, así como al desarrollo de prácticas corruptas  o fraudulentas  (Chapman & Lindner, 2016; Mohamedbhai, 2016; Denisova-Schmidt, 2017; Muñoz-Cantero et al., 2022).

Partiendo de estos antecedentes en un trabajo más reciente Rodríguez-Sabiote et al. (2022) han concluido que, efectivamente la mayor o menor presencia de una determinada tipología de indicadores metodológico-analíticos parece modular la mayor o menor concreción de los diseños de investigación. Con el término concreción nos estamos refiriendo a que el artículo empírico objeto de análisis incluya menos o más indicadores metodológico-analíticos en su contenido. Obviamente, entendemos que un trabajo que incluya el mayor número de indicadores metodológico-analíticos posible puede considerarse como más completo y, por ende, ser calificado como de mayor rigor científico.

A este respecto, si bien el concurso de todos los indicadores metodológico-analíticos es capital para la buena consideración de un trabajo científico de carácter empírico sí que parecen darse una tipología de indicadores que poseen un mayor poder predictivo a la hora de determinar la concreción del diseño de investigación.

Fuente de la imagen: Pixabay

De esta forma, Rodríguez-Sabiote et al. (2022, p.378) han considerado para su estudio 10 indicadores metodológicos-analíticos, a saber: objetivos de la investigación y/o hipótesis, metodología de abordaje, variables del estudio, técnicas de recogida de información, tamaño muestral, tipo de muestreo, características muestrales, criterios de calidad, congruencia entre los análisis de datos implementados y los objetivos y/o hipótesis planteados e interpretación de los análisis de datos. De esos 10 indicadores el estudio ha concluido que sólo 3 han sido los que influyen en la determinación de una mayor o menor concreción del diseño de la investigación con mayor intensidad, a saber: criterios de rigor metodológico, es decir, aspectos relativos a la fiabilidad y la validez de naturaleza cuantitativa fundamentados en las distintas teorías psicométricas (Teoría Clásica de los Test-TCT-, Teoría de Respuesta al Item-TRI- y Teoría de la Generalizabilidad-TG-), así como a la de tipo cualitativa; tipo de muestreo que, igualmente, estarían referidos a las tipologías cuantitativa (probabilísticos y no probabilísticos) y cualitativa; así como la metodología de abordaje del estudio.

Por tanto, existen evidencias empíricas suficientes para considerar que los artículos evaluados que explicitan en su informe los criterios de rigor metodológico, el tipo de muestreo, así como la metodología de abordaje de la investigación están asociados a concreciones metodológico-analíticas más completas, o lo que es lo mismo, a informes de científicos donde el proceso de investigación ha sido más detallado y, por tanto, ameritan un mayor rigor científico.

Las implicaciones finales que se derivan de la consideración de estos indicadores de calidad metodológico-analíticos están muy estrechamente relacionadas con la elaboración y utilización de escalas de medición para evaluar un informe científico. Este tipo de escalas cada vez con más asiduidad se están teniendo en cuenta. Así, López-López et al. (2019) destacan que en la literatura reciente se han propuesto algunos instrumentos validados para evaluar un artículo científico (Greenberg, 2015; Merma, Peña y Peña-Alfaro, 2017; Rakedzon y Baram, 2017). No obstante, López-López et al, (2019, p.113) destacan que dichas escalas son acreedoras de ciertas debilidades. En primer lugar, les falta abordar todos los elementos de un artículo paso a paso. En segundo lugar, algunos indicadores son ambiguos. Finalmente, a veces sus descriptores son globales y poco detallados, lo cual dificulta su empleo en la evaluación y mejora de un artículo científico.

Por esta razón es cada vez más habitual la presencia de escalas de evaluación de artículos científicos, cuyo objetivo es la valoración de un trabajo de la forma más sistemática posible, más clara, con mayor detalle y profundidad, además de ser capaces de garantizar criterios de fiabilidad y validez.  Ejemplo de ello son las propuestas por Gómez-Ortega y Amaya-Rey (2013) o más recientemente López-López et al. (2019), por no hablar de que, cada vez también con mayor frecuencia este tipo de escalas  elaboradas ad hoc por cada revista están siendo utilizadas por las mismas para valorar los artículos potencialmente publicables.

 

Referencias bibliográficas:

Aliaga, F. (2017). Análisis de una propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación. Aula Magna 2.0. [Blog]. http://cuedespyd.hypotheses.org/3163

Chapman, D. W., & Lindner, S. (2016). Degrees of integrity: the threat of corruption in higher education. Studies in Higher Education, 41(2), 247-268. https://doi.org/10.1080/03075079.2014.927854

Delgado-López-Cózar, E., y Martín-Martín, A. (2019). El Factor de Impacto de las revistas científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo? Anuario Think EPI, 13, e13e09. https://doi.org/10.3145/thinkepi.2019.e13e09

Delgado-López-Cózar, E., Ràfols, I., y Abadal, E. (2021). Letter: A call for a radical change in research evaluation in Spain. Profesional De La Información, 30(3), 1-6. https://doi.org/10.3145/epi.2021.may.09

Denisova-Schmidt, E. (2017). The Challenges of Academic Integrity in Higher Education: Current Trends and Prospects. Boston College Center for International Higher Education.

Feenstra, Ramón A., Delgado-López-Cózar, E., & Pallarés-Domínguez, D. (2021). Research misconduct in the fields of ethics and philosophy: researchers’ perceptions in Spain. Science and engineering ethics, 27(1), 1-21. https://doi.org/10.1007/s11948-021-00278-w

Feenstra, R. A., & López-Cózar, E.D. (2021). The footprint of a metrics-based research evaluation system on Spanish philosophical scholarship: an analysis of researchers perceptions. ArXiv, abs/2103.11987

Fernández-Cano, A. (2021). Publish, publish… cursed! Scientometrics, 126(4), 3673-3682. https://doi.org/10.1007/s11192-020-03833-7

Gómez-Ortega, O.R., y Amaya-Rey, M.C.P. (2013). ICrESAI-IMeCI: instrumentos para elegir y evaluar artículos científicos para la investigación y la práctica basada en evidencia. Aquichan, 13(3), 407-420.

López-Lopez, E., Tobón, S., y Juárez-Hernández, J.G. (2019). Escala para evaluar artículos científicos en Ciencias Sociales y Humanas (EACSH). REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación 17(4), 111-125. https://doi.org/10.15366/reice2019.17.4.006

Mohamedbhai, G. (2016). The scourge of fraud and corruption in higher education. International Higher Education, (84), 12-14.

Muñoz-Cantero, J. M., Espilleira-Bellón, E.M., y Pérez-Crego, M.C. (2022). Conceptualización del plagio académico desde la percepción de distintos agentes de la educación superior. Innovaciones Educativas, 24 (0), 5-20.

Rodríguez-Sabiote, C. (2017a). Análisis bibliométrico mediante indicadores de calidad metodológicos de las revistas RIE (Revista de Investigación Educativa) y RELIEVE (Revista Electrónica de Investigación y Evaluación Educativa) durante el lustro 2012-2016. In AIDIPE (Eds.), XVIII Congreso Internacional de Investigación Educativa. Interdisciplinaridad y Transferencia (pp. 787-798). Salamanca (Spain).

Rodríguez-Sabiote, C. (2017b). Propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación. Aula Magna 2.0. [Blog]. https://cuedespyd.hypotheses.org/3090.

Rodríguez-Sabiote, C. y Úbeda-Sánchez, A. M. (2019). Bibliometric analysis through methodological quality indicators of Spanish education journals indexed in JCR during the three year period 2014-2016. RELIEVE, 25(1), art. 2. http://doi.org/10.7203/ relieve.25.1.12771.

Rodríguez-Sabiote, C., Úbeda-Sánchez, A.M, Olmedo-Moreno, E.M. y Álvarez-Rodríguez, J. (2022). Importancia de los indicadores metodológicos-analíticos en el nivel de concreción de los diseños de investigación de los artículos científicos en educación. Revista de Investigación Educativa, 40(2), 365-383. http://dx.doi.org/10.6018/rie.441741

 Cómo citar esta entrada:

Rodríguez Sabiote. C. (2023). Indicadores metodológicos clave para modular el nivel de concreción de los diseños de investigación. Aula Magna 2.0. https://cuedespyd.hypotheses.org/12181

^[i] Profesor titular del departamento de Métodos de investigación y Diagnóstico en Educación de la Universidad de Granada (España). Autor de diversas publicaciones científicas (artículos, ponencias, etc.) e investigador colaborador en numerosos proyectos I+D+I.

 

---

---