El método Delphi en la investigación educativa

Por Ernesto López Gómez

Coeditor de Aula Magna 2.0

Facultad de Educación (UNED).

 

Esta entrada presenta el artículo que lleva por título El método Delphi en la investigación actual en educación: una revisión teórica y metodológica, publicado en el último número (21, 1) de Educación XX1 (López-Gómez, 2018).

Aunque son diversas las conceptualizaciones que se presentan, podemos decir que el método Delphi permite estructurar un proceso comunicativo de diversos expertos organizados en grupo-panel con vistas a aportar luz en torno a un problema de investigación. Su desarrollo tiene que garantizar el anonimato, establecer un proceso iterativo a través del feedback y se orienta hacia una medida estadística de la respuesta de grupo (López-Gómez, 2018)

Además de las diversas fuentes que el estudio arriba citado considera, que vinieron a impulsar en distintos momentos el desarrollo del método Delphi, es justo destacar en nuestro entorno la aportación relevante de Jon Landeta, profesor de la Universidad del País Vasco, quien con su obra El método Delphi. Una técnica de previsión para la incertidumbre, editada por Ariel en 1999, ha orientado numerosos estudios, siendo pionero en este ámbito. Reflejo de su impacto son las centenas de citas que se recogen de esta obra. Además, entre sus investigaciones posteriores destacan dos. La primera de ellas estudia la validez del Delphi en Ciencias Sociales (Landeta, 2006), mientras que la segunda propone un hybrid Delphi, que sintetiza el focus group, la técnica de grupo nominal y el Delphi con el objetivo de armonizar sus potencialidades y reducir sus limitaciones (Landeta, Barrutia y Lertxundi, 2011).

Volviendo de nuevo a la pretensión de esta entrada, los objetivos del artículo son, por un lado, analizar y discutir los fundamentos metodológicos del Delphi y, por otro lado, explorar las aplicaciones y usos del método Delphi en la investigación actual en educación.

Para el logro del primer objetivo, el artículo presenta el resultado de una revisión de la literatura que pone de manifiesto que, pese a ser muy diversos los modos de llevar a cabo investigaciones Delphi, han de considerarse algunos parámetros metodológicos comunes, a saber: selección y conformación del panel de expertos, número de expertos, calidad del panel, proceso iterativo en rondas y criterios a considerar para la finalización del proceso (consenso y estabilidad).

El segundo objetivo se aborda a través de una revisión de la literatura, para el periodo 2012-2015, y el consecuente análisis de 15 artículos que cumplían los criterios de inclusión planteados. De este modo, aunque los estudios Delphi en la investigación actual en educación se ocupan de temáticas variadas, se identifican dos categorías: tecnología educativa y profesorado universitario-educación superior. En definitiva, se pone de manifiesto el tema (tecnología), el colectivo (profesorado universitario) y el contexto (educación superior) que ha interesado últimamente para el desarrollo de estudios Delphi.

En relación a los objetivos de los trabajos revisados, son investigaciones que tratan de evaluar, identificar, estimar el uso, obtener consenso, predecir, definir, dimensionar, establecer líneas de trabajo, explorar, desarrollar y comprender. Estos resultados son coherentes con otros trabajos de revisión llevados a cabo, en los que se distinguen dos categorías en función de la finalidad del Delphi: forecasting-prioritisation (pronóstico o priorización) o concept-framework development (conceptualización o marco de desarrollo). No obstante, cabe destacar que en la revisión llevada a cabo no se encuentra el énfasis tanto en el pronóstico como en la conceptualización, en la síntesis de perspectivas de expertos en ámbitos emergentes o ante la ausencia de entendimiento común.

Respecto al número de rondas, la mayoría de los estudios se han organizado en dos o tres rondas, involucrando a un número de expertos variado y heterogéneo,  contando con 12, 13, 16, 17, 21 o 22 expertos, e incluso paneles más extensos con 44, 45, 54, 68 o 95 expertos. Destaca por su envergadura, el estudio de Plesch et al. (2013), en el marco del Proyecto Europeo STELLAR, quienes desarrollaron un Delphi con tres paneles de 41, 230 y 569 expertos a partir de un diseño en cuatro rondas. Es evidente que en la implementación del Delphi los recursos tienen un papel relevante.

La calidad metodológica del Delphi, tal y como se ha justificado (López-Gómez, 2018), ha de tener en cuenta los criterios de inclusión y selección de expertos, su número, la calidad y competencia del panel, el modo de organizar la comunicación y el avance del proceso iterativo, el tiempo transcurrido entre rondas, el porcentaje de abandono y los criterios adecuados de consenso y estabilidad adaptados a la singularidad del problema de investigación y del objeto de estudio. En definitiva, el estudio presentado es una síntesis teórica y metodológica sobre el Delphi que puede ser de útil para orientar investigaciones que incluyan el desarrollo de este método en sus diseños.

Referencias bibliográficas:

Landeta, J. (2006). Current validity of the Delphi method in social sciences. Technological forecasting and social change, 73(5), 467-482, doi: 10.1016/j.techfore.2005.09.002

Landeta, J., Barrutia, J., & Lertxundi, A. (2011) Hybrid Delphi: A Methodology to facilitate contribution from experts in professional contexts. Technological Forecasting and Social Change, 78(9), 1629–1641, doi: 10.1016/j.techfore.2011.03.009

Landeta, J. (1999). El método Delphi. Una técnica de previsión para la incertidumbre. Barcelona: Ariel.

López Gómez, E. (2018). El método Delphi en la investigación actual en educación: una revisión teórica y metodológica. [The Delphi method in current educational research: a theoretical and methodological review]. Educación XX1, 21(1), 17-40, doi: 10.5944/educXX1.15536

Plesch, C., Kaendler, C., Rummel, N., Wiedmann, M., & Spada, H. (2013). Identifying areas of tension in the field of technology-enhanced learning: results of an international delphi study. Computers & Education, 65, 92-105, doi: 10.1016/j.compedu.2013.01.018

Cómo citar esta entrada:

López Gómez, E. (2017). El método Delphi en la investigación educativa. Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/3286

Fuente de la revista:

López-Gómez, E. (2018). El método Delphi en la investigación actual en educación: una revisión teórica y metodológica. [The Delphi method in current educational research: a theoretical and methodological review]. Educación XX1, 21(1), 17-40, doi: 10.5944/educXX1.15536

Listado de referencias

Akins, R.B., Tolson, H., & Cole, B.R. (2005). Stability of response characteristics of a Delphi panel: application of bootstrap data expansion. BMC Medical Research Methodology, 5(37). Recuperado de: http://goo.gl/nihfGc

Arregui, G., Vallejo, B. y Villareal, O. (1996). Aplicación de la metodología Delphi para la previsión de la integración española en la Unión Económica Monetaria. Investigaciones europeas de dirección y economía de la empresa, 2(2), 13-38.

*Baumfield, V. M., Conroy, J., Davis, R. & Lundie, D. (2012). The Delphi method: gathering expert opinion in religious education. British Journal of Religious Education, 34(1), 5-19.

Best, R.J. (1974). An experiment in Delphi estimation in marketing decision making. Journal of Marketing Research, 11 (4), 448-452.

Blasco, J.E., López, A. y Mengual, S. (2010). Validación mediante método Delphi de un cuestionario para conocer las experiencias e interés hacia las  actividades acuáticas con especial atención al windsurf. Ágora para la Educación Física y el Deporte, 12(1), 75-96.

Brooks, K.W. (1979). Delphi technique: Expanding applications. North Central Association Quarterly, 53, 377-385.

Brummer, J. (2005). A Delphi Method of Teaching Applied Philosophy. Teaching Philosophy, 8(3), 207-220.

*Cabero, J. (2014). Formación del profesorado universitario en TIC. Aplicación del método Delphi para la selección de los contenidos formativos. Educación XX1, 17(1), 111-132.

Cabero, J. e Infante, A. (2014) Empleo del método Delphi y su empleo en la investigación en comunicación y educación. Edutec. Revista Electrónica de Tecnología Educativa, 48. Recuperado de: http://goo.gl/zDnTm9

Cabero, J. y Barroso, J. (2013). La utilización del juicio de experto para la evaluación de TIC: el Coeficiente de competencia experta. Bordón. Revista de Pedagogía, 65 (2), 25-38.

Coates, J. (1975). In defense of Delphi: a review of Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 193-194.

Dalkey, N. (1969). The Delphi Method, An Experimental Study of Group Opinion. Santa Mónica, CA: Rand Corporation.

Dalkey, N., & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, 9(3), 458-467.

Dalkey, N., Rourke, D.L., Lewis, R. & Snyder, D. (eds.). (1972). Studies in the quality of life: Delphi and decision-making. Lexington, MA: Lexington Books. 

De Vet, E. (2005). Determinants of forward stage transitions: a Delphi study. Health Education Research, 20(2), 195-205.

Delbecq, A.L., Van de Ven, A.H., & Gustafson, D.H. (1975). Group techniques for program planning. Glenview, IL: Scott-Foresman and Co. 

Eggers, R. & Jones, C. (1998). Practical considerations for conducting Delphi studies: the oracle enters a new age. Educational Research Quartely, 21(3), 53-66.

*García-Aracil, A., y Palomares-Montero, D. (2012). Indicadores para la evaluación de las instituciones universitarias: validación a través del método Delphi. Revista Española de Documentación Científica, 35(1), 119-144.

Geist, M.R. (2010). Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning, 33(2), 147-154.

Gnatzy, T., Warth, J., von der Gracht, H., & Darkow, I.L. (2011). Validating an innovative real-time Delphi approach-A methodological comparison between real-time and conventional Delphi studies. Technological Forecasting and Social Change, 78(9), 1681-1694.

Gordon, T. & Pease, A. (2006). RT Delphi: An efficient, “round-less” almost real time Delphi method. Technological Forecasting and Social Change, 73(4), 321-333.

Gordon, T.J. (1994). The Delphi method. Washington D.C: United Nations University.

Green, R.A. (2014). The Delphi technique in educational research. SAGE Open, 4 (2), 1-8.

Gustafson, D.H.; Shukla, R.K., Delbecq, A., & Walster, G.W. (1973). Comparative study of differences in subjective likelihood estimates made by individuals, interacting groups, Delphi groups and nominal groups. Organizational Behavior and Human Performance, 9(2), 280-291.

Hallowell, M. & Gambatese, J. (2010). Qualitative Research: Application of the Delphi Method to CEM Research. Journal of Construction Engineering & Management, 136(1), 99-107.

Helmer, O. (1966). The Delphi method for systematizing judgements about the future. Los Ángeles: University of California.

Helmer, O. (1967). Systematic Use of Expert Opinions. Santa Monica, CA: RAND Corporation.

Hsu, C. & Sandford, B. (2007). The Delphi Technique: Making Sense of Consensus. Practical Assessment Research & Evaluation, 12(10), 1-8.

*Huisman, J., Boer, H., & Bótas, P.C.P. (2012). Where do we go from here? The future of English higher education. Higher Education Quarterly, 66(4), 341-362.

Hung, H.L., Altschuld, J.W. & Lee, Y. (2008). Methodological and conceptual issues confronting a cross-country Delphi study of educational program evaluation. Evaluation and Program Plannin, 31, 191-198.

*Janssen, J., Stoyanov, S., Ferrari, A., Punie, Y., Pannekeet, K., & Sloep, P. (2013). Experts’ views on digital competence: Commonalities and differences. Computers & Education, 68, 473-481.

Kennedy, H. (2004). Enhancing Delphi research: methods and results. Journal of Advanced Nursing, 45, 504-511.

*Korkmaz, H.E., & Erden, M. (2014). A Delphi Study: The Characteristics of Democratic Schools. The Journal of Educational Research, 107(5), 365-373.

Landeta, J. (1999). El método Delphi: una técnica de previsión para la incertidumbre. Barcelona: Ariel.

Landeta, J. (2006). Current validity of the Delphi method in social sciences. Technological Forecasting and Social Change, 73(5), 467-482.

Landeta, J., & Barrutia, J. (2011). People consultation to construct the future: a Delphi application. International Journal of Forecasting, 27(1), 134-151.

Landeta, J., Matey, J., Ruiz, V. y Villarreal, O. (2002). Alimentación de modelos cuantitativos con información subjetiva: aplicación Delphi en la elaboración de un modelo de imputación del gasto turístico individual en Catalunya. Questiö, 26(1-2), 175-196.

*Lee, Y.F., Altschuld, J.W., & Lee, L.S. (2012). Essential competencies for program evaluators in a diverse cultural context. Evaluation and Program Planning, 35(4), 439-444.

Linstone, H.A., & Turoff, M. (2011). Delphi: a brief look backward and forward. Technological Forecasting and Social Change, 78, 1712-1719.

Listone, H. y Turoff, M. (1975). The Delphi method. Techniques and aplications. London: Addison-Wesley.

*Lohse, H., Kunina, O., & Kunter, M. (2013). The role of educational psychology in teacher education: expert opinions on what teachers should know about learning, development, and assessment. European Journal of Psychology of Education, 28(4), 1543-1565.

Ludwig, B. (1997). Predicting the future: Have you considered using the Delphi methodology? Journal of Extension, 35 (5) 1-4. Retrieved from: http://goo.gl/A6oSuJ

Marchais-Roubelat, A. & Roubelat, F. (2011). The Delphi method as a ritual: Inquiring the Delphic Oracle. Technological forecasting & Social Change, 78, 1491-1499.

Martínez Piñeiro, E. (2003). La Técnica Delphi como estrategia de consulta a los implicados en la evaluación de programas. Revista de Investigación Educativa, 21(2), 449-463.

Maxey, D., & Kezar, A. (2015a). Revealing Opportunities and Obstacles for Changing Non-Tenure-Track Faculty Practices: An Examination of Stakeholders’ Awareness of Institutional Contradictions. The Journal of Higher Education, 86(4), 564-594.

*Maxey, D., & Kezar, A. (2015b). Leveraging the Delphi Technique to Enrich Knowledge and Engage Educational Policy Problems. Educational Policy, ahead of print.

Meyrick, J. (2003). The Delphi method and health research. Health Education, 103(1), 7-16.

Needham, R.D., & de Loë, R. (1990). The policy Delphi: purpose, structure, and application. The Canadian Geographer, 34(2), 133-142.

Novakowski, N. & Wellar, B. (2008). Using the Delphi technique in normative planning research: methodological design considerations. Environmental and Planning, 40, 1485-1500.

Okoli, C., & Pawlowski, S.D. (2004). The Delphi method as a research tool: an example, design considerations and applications. Information & Management, 42(1), 15-29.

*Pérez, L., Llorente, E., Gavidia, V., Caurín, C. y Martínez, M.J. (2015). ¿Qué enseñar en la educación obligatoria acerca de la alimentación y la actividad física?: Un estudio con expertos. Enseñanza de las Ciencias, 33(1), 85-100.

Pill, J. (1971). The Delphi method: Substance, context, a critique and an annotated bibliography. Socio-Economic Planning Science, 5, 57-71.

*Plesch, C., Kaendler, C., Rummel, N., Wiedmann, M., & Spada, H. (2013). Identifying areas of tension in the field of technology-enhanced learning: results of an international delphi study. Computers & Education, 65, 92-105.

*Porta, M., Mas, M., Martínez, C. y Maillet, K. (2012). A Delphi study on Technology Enhanced Learning (TEL) applied on Computer Science (CS) skills. International Journal of Education and Development using Information and Communication Technology, 8(1), 46-70.

Powell, C. (2003). The Delphi technique: Myths and realities. Journal of Advanced Nursing, 41(4), 376-382.

Pozo, Mª. T., Gutiérrez, J. y Rodríguez, C. (2007). El uso del método Delphi en la definición de los criterios para una formación de calidad en animación sociocultural y tiempo libre. Revista de Investigación Educativa, 25(2), 351-366.

Price, B. (2005). Delphi survey research and older people. Nursing Older People, 17 (3), 25-31.

Rieger, W. G.  (1986). Directions in Delphi developments: Dissertations and their quality. Technological Forecasting and Social Change, 29, 195-204.

Rowe, G., & Wright, G. (1999). The Delphi technique as a forecasting tool: Issues and analysis. International Journal of Forecasting, 15(4), 353-375.

Rowe, G., & Wright, G. (2011). The Delphi technique: Past, present, and future prospects—Introduction to the special issue. Technological Forecasting and Social Change, 78, 1487-1490.

Sackman, H. (1975). Delphi critique. Boston, MA: Lexington Books.

Scheele, D. (1975). Consumerism comes to Delphi: comments on Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 215- 219.

Shah, H., & Kalaian, S.A. (2009). Which Parametric Statistical Method to Use For Analyzing Delphi Data? Journal of Modern Applied Statistical Method. 8(1), 226-232. 

*Shaikh, Z.A., & Khoja, S.A. (2014). Personal learning environments and university teacher roles explored using Delphi. Australasian Journal of Educational Technology, 30(2), 202-226.

Skulmoski, G.J., Hartman, F.T., & Krahn, J. (2007). The Delphi method for graduate research. Journal of Information Technology Education, 6, 1-21.

*Snelson, C., Rice, K., & Wyzard, C. (2012). Research priorities for YouTube and video‐sharing technologies: A Delphi study. British Journal of Educational Technology, 43(1), 119-129.

Steurer, J. (2011). The Delphi method: an efficient procedure to generate knowledge. Skeletal Radiol, 40, 959-961.

Von der Gracht, H. (2012). Consensus measurement in Delphi studies: review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525-1536.

Witkin, B.R., & Altschuld, J.W. (1995). Planning and  conducting needs assessment: A practical guide. Thousand Oaks, CA: Sage Publications, Inc.

Worthen, B.R., & Sanders, J.R. (1987). Educational evaluation: Alternative approaches and practical guidelines. New York: Longman.

*Yeh, Y.F., Hsu, Y.S., Wu, H.K., Hwang, F.K., & Lin, T.C. (2014). Developing and validating technological pedagogical content knowledge‐practical (TPACK ‐ practical) through the Delphi survey technique. British Journal of Educational Technology, 45(4), 707-722.

Las referencias marcadas con un asterisco (*) indican los estudios incluidos en la revisión llevada a cabo.

---

---