Casos (La evaluación de las competencias en los grados universitarios IV)

Escribe: Dr. Ramón Pérez Juste. Profesor Emérito  (UNED)

La serie de post en relación con la evaluación de competencias en los grados universitarios aborda una nueva técnica que se une a las ya presentadas sobre el portfolio, especialmente adecuado para las competencias más avanzadas, como las que deben ponerse de manifiesto en las prácticas profesionales, o los trabajos, también adecuados a documentos originales cuyo campo más adecuado podría ser el trabajo fin de Grado o de Máster.

Como en los posts anteriores, el “caso” resulta adecuado no solo para valorar un amplio campo del saber sino para facilitar el tipo de aprendizaje que venimos defendiendo que, recordemos, es aquel que podemos calificar de complejo, transversal y de logro progresivo, que debe integrarse armónicamente y ser activado en cada actividad o acto que la requiera.

¿Qué es un caso?

En un primer acercamiento, entendemos aquí por “caso” un documento de elaboración original por parte del estudiante en el que debe evidenciar no solo la posesión de saberes determinados –en su sentido más amplio: habilidades, destrezas, estrategias, competencias- sino su asimilación e integración, debidamente activados ante una situación académica o profesional, definida por el profesor, que puede ser real o ficticia, aunque conviene que sea verosímil.

El caso puede darse en cualquier ámbito del saber, académico o profesional; puede plantear un caso un profesor de Derecho, de Ciencias Económicas, de Ingeniería, de Geografía, … de Educación. Y puede responder a un plan sistemático o nacer de una situación relevante; por ejemplo: según informa la prensa, el fenómeno Podemos está  siendo objeto de estudio de caso en algunas facultades universitarias de Políticas y Sociología.

Casos pueden encontrarse en el ámbito profesional, como la ayuda a personas con adición, a padres en dificultades o en formación, a clientes de banca, a alumnos que sufren acoso, con dificultades de aprendizaje o de comportamiento, etc, sirviendo de base para la capacitación académica.

Como se ve, esta técnica es muy versátil por lo que admite notables variaciones que el proponente –profesor en este caso- debe saber aprovechar como elemento motivador del aprendizaje, al hacerlo atractivo, interesante y potencialmente útil merced a su habilidad para enunciarlo y definirlo.

Versatilidad de la técnica

La versatilidad es mayor si tenemos en cuenta que esta técnica admite una modalidad claramente diferente, apta para constatar las competencias desde otra perspectiva; me refiero a la situación en que el propio alumno puede verse en la situación de diseñar el caso y de darle la oportuna solución y respuesta. Aquí, el autor debe evidenciar no solo que pone en juego sus aprendizajes complejos para resolver la situación sino su originalidad y creatividad para diseñarlos y aplicarlos, lo que representa de alguna manera situarse en la posición de compaginar la visión desde el punto de vista del propio alumno y desde el lado del profesor.

Dada nuestra conocida posición en demanda de coherencia entre objetivos de los procesos de enseñanza / aprendizaje, de la metodología a su servicio y de la evaluación para la constatación de su logro y de las potencialidades de mejora, no nos debe extrañar que planteemos su utilización también como método o técnica para el aprendizaje de las competencias. Así se puede apreciar en el documento El estudio de casos como técnica didáctica, o en el texto de la profesora Martín Cuadrado (2010)

En efecto: con una buena planificación y selección de casos puede llevarse a cabo una metodología activa y atractiva en muchas materias del currículum. Por otra parte, dadas las aportaciones de las TIC´s, el caso puede construirse y resolverse en las web´s de las asignaturas y materias mediante la aportación de los miembros de los grupos, cultivándose de paso las competencias de trabajo colaborativo (Fig.1). Las TIC´s también pueden ser utilizadas en el diseño, acudiendo a técnicas como el “role playing” o dramatización y los sociogramas, que facilitan el cultivo de formas de expresión poco habituales.

 Caso1

Sin embargo, debemos precisar que en este nuestro enfoque dejamos de lado el caso como método de investigación, sea cualitativa sea cuantitativa, como ocurre en los diseños N = 1. Y lo dejamos de lado porque nuestra perspectiva es la de evaluar el logro de competencias y no la resolución de problemas, sean estos científicos o prácticos. Es decir: nos movemos fundamentalmente en los ámbitos de la formación y de su evaluación.

La definición del caso. Algunos tipos

No insistiéremos suficientemente en dos aspectos que valen, en general, para las técnicas ya presentadas y las que falta por presentar; el primero de ellos tiene que ver con la necesaria ligazón entre objetivos, metodología y evaluación al servicio del aprendizaje del alumnado. El segundo, con el papel de protagonismo que asignamos al alumnado para alcanzar el tipo de aprendizaje que pretendemos, que quedó ya recogido en el primero de nuestros post y que, por cierto, está en línea con el modelo de aprendizaje humano al que nos referimos en nuestra anterior colaboración.

Ambos hechos condicionan la cantidad y naturaleza de la información que será preciso ofrecer al alumnado según el grado de autonomía que deba ya poseer y de protagonismo (iniciativa, originalidad) que se desee concederle. Por otra parte, preciso es dejar constancia de la diversa tipología de casos, donde caben dos claramente diferenciados:

  • Planteamiento de un enunciado, más o menos detallado según lo que acabamos de indicar, y solicitud de la respuesta del alumnado a las cuestiones que se le formulen, de las que se pueda colegir el grado de formación alcanzado.

Casos de este tipo son muy utilizados en exámenes de diferentes facultades. En una investigación dirigida por el autor se pudieron constatar en el campo del Derecho, la Economía, la Psicología clínica o la Orientación educativa.

También podemos encontrar casos como arranque de debates en la formación del alumnado. Tal puede ser la situación que propone Lawrence Kohlberg para su teoría sobre los estadios evolutivos del juicio moral, mediante el planteamiento de sus dilemas morales, fácilmente trasladables a la mayoría de las materias del currículo (Vid. R. Hersh y otros 1988)

  • Planteamiento de un caso, incluyendo las respuestas dadas al mismo, y solicitud de un análisis crítico y valorativo tanto del caso como de las respuestas dadas. Un caso de este tipo lo puede encontrar el lector en Pérez Juste (2005) en relación con un proceso de evaluación de un centro educativo.

Ahora bien, teniendo en cuenta el planteamiento del caso no solo en el campo de la evaluación de competencias sino de la formación del alumnado en las mismas, podemos señalar su uso preferente en este contexto; así, los alumnos pueden aprender de casos ya resueltos sometidos a análisis y valoración crítica; en el mismo contexto, se pueden proponer casos en los que el alumno deba elegir la solución correcta en función de la teoría subyacente. Por ejemplo, en asignaturas de metodología, a una breve definición de una situación de investigación se le puede solicitar que decida la solución (diseño, técnica estadística) aportando el razonamiento que le lleva a ello.

No obstante, hay un tipo más avanzado, especialmente apto para los objetivos más elevados, complejos y transversales, como pueden ser lo de síntesis y evaluación en la taxonomía de Bloom,  en el que no es fácil encontrar las respuestas que pudiéramos denominar “correctas” sino que, atendiendo las circunstancias y contextos, los futuros profesionales deberían ser capaces de darles su respuesta personal, elaborada a partir de síntesis personales, en su caso originales, divergentes, creativas. En esta situación, la dificultad la tendrá la persona que deba valorar las soluciones propuestas, sea un profesor, un responsable de recursos humanos, un orientador, un psicólogo, un psiquiatra…

No obstante las dificultades derivadas de lo anterior, sí podemos señalar algunas características que debe tener el enunciado de un caso para que cumpla con su función orientadora del trabajo del alumno y facilitadora del éxito académico que todo estudiante desea alcanzar, e, incluso, de la responsabilidad formadora y calificadora del profesor. Señalaremos algunas de las más importantes:

  • La temática del caso, capaz de centrar el trabajo a la vez que de dejar campo para la iniciativa personal en el desarrollo y la originalidad en el tratamiento.
  • Los objetivos mínimos que debe cubrir, dejando campo para los optativos e, incluso, libres.
  • Las cualidades del enunciado que lo hagan atractivo y motivador, tales como su potencial utilidad, su coherencia con la formación recibida, su relevancia, su actualidad, su capacidad de provocar respuesta por los destinatarios…
  • Su contextualización en el ámbito sometido a evaluación
  • Su apertura, y hasta estímulo, a planteamientos críticos, incluso sobre el propio enunciado del caso por el profesor
  • Los criterios valorativos del mismo.

Cualidades de un buen caso a efectos de su evaluación

Al igual que en post anteriores, me parece muy adecuado, y acertado, aplicar tanto al diseño como a la elaboración y valoración de este tipo de trabajos, la ya conocida propuesta del profesor V. García Hoz que conocemos como la Obra Bien Hecha. Dado que  ya ha sido presentada previamente, no parece necesario insistir en ella aunque sí en la conveniencia de tomarla como referencia para la orientación y valoración.

La figura 2 recoge nuestra propuesta de criterios para valorar el diseño de un caso, especialmente desde la perspectiva en que es el propio alumno quien debe no solo resolverlo sino, incluso, idearlo, concebirlo y definirlo.

Caso2 

En la figura 3 se hace una propuesta de criterios para la valoración del resto de etapas de la obra bien hecha: su planificación, realización, conclusión y valoración.

Figura 3. Propuesta de criterios para la valoración de la resolución de un caso

Figura 3. Propuesta de criterios para la valoración de la resolución de un caso

Obviamente, estas propuestas deben tomarse como lo que son, esto es, como sugerencias a seguir solo en el caso de resulten adecuadas, a juicio de quien deba aplicarlas, al caso a diseñar y evaluar.

REFERENCIAS

  • Hersh, R. y otros (1988) El crecimiento moral, de Piaget a Kohlberg. Madrid: Morata.
  • Martín Cuadrado, Ana (2010) El educador social en acción: de la teoría a la praxis. Madrid: Editorial universitaria Ramón Areces
  • Pérez Juste, R. (Coord) (2005) Anexo. Una propuesta de actuación. En R. Pérez Juste: Calidad en Educación, calidad de la Educación. Madrid: AEC, pp. 133-142
  • El estudio de casos como técnica didáctica, http://www.sistema.itesm.mx/va/dide/inf-doc/estrategias/; http://cursosls.sistema.itesm.mx/Home.nsf/. Consultado en noviembre de 2014
Posted in Entradas | Leave a comment

Trabajos (La evaluación de las competencias en los grados universitarios III)

Escribe: Dr. Ramón Pérez Juste. Profesor Emérito  (UNED)

En la serie de post sobre la evaluación de las competencias en los grados universitarios, además de las cuestiones genéricas hemos dado a conocer nuestra posición en torno a una de las técnicas a nuestro juicio más adecuadas no solo para su evaluación - atendiendo a la caracterización que hemos hecho de las competencias como aprendizaje complejo, transversal y de logro progresivo, que debe integrarse armónicamente y ser activado en cada actividad o acto que la requiera- sino para el propio aprendizaje de las mismas, el Portfolio.

En el presente post vamos a abordar la técnica de los denominados “trabajos”, muy común en el ámbito universitario y apropiada para objetivos complejos y trasversales.

¿Qué es un trabajo?

Por “trabajo” entendemos aquí un documento de elaboración original por parte del estudiante que permite acercarnos a la madurez de su autor en función del grado en que evidencie la asimilación de la asignatura o de amplias partes de ella y hasta la integración de saberes y competencias a las que han contribuido otros aprendizajes.

La madurez del alumno se pone de manifiesto además de por tal asimilación e integración de saberes, por la capacidad que debe poner de relieve para pensar, organizar y elaborar de modo personal los aspectos sometidos a evaluación.

Los trabajos pueden presentar amplitud y complejidad diversas. Así, desde el trabajo de una asignatura o de una materia se puede pasar al de todo un título o grado, como ocurre en la actualidad en los grados universitarios con los trabajos de fin de grado –una materia principal- o de Máster.

Vale la pena reseñar que, en el caso de trabajos colaborativos, esta técnica permite ejercitar y apreciar el nivel de logro en este tipo de competencias, tan demandadas socialmente.

Un trabajo bien hecho

Desde esta perspectiva, nos parece de gran utilidad, como pauta general para su orientación por parte del profesorado, la ya conocida propuesta del profesor García Hoz, cuando en su obra La práctica de la Educación Personalizada, plantea lo que él denomina el Sistema para la Obra Bien Hecha, para la cual parte de una afirmación radical: sólo lo bien hecho educa; según el autor, una obra bien hecha ha de estar: bien ideada, bien preparada, bien realizada, bien acabada, y bien valorada.

Una representación de tal concepto lo tenemos en la figura 1:

OBH

Figura 1: Representación de la O.B.H.

La obra bien hecha y el modelo de aprendizaje humano

Dado nuestro planteamiento, en el que el protagonismo del alumno es un elemento fundamental para su construcción del aprendizaje, un aprendizaje autónomo, las ideas del profesor V. García Hoz en relación con su “modelo de aprendizaje humano”, publicado por la Universidad Complutense en 1982, pueden sernos de gran utilidad.

En este modelo presenta un sistema de objetivos fundamentales de la educación organizado en seis fases, a saber: Receptiva Reflexiva, Extensiva, Adquisitiva, Expresiva y Práctica. (Fig. 2)

Figura 2 Fases de sistema de objetivos fundamentales de la Educación, según Víctor García Hoz

Figura 2 Fases de sistema de objetivos fundamentales de la Educación, según Víctor García Hoz

El modelo fue reformulado y mejorado en una de sus últimas publicaciones (1988), en los términos que recogemos en la fig. 3:

Figura 3: Modelo de aprendizaje humano según V. García Hoz (1988)

Figura 3: Modelo de aprendizaje humano según V. García Hoz (1988)

Como puede apreciarse, lejos de un modelo simplista de estímulo / memorización, hay un componente fundamental, eminentemente humano, personal, propio de ese protagonismo, que no es otro que la reflexión, punto de arranque para la aportación personal, original, divergente y, en su caso, hasta creativa. La reflexión requiere tiempo para analizar, para comparar, para ordenar y clasificar, para interpretar, valorar y juzgar… y para recomponer estos elementos en síntesis nuevas y personales.

Junto a la reflexión, es interesante tomar en consideración que además de la tradicional forma de expresión verbal (oral o escrita) el modelo destaca la denominada “no verbal”. El aprendizaje, una realidad profunda, se puede apreciar a través de la expresión, que hace posible manifestar no solo los logros sino el cultivo de capacidades y competencias.

Hay formas de expresión de gran riqueza que, de no cultivarse, dejan sin cultivo ciertas aptitudes y capacidades de los aprendices. Pensemos en la expresión artística, la musical, la plástica o la corporal, en la que el alumnado con aptitudes específicas tendrá la oportunidad de mostrar su talento. Pero en un campo como el de las competencias, donde la meta final son las que en su momento denominé “vitales” en forma de “unidad de vida”, contamos con una modalidad de expresión que enlaza decididamente con la profundidad del aprendizaje que deseamos promover: se trata de la expresión ética.

En esa deseable unidad de vida, la inteligencia nos proporciona criterios para valorar lo bueno y lo malo; la afectividad nos permite su efectiva valoración, de forma que podamos inclinarnos por aquel y rechazar este; y la voluntad hace posible el compromiso con nuestras valoraciones para hacer de ellas un compromiso con el bien traducido en un comportamiento coherente.

Pues bien: la expresión ética no es sino la forma en que todo el proceso anterior del modelo de aprendizaje toma una profunda dimensión de modo que es capaz de manifestarse en nuestro hacer de cada día. Conocimientos, criterio, valores y vida van en una misma dirección.

Destaquemos, además, el papel de las tecnologías de la información y de la comunicación en las diversas fases del aprendizaje y, en particular, en esta última de la expresión del dominio alcanzado.

Pautas para la orientación de la realización de trabajos

La relación entre objetivos / competencias, metodología y evaluación debe centrarse en la coherencia y armonía de planteamientos. De hecho, lo importante no es la evaluación sino el aprendizaje. La evaluación no deja de ser un instrumento a su servicio, bien para constatar y acreditar los logros, bien, especialmente, para contribuir a su consecución.

Por ello, la orientación inicial y el planteamiento de los criterios valorativos es, a la vez, una pauta para la metodología del profesor y para el trabajo de los estudiantes. La orientación inicial sobre el contenido y características de un trabajo deberá ser tanto menos detallada cuanto más elevado sea el nivel académico, dejando así espacios a la originalidad del alumnado, en definitiva a su autonomía y creatividad. Aquí, la experiencia y la prudencia del profesor le serán de gran ayuda para hacer lo correcto.

En cuanto a los criterios valorativos, la diversidad de trabajos hace muy difícil ofrecer una pauta universal; sin embargo, la presentación de algunas pautas bien puede servir de referencia para que cada profesor pueda plantear la más adecuada a su caso, con el trasfondo de la obra bien hecha.

Lo que ningún profesor debería hacer es obviar su elaboración y difusión entre sus estudiantes; la elaboración le sirve para el correcto ejercicio de la docencia; la difusión, orienta el esfuerzo y el trabajo del alumno para alcanzar el aprendizaje pretendido, a la vez que para encontrar la recompensa de una valoración positiva.

Dos propuestas de pautas valorativas de trabajos

A continuación ofrecemos dos pautas (cuadros 1 y 2) basadas en publicaciones de autor (Pérez Juste, 1989). La primera de ellas es utilizada por el autor del presente post para valorar los trabajos de su alumnado en una materia universitaria.

Cuadro 1: Criterios para la elaboración y valoración de un trabajo personal

Cuadro 1: Criterios para la elaboración y valoración de un trabajo personal

 Como puede apreciarse, la propuesta presenta diferentes indicadores en los que fijarse para apreciar si los criterios valorativos se cumplen adecuadamente.

Así, dentro del primero de ellos, la sistematización, se propone la existencia del Índice frente a la carencia de él. Del mismo modo, para la valoración de tal Índice se acude a criterios como la jerarquización de las ideas en él recogidas. Algo similar podríamos afirmar en relación con los otros dos grandes criterios. Así, al valorar el trabajo atendiendo al hecho de estar o no documentado, se utilizan los criterios de actualización, adecuación  y hasta la correcta citación, siguiente normas como las de la APA;  del mismo modo, en el marco del último, la aportación personal, se considera valioso el hecho de que está razonada y argumentada, que relacione e integre saberes de otras asignaturas, materias o campos del saber.

La segunda pauta que se ofrece, también utilizada por el autor, puede ser aplicada a aquellos trabajos que tienen que ver con  la planificación, desarrollo y culminación de una investigación. Con frecuencia, en el marco de los estudios universitarios no es posible realizarlos por completo por cuestiones de tiempo, por lo que se puede solicitar a los alumnos bien el diseño de una investigación o bien su propia valoración de una investigación real con arreglo a alguna pauta o guía.

Para tales efectos puede servir de referencia lo recogido en el cuadro 2, que, obviamente, ha de servir también de pauta valorativa, especialmente desde un enfoque formativo. En efecto, al margen de las calificaciones, lo que en verdad ayuda al alumno a progresar es la información ofrecida por el profesor sobre los aspectos en los que se aprecian carencias, errores o disfunciones, junto a aquellos en que el trabajo merece valoraciones positivas. Del mismo modo, pautas de esta naturaleza ayudan al alumno, a través de la autoevaluación, a progresar en el acercamiento de su imagen de si mismo a la realidad de si.

Cuadro 2: Pauta para la realización y valoración de una investigación empírica.

Cuadro 2: Pauta para la realización y valoración de una investigación empírica.

La transformación de la pauta para utilizarla sumativamente implicaría la asignación de ponderaciones a cada uno de los criterios y las decisiones criteriales sobre qué errores o carencias alcanzan una importancia tal como para valorar negativamente el trabajo en su totalidad.

Estas decisiones deben preverse, publicitarse y adecuarse a las actividades de aprendizaje guiadas por la citada pauta.

REFERENCIAS

  • García Hoz, V. (1988) La práctica de la Educación Personalizada. Volumen 6 del Tratado de Educación Personalizada. Madrid: Rialp., cap. 3.
  • García Hoz, V. (1982) Modelo de aprendizaje humano y sistema de objetivos fundamentales de la Educación.  Madrid: Universidad Complutense.
  • Pérez Juste, R. (1989). Diagnóstico, evaluación y toma de decisiones. Madrid: Rialp.
Posted in Entradas | Leave a comment

El Portfolio (La evaluación de las competencias en los grados universitarios II)

Escribe: Dr. Ramón Pérez Juste. Profesor Emérito  (UNED)

En mi anterior post presentaba una serie de cuestiones genéricas en torno a la evaluación de las competencias, en concreto de las más elevadas en la jerarquía. Allí anunciaba una serie de aportaciones en relación con las principales técnicas a su servicio. Pues bien: ahora centraremos la atención en una de las más adecuadas si tenemos en cuenta aquellas características que asignábamos a ese concepto: un aprendizaje complejo, transversal y de logro progresivo, que debe integrarse armónicamente y ser activado en cada actividad o acto que la requiera.

¿Qué es un portfolio?

Aunque la definición de esta técnica sea diferente según los autores y la diversidad de tipos y situaciones para los que puede aplicarse,  los elementos fundamentales de la misma pueden resumirse en los siguientes:

    1. Un documento en el que su autor presenta un trabajo o una colección de trabajos. Aquí nos estamos refiriendo principalmente a un trabajo unitario.
    2. El documento permite apreciar su progreso y resultados al servicio de alguna línea directriz. Tiene, por tanto, un carácter acumulativo
    3. El documento permite diversos grados de autonomía por parte de su autor en la concepción, contenido y resultados.
    4. El documento debe poner de manifiesto aprendizajes complejos, no meramente descriptivos sino razonados, y valorativos, como fruto de su capacidad de reflexión, análisis, síntesis y evaluación.

En el marco académico, con la finalidad de facilitar el trabajo de los alumnos, conviene que, en función de su nivel de formación y grado de madurez, el profesor oriente el trabajo con algunos elementos mínimos:

    1. Caracterizar el trabajo y la técnica de que se trate
    2. Incluir  los objetivos del mismo
    3. Especificar los componentes sugeridos: contexto, temática, actividades, medios y recursos.
    4. Incorporar los criterios con los que será evaluado

Podría ser de gran utilidad para quienes van a realizar la tarea y la técnica por vez primera, permitirles el acceso a un portfolio bien construido y evaluado para que pueda servirles de pauta o referencia.

Si se recomienda el portfolio en su modalidad de e-portfolio, conviene indicarle páginas web en las que se les presenta la estructura y organización del mismo: por ejemplo, aquí, o aquí, que incluye una Guía para su utilización. Si el lector está interesado en conocer un caso concreto, puede acudir a rperez@edu.uned.es 

El portfolio como metodología para el aprendizaje

El carácter instrumental de la evaluación representa la necesidad de que se dé coherencia entre los objetivos previstos, las metodologías utilizadas a su servicio y la evaluación, que permita decidir sobre su logro (evaluación sumativa) y, previamente, contribuir a su mejora continua (evaluación formativa).

En consecuencia, no debería sorprendernos que esta técnica que proponemos para la evaluación de competencias deba servir, previamente, para estimular y facilitar el  logro del aprendizaje.

La adecuación que defendemos deriva de las cualidades del portfolio, coherentes con las del aprendizaje que pretendemos. En efecto, podremos apreciar a continuación los aspectos a cuyo aprendizaje puede contribuir decisivamente la realización de un portfolio ya que en él, el alumno podrá aprender:

    1. A tener iniciativa, al idear su trabajo a partir de las orientaciones de sus profesores, dándole su toque de originalidad. (Protagonismo del alumno)
    2. A planificar su trabajo al diseñar el plan del mismo, con su estructura, con sus estrategias, con la previsión de los componentes necesarios (objetivos, actividades, recursos…) a partir del conocimiento y análisis del contexto en que se desarrollará (aprendizaje académico, prácticas in situ, prácticas virtuales, simulaciones…)
    3. A organizar y gestionar su tiempo, acomodando sus previsiones sobre actividades a llevar a cabo a los créditos y tiempos asignados. La elaboración de un cronograma es una importante herramienta.
    4. A construir su propio aprendizaje, dejando constancia de sus avances y dificultades.
      1. Utilizando diversas técnicas: Frente al aprendizaje puramente memorístico, la elaboración  personal, la construcción de gráficos, esquemas, mapas conceptuales, le llevan a la asimilación personal y a la integración de lo aprendido con otros contenidos relacionados.

        Ramon1

        Ejemplo de un mapa conceptual mediante el programa Atlas-ti

      2. Sirviéndose del trabajo cooperativo: siempre que sea posible, el trabajo en equipo contribuye a lograr una nueva competencia, en la que se aprende a dialogar, argumentar, precisar conceptos, matizar, integrar aportaciones…
      3. La utilización del e-portfolio es una herramienta especialmente relevante que permite y facilita lo que hemos denominado “construcción del aprendizaje”
    5. A concluir su trabajo de forma coherente y responsable, huyendo de la chapuza, del terminar “como sea”, de arrebatar el final para entregarlo (tal vez porque no planificó correctamente) (Obra bien acabada). Aspectos a cuidar:
      1. Puntualidad
      2. Presentación: primera impresión para el lector, cuidando los aspectos materiales y formales.
      3. Expresión, en sus diferentes modalidades. La presentación de gráficos, mapas conceptuales… es una evidencia de elaboración personal. Las modernas tecnologías facilitan la inclusión de diferentes formas de expresión (oral, escrita, icónica, visual), adecuadas a cada caso, evitando dejar en desuso algunas de ellas.

        Ramon2

        Diferentes formas de expresión que pueden integrarse en un portfolio.

      4. A autoevaluar su trabajo,  lo que supone tener claros los conceptos de calidad del mismo y la capacidad de autocrítica al aplicarlos, reconociendo los aspectos positivos, las carencias, limitaciones y hasta los errores si los hubiere. (Obra bien valorada). De esta característica deriva su enorme importancia para la mejora continua de la formación del alumno.

Y todo ello en paralelo con el aprendizaje concreto de la asignatura o materia de que se trate; como se aprecia, además del aprendizaje tradicional académico, está aprendiendo competencias de gran relevancia.

Ramon3

Aspectos a los que puede contribuir la elaboración de portfolios para el aprendizaje y la evaluación

El portfolio como técnica para la evaluación

La construcción de un portfolio, a la vez que permite apreciar el progreso que va consiguiendo  el alumno en el logro de las competencias, hace posible al profesor la supervisión del mismo y el ejercicio de sus funciones de apoyo, orientación y ayuda.

En consecuencia, en el medida en que el profesor pueda ir tutorizando su construcción, podrá ayudar al alumno indicándole aquellos aspectos que van bien, los que son  mejorables, los que presentan carencias, limitaciones y hasta errores.

Sin embargo, no debemos olvidar que en los grados universitarios, en momentos determinados, es necesario proceder a la evaluación sumativa, una responsabilidad social de primer orden puesto que de ella se deriva la confianza de la sociedad en la formación de los profesionales.

Pues bien, para ello, nada mejor que disponer de los criterios que se utilizarán para la evaluación, tanto la formativa como la sumativa, haciéndolos públicos en coherencia con su función de ayuda. La publicidad de los criterios se convierte en un elemento orientador para el alumno, que conoce desde el primer momento la pauta con la que se valorará su trabajo; pero también para el propio profesor, pues disciplina su actividad académica y le sirve de pauta para su función tutorial.

Algunos autores han asumido el término “rúbrica” para este menester; sin embargo, considero mucho más adecuado, correcto y acorde los términos técnicos de lista o de escala de valoración, en las que se incorporan los “criterios” a aplicar. El criterio es aquella norma o regla que sustenta los juicios de valor en que consiste toda evaluación. Criterios pueden ser la corrección ortográfica o de interpretación de un dato, la exactitud en la resolución de un problema, la precisión de la definición de un concepto, la riqueza de léxico, la originalidad de un planteamiento…

Por lo general, cualquier objeto complejo a evaluar necesita de una clarificación de los criterios con los que será juzgado. De no ser así, asistiremos a una experiencia poco edificante como es el hecho de que un mismo “objeto” pueda merecer valoraciones con elevado grado de discrepancia, como ponía ya de manifiesto G. de Landshere[i] en la segunda parte de su libro (1973).

He aquí una propuesta de criterios e indicadores que puede servir de referencia para la valoración de un portfolio, tanto para la procesual, continua y formativa, como para la sumativa, siguiendo la referencia de la Obra Bien Hecha (OBH):

PAUTA PARA LA EVALUACIÓN DE UN PORFOLIO

FASE

CRITERIO

INDICADORES

Ideación JustificaciónIniciativaOriginalidadClaridad expositiva

Relevancia

Inclusión de aspectos de protagonismo del autor, tales como:

  • Actitud positiva (analítica, reflexiva, colaborativa, crítica)
  • Componentes personales (objetivos, enfoques, metodologías, recursos)
  • Objetivos elevados, complejos, transversales, superación personal
  • Justificación de su relevancia
  • Elementos críticos y valorativos
  • Previsión de criterios
Planificación Adecuación al contextoRealismo de los objetivosAtención a la complejidad y transversalidadAdecuación de medios y recursos

Suficiencia de medios y recursos

Viabilidad

Coherencia interna

Previsión

Prudencia

  • Definición y delimitación del contexto
  • Plan del trabajo:  organigrama,  asignación de responsabilidades
  • Incorporación de componentes de diversas materias
  • Incorporación de actividades
  • Elementos innovadores, afectivos y emocionales (reacciones de satisfacción)
  • Selección bibliográfica

 

Realización Integración y activación de los saberesCumplimiento del planFlexibilidad ante lo imprevistoIniciativas de mejora

Valoración continua

  • Referencias relevantes, actuales y adecuadas
  • Elementos reflexivos que vayan mejorando el trabajo con el paso del tiempo (progresividad)
  • Indicios de planteamientos éticos
  • Aportaciones propias: actividades, elaboraciones…

 

Terminación Dominio alcanzadoCoherencia con lo diseñadoPuntualidadLimpieza

Corrección

Aspectos de fondo:

  • Síntesis personal
  • Juicios valorativos
  • Conclusiones
  • Bibliografía: correcta citación

Aspectos de forma

  • Portada
  • Índice
  • Paginación, enlaces
  • Puntualidad
Valoración Análisis crítico razonadoPropuestas de mejoraCoherencia Utilización correcta de los criterios previstosPropuestas basadas en el contenido del trabajo

 

BIBLIOGRAFÍA

  • Cacheiro, M. L. (2011). El portfolio como estrategia de apropiación de competencias. En D.J. Gallego, C.M. Alonso y M.L. Cacheiro, Educación, Sociedad y Tecnología. Madrid: Ramón Areces.
  • Gallego, D. y otros (2009) El portfolio como estrategia de enseñanza y aprendizaje, Revista Electrónica de Tecnología Educativa (Eductec-e), Noviembre
  • Klenowski, V. (2004) Desarrollo de portafolios para el aprendizaje y la evaluación. Madrid: Narcea.
  • Pérez Juste, R. (Coord) (2012) El portfolio. Aprendizaje, competencias y evaluación. Madrid: UNED

Webgrafía

[i] De Landsheere, G. (1973) Evaluación continua y exámenes. Buenos Aires: El Ateneo.

Posted in Entradas | 3 Comments

La evaluación de las competencias en los grados universitarios

Escribe: Dr. Ramón Pérez Juste. Profesor Emérito  (UNED)

En un reciente post abordaba la problemática de las competencias en los grados universitarios. Allí señalaba algunas de las dificultades derivadas de la necesaria cooperación entre los equipos docentes no sólo en el diseño sino en la implementación, seguimiento y evaluación de las mismas.

Con este post inicio una serie de varios, dedicados en concreto al tema de la evaluación. Importante aspecto pues, si consideramos lo relativo a las competencias como una innovación, y lo es, debemos tener en cuenta afirmaciones como las de Marchesi relativas al cambio educativo que intenta responder “a las aceleradas transformaciones sociales y tecnológicas”. Afirma el autor:

“El proceso de cambio culmina cuando las innovaciones dejan de ser algo especial en el centro educativo y se incorporan al funcionamiento normal de la organización escolar” (p. 88).

Y un poco más adelante, recogiendo unas palabras de Ekholm y Trier:

La institucionalización… es una asimilación de los elementos del cambio en una organización estructurada, modificando la organización de una forma estable. La institucionalización es, por tanto, un proceso a través del cual una organización asimila una innovación en su estructura”.

Pues bien: de poco servirá que se ponga énfasis en las competencias si este cambio innovador no se institucionaliza en todos sus aspectos, incluido el de la evaluación. No podemos pensar en un currículo diseñado para alcanzar competencias, incluso modificar las metodologías para ponerlas a su servicio y, luego, seguir evaluando del mismo modo, tal vez aduciendo la gran dificultad que el cambio implica.

Algunos principios

Al igual que en nuestro post anterior, cuando hablamos de competencias nos estamos refiriendo a aquellas que representan un elevado nivel en la jerarquía de las mismas, como pueden ser las de grado, máster o doctorado. La relevancia de las competencias deriva de una gran demanda social en ese sentido. Así, según Education and Training (2010):

“En la Unión Europea, se señala que, en la Sociedad del Conocimiento, cada ciudadano requerirá una amplia gama de competencias para adaptarse de modo flexible a un mundo que está  cambiando con rapidez y muestra múltiples interconexiones”.

Sin título1

Para justificar nuestra propuesta sobre su evaluación nos valdremos de algunos principios básicos, esenciales, sin cuya aceptación la propuesta carecería de base.

El primero de ellos tiene que ver con el carácter instrumental de la evaluación, esto es: su valía y utilidad deriva del grado en que contribuya eficazmente al logro de los objetivos, en este caso, a alcanzar las competencias de que se trate.

Sin título2Como consecuencia, poner el énfasis en la evaluación y no en el objeto a evaluar carece de sentido, y más cuando, como acontece en ocasiones, se invierte la situación anteponiendo la evaluación al propio logro.

En atención a lo anterior, la evaluación correcta deberá ser aquella que sea coherente, adecuada y eficaz para lograr las competencias, entendidas estas, como se ha dicho, como un aprendizaje complejo, transversal, integrador y en progresiva construcción.

Por otra parte, dado que hemos ligado las competencias con el papel del alumno como protagonista del aprendizaje, la evaluación ha de poner al alumno en condiciones de ejercer y ejercitar ese protagonismo, esto es, de tener iniciativa y dar cabida a su originalidad y pensamiento divergente siempre que esto sea posible.

En este contexto, resulta de especial utilidad para tomar como pauta a proponer las ideas del profesor García Hoz conocidas como la Obra Bien Hecha (1988), esto es, la que está:

  • Bien ideada
  • Bien preparada
  • Bien realizada
  • Bien acabada
  • Bien evaluada

Sin título3En congruencia con ello, recogemos las ideas de Bloom en relación con los objetivos de síntesis, junto a los de evaluación los más elevados en la jerarquía propuesta por él. Bloom mantiene que a ese nivel el alumno “debe contar con una libertad considerable en la definición de la tarea para sí mismo o en la redefinición de la tarea o problema que se le ha planteado” (p.294)

Y siguiendo con el autor:

La síntesis, sin embargo, parece ser un tipo de pensamiento divergente en el cual es improbable que la solución correcta de un problema pueda establecerse de antemano. En ella, cada estudiante puede proporcionar una respuesta única a las preguntas o problemas planteados, y la tarea del docente o evaluador consiste en determinar los méritos de las respuestas en términos del proceso realizado y de la calidad del producto, la evidencia y los razonamientos que apoyan el trabajo de síntesis” (P.290)

Como puede apreciarse, en todas las fases de la OBH –incluida la última- el alumno puede evidenciar protagonismo, siempre con la figura del profesor en esa tarea de orientación, apoyo y ayuda: la que le demande y necesite el alumno, no más para no sustituirle y coartar su proceso de aprendizaje.

Por otra parte, teniendo en cuenta la demanda social y las exigencias de las diversas profesiones para el trabajo eficaz y eficiente, será conveniente que, en la medida de lo posible, la evaluación dé cabida al trabajo cooperativo, aunque eso suponga problemas técnicos que habrá que abordar en la valoración del logro estudiantil. El trabajo cooperativo es un medio esencial para el logro de ciertas competencias genéricas, pero es en sí mismo una competencia de gran relieve, como lo demuestran las demandas sociales. La UNED ha incluido en su propuesta de competencias genéricas el Trabajo en equipo desarrollando distinto tipo de funciones o roles.

Por último, la evaluación habrá de abordar la problemática que representa la integración de la información compleja, transversal y progresiva, con frecuencia incompleta, posiblemente sesgada y con elementos difícilmente conciliables.

Así pues, habremos de hablar de técnicas capaces de cumplir con estos principios, con todos o con la mayoría, si deseamos que la información que recopilemos sea válida para decidir sobre el logro o no y, lo que en términos pedagógicos puede ser más importante: para facilitar al profesor su papel de orientación, apoyo y ayuda en la mejora de la competencia de que se trate.

Ahora bien: teniendo en cuenta el carácter progresivo y acumulativo en la capacitación para el logro de las competencias, probablemente los dos momentos clave en los grados para culminar el logro y posibilitar una evaluación relevante son los trabajos de fin de grado y la realización del prácticum.

En los niveles anteriores, el gran problema que deberán tratar de resolver los profesores es el establecimiento de los niveles de logro que deberán haber alcanzado sus alumnos según los estudios realizados hasta el momento, ligados, dentro de cada materia, a las competencias de que se trate. En definitiva, estaríamos intentando llevar a cabo una evaluación referida a criterio, compleja y difícil, pero de gran relieve para la formación de los graduados universitarios.

Algunas técnicas especialmente adecuadas

Así las cosas, las técnicas más adecuadas para la evaluación de las competencias, y sobre las que iremos presentando sucesivos post, son las siguientes:

    • El portfolio o portafolio
    • Trabajos,  Casos, Problemas
    • Respuestas divergentes razonadas
    • Propuesta argumentada de decisiones
    • Enunciados de situaciones que den lugar a problemas concretos

Conviene dejar constancia, no obstante, de que estas técnicas pueden admitir formatos y contenidos específicos en función de la naturaleza del saber de que se trate, de las competencias a lograr y valorar y de los objetivos de la propia evaluación.

En cualquier caso, y para concluir, si bien con el carácter genérico que deriva de un planteamiento que pretende ser transversal, en cada una de ellas trataremos de presentar los criterios que podrán orientar el logro de las competencias y su propia evaluación.

BIBLIOGRAFÍA

  • Barberá, E. (2005). La evaluación de competencias complejas. EDUCERE, 31, 497-504.
  • Bloom, B.S. y otros (1981) Evaluación del aprendizaje. Buenos Aires: Troquel.
  • García Hoz, V. (1988) La práctica de la Educación personalizada. Madrid: Rialp
  • Klenowski, V. (2004) Desarrollo de portafolios para el aprendizaje y la evaluación. Madrid: Narcea.
  • Marchesi, A. y Martín, E. (1998). Calidad de la enseñanza en tiempos de cambio. Madrid: Alianza Editorial.
  • Martínez, M. J. (2009) (Coord.). El portafolios para el aprendizaje y la evaluación. Murcia. Editum.
  • Pérez Juste, R. (Coord) (2012) El portfolio. Aprendizaje, competencias y evaluación. Madrid: UNED
  • Rodríguez, A. (2007). Las competencias en el Espacio Europeo de Educación Superior: Tipologías. Humanismo y Trabajo Social, Vol. 6, 83-91
  • Tapia. M.. y otros (2002) Criterios para la evaluación de informes académicos de estudiantes universitarios, REXE, 1, 117-125.
Posted in Entradas | Tagged , , | 3 Comments

Indicadores del Sistema Estatal para la mejora de los Centros

Escribe: Pilar Tomás Gil. UNED. España

Introducción

La calidad de la Educación es una preocupación generalizada en todos los sistemas educativos avanzados. Dejando de lado planteamientos más o menos filosóficos y puramente pedagógicos sobre el concepto, uno de los enfoques más tradicionales en el limitado tiempo en que el concepto se ha generalizado es el centrado en los indicadores.

Sobre el concepto de indicador, como en tantos otros, se han dado muchas y variadas definiciones, pero en casi todas aparecen elementos como indicios, datos preferentemente cuantitativos y enfoques longitudinales. A estos aspectos se une el hecho de que, en cierta medida, permiten apreciar la evolución en cada país e, incluso, la comparabilidad entre sistemas educativos.

Al respecto, la OCED (1995) afirma:

Los indicadores... proporcionan información regularmente puesta al día sobre la organización y funcionamiento de los sistemas educativos. Facilitan información sobre el modo como reaccionan los sistemas educativos a los cambios en las prioridades de política y a los actuales desarrollos de la sociedad”

En un momento en que el descontento en la Universidad con los niveles con que llegan los universitarios es frecuente y extendido a prácticamente todos los ámbitos del saber, considero que disponer de indicios sobre la calidad, o la falta de ella, en los niveles previos, puede resultar de una gran utilidad, sobre todo en la medida en que tales datos puedan servir para la toma de decisiones de mejora sobre el sistema y, más aún, si descubriéramos indicios cuya mejora pudiera nacer de decisiones en los propios centros académicos.

Sin título1

Fig. 1. Niveles de análisis del Sistema Educativo

Pues bien, la necesidad de un mayor y mejor conocimiento del funcionamiento de los sistemas educativos llevó a las autoridades de los países miembros de la Organización para la Cooperación y el Desarrollo Económico (OCDE) a elaborar un conjunto internacional sistematizado de indicadores, Proyecto INES (Indicators of National Education System), que informaran, basándose en datos estadísticos de gran calidad, sobre los principales aspectos de la educación.

Muchos países, siguiendo las propuestas de la OCDE, desarrollaron sus propios sistemas de indicadores, como es el caso de España, donde el Instituto de Evaluación publica periódicamente, desde el año 2000, el Sistema Estatal de Indicadores para evaluar el sistema educativo.

Sin título2

Fig. 2. Representación gráfica del Sistema de educadores

En este contexto hemos llevado a cabo una investigación cuyo objetivo fundamental consistió en establecer si los indicadores del Sistema educativo podrían ser utilizados, también, en el marco y contexto de los centros, dado que es allí donde toma cuerpo la educación, donde deben apreciarse las mejoras del sistema.

En efecto, tras la revisión y análisis de las diferentes versiones de indicadores publicados en España (Tomás, 2014)  y observada la reestructuración del sistema, consideramos la posibilidad de que algunos de los indicadores y dimensiones, tanto los eliminados tras la citada reestructuración como los que se mantienen, pudieran aportar datos relevantes para la mejora de los centros educativos.

Desde un enfoque de investigación evaluativa abordamos el análisis de los sistemas de indicadores para establecer la posibilidad de utilizarlos como herramienta de recogida de información en los centros educativos de Mallorca, consultando a expertos en educación y docentes de la isla, para que fueran ellos quienes, a partir de su experiencia y conocimientos, nos orientaran en la viabilidad de nuestro planteamiento.

Nuestra investigación

Al servicio de tal investigación, metodológicamente hablando, elaboramos dos instrumentos de recogida de información: el primero, una entrevista, centrada en el sistema estatal de indicadores, versión del 2006, la última que incluía el total de indicadores y dimensiones. La administramos a nueve personas que consideramos expertas en educación, teniendo en cuenta sus años de experiencia, formación, actividad docente y, especialmente importante, que estuvieran trabajando en centros en el momento de la entrevista o en algún puesto relacionado con los mismos.

Sin título3

Fig. 3. Portada el primer informe sobre el Sistema Estatal de Indicadores de la Educación

A estas personas les pedimos que seleccionaran aquellos  indicadores del sistema estatal que consideraran apropiados para la evaluación de centro así como que nos propusieran otros que creyeran podrían aportar información relevante.

La respuesta del grupo de expertos a la aplicación de indicadores del sistema estatal a centros fue favorable, señalando que diecinueve de ellos aportaban información significativa para su mejora y proponiendo seis adicionales.

Partiendo de esta primera elección elaboramos un cuestionario, el segundo de los instrumentos, en cuya preparación llevamos a cabo una prueba piloto para garantizar la validez de contenido, mediante consulta a expertos.  Del mismo modo, obtuvimos el grado de fiabilidad, 0.87 mediante el a de Cronbach.

Tras ello, contactamos con la Consejería de Educación de las Islas Baleares donde nos proporcionaron los datos relativos a la población de docentes de Primaria y Secundaria de centros públicos y concertados de la isla de Mallorca,  9.849.  Teniendo en cuenta un error del 3% y un margen de confianza de 97,5%, la muestra fue de 999.

Los datos obtenidos en los cuestionarios indican que, en conjunto, los docentes creen que diecisiete indicadores del Sistema Estatal podrían proporcionar información significativa para la mejora de los centros, como puede verse en la Tabla 1.

Indicadores del Sistema Estatal

Resultado

Porcentaje

Rc4.1 Ordenadores en los centros educativos

No significativo

81,3%

Rc4.2 Acceso a Internet en los centros educativos

Significativo

75,3%

Rc6.2 Alumnos por grupo educativo

Significativo

84,3%

E5 Alumnado extranjero

No significativo

58,9%

E6 Atención a la diversidad: alumnado con necesidades educativas especiales

Significativo

74,6%

P 1.2 Tiempo dedicado a las tareas directivas

Significativo

59,6%

P 2 Número de horas de enseñanza

Significativo

57,7%

P 3 Agrupamiento de alumnos

Significativo

58,9%

P 4 Participación de los padres en el centro

Significativo

60,9%

P 5 Trabajo en equipo de los profesores

Significativo

88,6%

P 6 Estilo docente del profesor

Significativo

82%

P 8T Tutoría educativa

Significativo

60,6%

P 8O  Orientación educativa

Significativo

65,4%

P 9 Formación permanente del profesorado

Significativo

81,7%

P 10 Relaciones en el aula y en el centro

Significativo

66,3%

Rs1-Rs2 Resultados en educación primaria y secundaria

Significativo

65,8%

Rs3 Competencia clave a los 15 años

Significativo

57,2%

Rs4 Adquisición de actitudes y valores

Significativo

89,3%

Rs6 Abandono escolar prematuro

Significativo

55,8%

Tabla 1: Valoración de los Indicadores del Sistema Estatal como útiles para la mejora de los centros muestra

Por otro lado, de los seis indicadores propuestos por los expertos, recogidos en la Tabla 2, cuatro han sido considerados como significativos para la mejora de los centros mientras que dos de ellos, Ci Control de la Inspección y Qp Quejas de los padres y madres se valoran como no significativos.

Indicadores propuestos por los Expertos

Resultado

Porcentaje

Rm Recursos materiales

Significativo

51,4%

Rd Recursos didácticos

Significativo

72,8%

I Infraestructura

Significativo

74,5%

Tp Trabajo de los profesores

Significativo

48,3%

Ci  Control inspección educativa

No significativo

54,2%

Qp Quejas de padres/madres

No significativo

50,5%

Tabla 2: Valoración de los Indicadores propuestos por los expertos

Concluyendo

Por tanto, la investigación sustenta la posibilidad de utilizar algunos indicadores del sistema estatal como herramienta de recogida de información para la toma de decisiones y mejora de los centros.

Cabe destacar que de los indicadores elegidos por expertos y docentes solo se mantienen, en las versiones más actuales del sistema, tres, Rc6 Alumnos por grupo educativo, ahora como E4, Rs3 Competencias clave a los 15 años,  que sigue como R3, y Rs6 Abandono Escolar Prematuro, como R5.

Este hecho, que en cierta medida podría considerarse una confirmación de que algunos indicadores aportarían datos significativos en el ámbito de los centros, resulta extremadamente preocupante si pensamos que, siendo el Sistema Estatal de Indicadores una herramienta de evaluación para la mejora del sistema educativo, de él se han eliminado, sin ningún tipo de miramiento, los indicadores que proporcionarían información sobre los centros, y por tanto aquellos que podrían ofrecer una visión más valiosa para explicar los resultados.

Podríamos concluir afirmando lo que puede ser un efecto no planeado de nuestro trabajo: constatar que los loables planteamientos iniciales sobre la utilidad del Sistema Estatal de Indicadores de la Educación, por razones difícilmente defendibles, han perdido en gran medida su posible contribución a la mejora del Sistema educativo y, por tanto, a la toma de decisiones de mejora sobre el mismo con repercusiones para la elevación de la calidad de la educación universitaria.

Como consecuencia de lo anterior, concluíamos en nuestro trabajo del siguiente modo (pp. 409-410)

“La reducción radical del número de indicadores en las publicaciones actuales, y la irregularidad de los mismos en las versiones anteriores, dificulta la pretendida aportación al estudio longitudinal del sistema educativo. En este sentido, mientras que en su primera edición se defendía la idea de “una línea de actuación de carácter estable” tanto en la definición como en la construcción de los indicadores y en su perfeccionamiento, nuestro análisis ha puesto de relieve la falta de estabilidad en aspectos nucleares y decisiones a nuestro juicio equivocados”.

BIBLIOGRAFIA

García Garrido, J.L. y otros. (1997). Elementos para un Diagnóstico del Sistema Educativo Español. Madrid: MEC.

OCDE (1995) Análisis del Panorama Educativo. Los indicadores de la OCDE 1995. Madrid.

Pérez Juste, R. (2013). Calidad de la Educación. Insuficiencias, inconsistencias e incoherencias del sistema. En Conversaciones con un Maestro (Liberamicorum), 595-607. Madrid: Ediciones Académicas.

Scheerens, J., Luyten, H., y Van Ravens, J. (2011), Measuring Educational Quality by Means of Indicators. Perspectives on Educational Quality, Springer Briefs in Education, 1, 3-33.

Tomás, P. (2014). Análisis del sistema español de indicadores de la educación. Una revisión crítica. Bordón, 66 (2), 139-154.

Posted in Entradas | Tagged , , , | 1 Comment