Licencia de Creative Commons
blog profesor 3.0 by Alfredo Prieto Martín is licensed under a Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional License.

Sígueme en twitter

jueves, 31 de julio de 2014

versión Open Course Ware (OCW) del taller en Aplicación de estrategias de gamificación a la educación universitaria

Hola soy Alfredo Prieto Martín, profesor de inmunología de la Universidad de Alcalá y formador de profesorado en los programas de formación de 23 universidades españolas.
Quiero ofreceros la oportunidad de aprovechar la versión open course de este curso sobre Aplicación de estrategias de gamificación a la enseñanza universitaria. Mi deseo es que este curso os sea de ayuda para aplicar estrategias de gamificación a vuestra práctica docente.

En primer lugar vamos a intentar responder a la pregunta ¿Por qué es importante para un profesor de Universitario entender lo que es la gamificación y aprender a aplicarla al diseño de sus asignaturas, a los entornos de aprendizaje que construyes  y a  tu práctica docente habitual?

 Para responder a esta pregunta debemos definir lo que es la gamificación y que estrategias nos permitirán explotarla en contextos de educación universitaria del siglo XXI. Podría contároslo como los acomodadores del cine de antes, que si no les dabas propina te contaban el final de la película para fastidiarte y que te aburrieras al ver la película porque ya conocías el final, pero no voy a hacerlo porque daros la respuesta al principio no sería muy gamificador.

En lugar de daros aquí la respuesta os voy a proponer que la busquéis y encontréis por vosotros mismos las respuestas a estas preguntas. Pero si no os facilito la resolución de este reto posiblemente sintierais ansiedad y frustración. La solución será plantearos un reto con una dificultad intermedia, no os doy la respuesta directamente pero os doy pistas y os indico donde podéis encontrarla con un poco de esfuerzo por vuestra parte. 

Os voy a facilitar ese descubrimiento proporcionándoos links a cuatro blogs que usan herramientas de gamificación para recompensar las acciones de sus seguidores (leer entradas, ver vídeos, escribir comentarios, recomendar las entradas en las redes sociales, etc). También os recomendaré entradas concretas donde con un poco de lectura podéis encontrar respuestas.

Mi primera recomendación es el el blog sobre gamificación del "gamification gosu" Yukai Chou. Os recomiendo para empezar, su entrada sobre qué es la gamificación
La segunda es el blog de Andrzej Marczewski
La cuarta es mi propio blog sobre educación universitaria en el que algunas entradas versan sobre gamificación de la educación universitaría y donde cuento mis experiencias e  intento traducir y  explicar lo mejor que puedo algunas de las ideas de los expertos.

Después de visitar los cuatro blogs debéis pensar ¿Qué es lo que tienen en común?
Si alguno no lo pilla, que mire en algo que le aparece a la derecha y le pide que se registre.

Ese elemento es:
A) Una herramienta de gamificación
B) Un clicker
C) Un MOOC

 Es mi recomendación que os registréis porque así podréis experimentar lo que es una thin layer gamification para una explicación sobre esto  podéis leer la entrada del blog de Andrzej al respecto de los tipos de gamificación.

Para registraros en la herramienta tendréis que identificaros como miembros de Twitter o de Facebook. Si no tenéis cuenta en ninguna de las dos es síntoma patognomónico de que no estáis muy al día en las redes sociales. Como profesor de este curso sobre gamificación os recomiendo que en ese caso os tratéis esta enfermedad abriéndoos cuna cuenta en alguna de las dos redes sociales.
Algunos pensaréis que no queréis hacerlo y tendréis vuestras razones para ello. Yo os podría dar unas cuantas pero la principal es que si queréis desarrollaros profesionalmente como profesores os vendrá muy bien la información que os llegará gracias a las redes sociales. Mi recomendación  a los que os resistís es que lo probéis, que al menos os abráis una cuenta en Twitter os pongáis a seguir una serie de expertos en educación y os deis cuenta del potencial de las redes sociales para atraeros  la información y poneros al día de los últimos avances de vuestra profesión  

 El profesor del siglo XXI deberá aprender a usar las redes sociales para su propio aprendizaje y desarrollo profesional y también para establecer proximidad social con sus alumnos. El primer paso en esta senda es apuntarse a una red social y empezar a usarla. Yo personalmente os recomiendo Twitter pues en mi opinión tiene un mayor potencial para el aprendizaje y el desarrollo profesional.

Mi recomendación es que os registréis en la herramienta de gamificación en cada uno de los blogs o por lo menos en la del blog de Yukai (por lo rico en recursos que es) y en la del mío (porque es mío). Las puntuaciones que obtengáis en estos sistemas de gamificación a la finalización del curso podrán ayudaros a superar la evaluación del mismo.

El primer día del curso también plantearemos cuál debe ser el objetivo y el método de la educación universitaria en el siglo XXI. La educación Universitaria del futuro será semipresencial (blended) con mayor protagonismo del alumno y con elementos de gamificación y personalización que aumenten su motivación para adoptar un papel más protagonista en su propio aprendizaje.
  
Educar en la Universidad el siglo XXI no es contar respuestas a los alumnos, es enseñar a los alumnos a buscar y construir por si mismos las respuestas a preguntas que ellos mismos deberán plantearse para resolver situaciones profesionales, buscarlas y encontrarlas sacando sentido y construyendo significado a partir de la avalancha de información que encontrarán cuando busquen algo. Debemos ayudar a nuestros alumnos a desarrollar estas competencias que les permitirán aprender de manera autónoma.

Cada vez que nuestros alumnos cursan una asignatura tienen una experiencia de aprendizaje que debería incluir interacción con la información, aplicación razonada de la misma, contraste de opiniones con sus compañeros y reflexión sobre lo aprendido. Como sabemos por nuestra propia experiencia como alumnos en algunas asignaturas aprendimos cosas que nos interesaron y permanecieron en nosotros en otras sin embargo no aprendimos nada que nos produjese un efecto permanente.

Si somos profesores que nos preocupamos por el aprendizaje de nuestros alumnos y si vosotros os habéis apuntado a este curso es porque sois este tipo de profesor preocupado por el aprendizaje de sus alumnos y por cómo mejorarlo debéis responder a varias cuestiones.

La primera es: ¿Qué características tiene el aprendizaje de calidad?¿Qué es lo que quiero realmente que aprendan mis alumnos en esta asignatura?. Otra es  ¿Cómo lograr que nuestros alumnos tengan ese tipo de experiencia de aprendizaje significativo que persigo? ¿Que tendrían que hacer para aprender lo que quiero que aprendan? La pregunta final es ¿Como puedo motivarles y para que realicen esas acciones necesarias para aprender? ¿Cómo les recompensare por hacerlo? La gamificación nos aporta un marco conceptual para responder a estas últimas preguntas sobre cómo motivar a nuestros alumnos.
 En este curso veremos que la incorporación de un diseño gamificador a nuestras asignaturas es una de las mejores vías hacia la implicación del alumno y la  consecución del aprendizajes significativos. Esta es la razón por la que pensamos que la gamificación y sus aplicaciones educativas  son temas sobre los que es importante aprender.

Este curso os va a proporcionar respuestas a estas cuestiones de modo que cuando lo finalicéis sabréis como incorporar elementos gamificadores y actividades de aprendizaje basado en juegos a vuestra docencia, entenderéis la filosofía y las ventajas de la gamificación, dominaréis su fundamento, cómo implementarlas y los papeles que deben desempeñar el profesor y los alumnos en estos entornos gamificados. Gracias a estos aprendizajes podréis crear asignaturas más motivantes y  experiencias más ricas en aprendizajes de calidad para vuestros alumnos.

Quiero que experimentéis desde el lado del alumno gamificado lo que es la gamificación y las metodologías de enseñanza inversa como la flipped classroom y el just in time teching  Por esta razón os pido que vayáis estudiando los materiales que os iré enviando y realicéis una investigación sobre precedentes del uso de estrategias de gamificación en las asignaturas que impartís o en disciplinas relacionadas. Por tanto os pido  que en este tiempo de preparación (adviento) para la primera sesión presencial vayáis buscando ejemplos de diseños y actividades de gamificación aplicables a vuestras asignaturas o  si lo preferís las vayáis creando después de leeros los recursos que os recomiendo en este mensaje. La estrategia de búsqueda recomendada es combinar gamification y un término en inglés que defina la temática de  vuestra asignatura o la disciplina de la que forma parte. En castellano encontrareis menos información pero podéis probar con gamificación o ludificación y el nombre de vuestra asignatura o disciplina.

En la primera sesión presencial crearemos grupos de profesores en función de las temáticas de las asignaturas que soléis impartir Estos grupos servirán para la presentación y discusión de vuestros hallazgos y también para que trabajando en equipo resolváis un problema de ABP sobre cómo ayudar a un compañero a gamificar su  docencia incorporando diseño y elementos de gamificación a su asignatura..

El último tema del que quería informaros es acerca de que podéis hacer vosotros para aprender lo máximo en este curso. Hay tres cosas importantes que podéis hacer para sacar el máximo provecho de esta experiencia. La primera es  invertir vuestro tiempo en la lectura de los recursos y  materiales y en la realización de ejercicios que os haré llegar (algunos con antelación a las sesiones presenciales): Nuestra estimación es que la suma de todas las actividades no presenciales no os supondrán más de 15 horas no presenciales entre hoy y la finalización del curso  lo que supone entre unas cinco horas de trabajo no presencial por semana.

En segundo lugar mi consejo es que adoptéis una mentalidad abierta a nuevas ideas sobre enseñanza y aprendizaje. Vais a leer y oír ideas que posiblemente os resulten nuevas y en ocasiones desafíen vuestra percepción e ideas propias. Cuando esto ocurra debéis estar abiertos a las nuevas ideas, valorarlas con equidad  y si os parecen mejores que las alternativas aceptarlas. Después de todo aceptar nuevas ideas es una buena manera de aprender y crecer  y esperamos que esto ocurra también en nuestro curso.

La tercera cosa que debéis hacer es aprovechar las oportunidades que el curso os va a dar para dialogar con los compañeros y el profesor y también para aprovechar la retroinformación que os proporcionarán cuando comentéis las actividades que habéis diseño para vuestras asignaturas.

Si podéis hacer estas tres cosas: invertir tiempo de trabajo no presencial, mantener una actitud abierta a las ideas que os vendrán de los compañeros, el profesor y los documentos que estudiéis, y finalmente implicaros en el diálogo de los grupos de trabajo y manteneros receptivos a la retroinformación proveniente de los compañeros y el profesor tendréis una experiencia de aprendizaje más rica y saldréis del curso con más preparación para incorporar gamificar vuestra docencia.

La incorporación de estas actividades a vuestra enseñanza proporcionará experiencias de aprendizaje a vuestros alumnos que os llenaran de alegría y satisfacción. Vuestra enseñanza se convertirá en algo más interesante para vuestros alumnos, producirá aprendizajes de mayor significación, permanencia y transferibilidad y a la postre será más alegre y gratificante para todos para vuestros alumnos sobre todo, pero también para vosotros.

Muchas gracias por uniros al curso, recibid un abrazo de vuestro profesor.

Alfredo Prieto Martín
PD: leeros primero el programa del curso y ved el postcast sobre el curso. También es conveniente que os leáis esta entrada sobre cómo podemos motivar el esfuerzo de nuestros alumnos por aprender
Si quieres acceder  a los materiales que utilizamos en la edición del curso celebrada en la Universidad Politécnica de Valencia sólo tienes que picar en las entradas correspondientes de este blog:

Crash course on learning gamification / curso de choque en gamificación del aprendizaje


Éxito clamoroso del curso #gamificationUPV

miércoles, 23 de julio de 2014

¿Cómo crecer y evolucionar a los niveles de eficacia docente superior? reconoce a los distintos tipos de profesores universitarios en función de sus creencias sobre la enseñanza.


Es claro que no todos los profesores universitarios son iguales aunque la mayoría suelen tener ciertas características en común (como su desconocimiento de la literatura sobre enseñanza universitaria y el de las dificultades de sus alumnos para aprender).  Dada la gran heterogeneidad del profesorado universitario hemos creído necesario realizar una clasificación de los docentes universitarios en función de sus creencias sobre la enseñanza. 
 Según Schommer (1994) las creencias epistemológicas de los profesores pueden clasificarse en dos grandes tipos:  las naive o “ingenuas” y las sofisticadas o avanzadas. Las concepciones naive son simplificaciones dicotómicas simplifican en exceso una situación tan compleja como la enseñanza universitaria. Se basan en dicotomías: tradición vs. Innovación y en estar a favor o en contra de uno de los extremos. Por el contrario las epistemologías sofisticadas o avanzadas son más adecuadas a una realidad compleja y multicausal con múltiples matices. 
Según van der Vleuten (que algo debe saber del tema pues es catedrático de Educación Médica en la Universidad de Maastricht y Premio en Educación Médica por el Karolinska Institutet de Estocolmo) una gran mayoría de profesores universitarios abordan su docencia de una manera amateur: ignorando completamente la literatura publicada sobre enseñanza universitaria y siguen los dictados de la tradición de su departamento, no los de la literatura internacional publicada sobre la enseñanza en su disciplina. La conferencia en la que van der Vleuten  discutió el amateurismo docente de los profesores universitarios esta publicada y traducida al castellano y se titula "Más allá de la intuición "  
A partir de la clasificación de Schommer, integrando la visión de van der Vleuten y combinándola con la clasificación de desarrollo cognitivo de Perry, he creado la siguiente taxonomía ecléctica para la evolución epistemológica del profesorado universitario hispano (recientes comunicaciones provenientes del otro lado del Atlántico me han informado que mi clasificación ecléctica también es válida para los profesores Chilenos y Argentinos e incluso para profesores de secundaria y bachillerato). Los profesores universitarios hispanos y del nuevo mundo podrían pues clasificarse en cuatro niveles epistemológicos principales que a su vez incluyen una serie de variantes muy interesantes y merecedoras de atención y estudio:

Primer nivel Dualismo

Se correspondería con el nivel de simplificación dicotómica de Schommer.  El profesor en este nivel comprende la enseñanza por medio de una serie dualidades o dicotomías en las que cree firmemente:
El  alumno aprende del profesor.
El profesor representa la autoridad y el alumno la ignorancia.
El profesor lo sabe todo y no se equivoca, los alumnos no saben nada y se equivocan mucho.
Hay una sola respuesta correcta. La autoridad inapelable del profesor la determina con certera e infalible precisión.
El alumno aprende lo correcto repitiendo y regurgitando una y otra vez lo que el profesor (la autoridad) le ha enseñado (pero a diferencia del profesor, debe ser capaz de hacerlo sin mirar al powerpoint).
Los alumnos buenos aprueban y los malos suspenden.

Este tipo de profesor asume que, por supuesto, él enseña muy bien ergo si hay alumnos que no aprenden bien con él, la culpa debe ser de los propios alumnos que son malos alumnos, desde luego mucho peores que los de antes (a estos profesores no hay que mencionarles este tema porque se cabrean y les sube la tensión). Este análisis es muy conveniente pues si echamos la culpa de todo lo que va mal a los malos alumnos no tendremos que analizar que es lo que podríamos hacer mejor o preguntarnos si no seremos nosotros los malos profesores.

Los profesores en este primitivísimo estado de evolución se quejan de que los alumnos: no paran de hablar en clase, vienen a los exámenes en pantalones cortos, cometen muchas faltas de ortografía y lo peor de todo, no tienen respeto por sus malhumorados profesores. Es típico ver a estos profesores dualistas demostrar su enorme respeto y empatía por sus alumnos cuando se dedican a despotricar sobre ellos en las reuniones de coordinación (antes de que llegue el delegado de alumnos). En tal caso es mejor no intentar discutir con ellos pues sería como intentar argumentar con un rinoceronte en plena carga (lo se por mis propias experiencias). 
Esto es así por que el profesor dualista no admite alternativas validas a su manera retrógada de pensar.  Dar su brazo a torcer y admitir la duda razonable podría suponer tener que cambiar aspectos fosilizados de su docencia y hacer eso después de décadas de inmutabilidad absoluta les daría tanto trabajo de golpe que sólo de pensarlo se pondrían a sudar (y les subiría la tensión), por tanto para estos profesores, dudar de la eficacia de lo que uno hace para que los alumnos aprendan, no es una opción a considerar.
El dualismo es un estado estable (fosil) que puede mantenerse por muchos años y hasta décadas. Este estado tiende a petrificarse sino es desafiado desde fuera. Los profesores dualistas se resisten a trabajar en equipo con otros profesores pues no aceptan el hecho de que las autoridades disientan y lo mejor para evitar disentimientos es que cada uno enseñe por su cuenta y sin que sus compañeros sepan lo que hace.
Si el que lee esto es un profesor dualista seguramente le estará subiendo la tensión ahora mismo. Por este mecanismo, algunos profesores dualistas se convierten en “duelistas” (que se toman cualquier sugerencia de mejora de su docencia como una afrenta ignominiosa a su honor y a su dignidad académica). Hay evidencias anecdóticas de esto. Cuando la universidad de Valencia regalo el libro “Lo que hacen los mejores profesores" de Ken Bain a su profesorado, algunos de los profesores que recibieron este regalo lo entendieron cómo una ofensa,  y escribieron airadas respuestas (que incluso algunos publicaron en Internet). Se sentían ofendidos pues un libro con un titulo así contradecía la creencia profundamente arraigada en muchos dualistas que consideran que hay profesores buenos y malos y que por supuesto ellos son de los mejores.
A este respecto Patricia Cross plantea el siguiente enigma: " an amazing 94 % [of college instructors] rate themselves as above average teachers,  and 68 % rank themselves in the top quarter of teaching performances.Usando la aritmética más sencilla podemos concluir que dentro del 50% de los peores profesores universitarios un 44%, es decir 7 de cada 8 malos profesores, no tienen una percepción nada realista de su autovaloración como docentes (y además también desprecian esas malditas encuestas de opinión de los alumnos sobre la docencia).

Estos profesores que se creen de los mejores cuando realmente son de los peores no creen tener ninguna razón de peso para invertir más esfuerzo y energía en mejorar su docencia (si como es habitual, su institución no se la proporciona por ejemplo amenazándoles con un despido fulminante) y por tanto siguen tan contentos haciendo lo que siempre hicieron (y copiaron de sus antecesores).

El dualismo es un estado caracterizado por su elevada comodidad. Una buena parte de los profesores universitarios españoles se han mantenido estancados en él durante muchos años y a veces décadas (y eso se pone en evidencia ahora por la falta de relevo generacional). Algunos profesores se mantienen indefinidamente en el dualismo porque en este estado el profesor  realiza muy poca reflexión metacognitiva autocrítica sobre su docencia (la capacidad para autoexaminar y criticar la propia docencia). La ausencia casi total de trabajo en equipo en la docencia de las universidades españolas impide a los profesores dualistas tener experiencias de docencia en equipo en las que contrastar sus ingenuas creencias con las de otros profesores con concepciones epistemológicas más avanzadas. 

 Distintas variantes de los profesores dualistas

La inmensa mayoría de los profesores dualistas son del tipo dualista tradicionalista. Para ellos los modos tradicionales de enseñar son siempre mejores que cualquier otra alternativa posible. Su discurso podría resumirse de la siguiente manera. "Lo que hemos venido haciendo es lo mejor de lo mejor, no te plantees alternativas, no cambies nunca nada". En realidad sus razones profundas son de comodidad. Cuando se enseña de la manera más cómoda, lo más cómodo es repetirlo todo año tras año. Hay muchos profesores así porque los profesores podemos elegir como hacemos nuestro trabajo sin rendir cuentas a nadie y solemos preferir la máxima comodidad de los ineficaces métodos tradicionales a la incomodidad de los métodos innovadores que producen el máximo aprendizaje.
Un segundo tipo de dualista es el dualista absentista. El dualista absentista sigue dos máximas " 1. la docencia es una pérdida de tiempo, 2. no pierdas el tiempo" y la pone en práctica escaqueándose siempre que puede de sus obligaciones docentes y haciendo tender a cero el tiempo que dedica a la preparación de sus clases y a la evaluación del aprendizaje de su alumnos. Suelen conseguir este objetivo con gran eficacia y casi total impunidad pues  son protegidos por sus superiores académicos que a cambio coautorizan las publicaciones JCR de estos profesores alérgicos a la docencia.
Existen sin embargo algunos dualistas estajanovistas (en honor al ejemplar minero soviético que era capaz de extraer más carbón el solo del que se necesitaba para calentar el Kremlin), que caen en el extremo contrario, un extremismo innovador, incansable e idealista. Para ellos, la innovación es siempre mejor que lo tradicional (lo que obviamente no siempre es cierto). Son transformadores radicales que en su desmedido afán innovador se olvidan conservar lo mejor de lo que ya hacemos. Argumentos de estos profesores serían :"Hay que innovar todo. Quema los apuntes del año pasado y empieza a partir de cero." "Reta al alumno, déjale sin ningún apoyo y veras como aprende". Hay muy pocos profesores que profesen este tipo de dualismo porque curran mucho más y les pagan lo mismo que a los otros.

En los últimos años ha aparecido un tercer tipo de dualista que es el innovador vago su lema es “innova más para trabajar menos”. Este profesor que solo innova su docencia para trabajar menos todavía. Por ejemplo les da sus Power Points a los alumnos y sin proporcionarles modelos, supervisión y tutorías, (que es lo que debería hacerse en esta metodología) les pide a ellos que hagan todo el trabajo y los expliquen ellos en los seminarios. Mientras él puede dedicarse a otros asuntos menos demandantes y mas placenteros como las relaciones públicas, el golf, los viajes trasatlanticos, la investigación de tercera o la política académica.

Segundo nivel Multiplicidad

Tras un periodo de tiempo variable pero que suele correlacionar directamente con la propia pereza intelectual y la falta de oportunidades para la formación del profesorado, el profesor dualista  al fin se da cuenta de que la enseñanza no es tan sencilla como creía. El profesor que supera el dualismo y llega a la multiplicidad de perspectivas reconoce al fin que no tiene las respuestas para todo:
1.       Puede haber más de una forma legítima de enseñar.
2.      Autoridades competentes pueden estar en desacuerdo sobre la mejor manera de enseñar algo.
El profesor que alcanza a comprender la multiplicidad de perspectivas puede permanecer atrapado en la subjetividad y la indecisión, para este profesor cualquier opinión es tan buena como la otra, tú tienes una y yo tengo otra .Un profesor de este nivel hace argumentos del tipo  “Tú piensas que la clase magistral es un atraso y un desperdicio del tiempo y yo creo que la clase magistral es una maravilla fenomenal y me gusta mucho darlas y por ello no pienso hacer ninguna otra cosa con mis alumnos”.
  "Tu tienes tu método y yo el mío y la libertad de cátedra me ampara". Se amparan en la libertad de cátedra para ignorar con impunidad la literatura sobre enseñanza universitaria (¡ !). Su fallo es que desconocen (o no quieren conocer) el peso de la evidencia publicada en la literatura sobre enseñanza universitaria que soporta las distintas posiciones y demuestra que los métodos activos de enseñanza duplican y hasta triplican las ganancias de aprendizaje obtenidas con metodología expositiva tradicional.

Variantes de los profesores en el nivel de multiplicidad 

Dentro de los profesores en este nivel también se pueden establecer distintas variantes:
Escepticismo folclorista “No cambiaré nada hasta que no me demuestren con pruebas irrefutables que los cambios que nos proponen son significativamente mejores que lo que siempre hemos hecho. Sin embargo, no me hace falta ninguna  evidencia publicada para seguir haciendo lo que siempre se ha hecho en mi departamento (¡ !).
Cinismo ANECADO. Lo único que le preocupa de la docencia son los indicadores y las apariencias. Su razonamiento es del tipo "Te juzgarán por la calidad que aparentes, mejora las apariencias son lo único que cuenta en nuestras universidades. Su lema es : Aprobaré a todos  y subirá  mi evaluación docente”

Tercer nivel: profesor con epistemología sofisticada (Schommer 1994), docente profesionalizado (van der Vleuten), relativismo avanzado (Perry) .

Este nivel se alcanza cuando el profesor se da cuenta  de que lo correcto no es seguir a ciegas la tradición, sino juzgar en cada caso cual es la mejor manera de lograr que los alumnos aprendan, basándose para ello en la lectura crítica de la  evidencia publicada sobre docencia universitaria de la disciplina. Este nivel se asemeja a lo que sería abordar de un modo profesional nuestra docencia (Van der Vleuten) y es practicado por una exigua minoría del profesorado universitario hispano.
Bajo condiciones adecuadas (reflexión sobre la propia experiencia docente, aprendizaje de compañeros, formación del profesorado) se llega a comprender la naturaleza compleja, contextual e interrelacionada de la enseñanza y el aprendizaje. En este nivel los profesores desarrollan capacidad de razonamiento crítico y la aplican para juzgar cual es la mejor manera de lograr que los alumnos aprendan los conceptos esenciales y desarrollen las competencias que más van a  necesitar en su futuro profesional. 
Estos profesores estudian la literatura sobre enseñanza universitaria a la búsqueda de evidencias publicadas sobre las que basar y justificar sus elecciones y decisiones. Esta manera de pensar basada en la evidencia publicada en la disciplina, es propia de los buenos profesionales en cada campo (por ejemplo en medicina o ingeniería), pero que paradojicamente no suele ser aplicada por esos mismos individuos (médicos e ingenieros) cuando actúan como docentes (de manera a-profesional o amateur).
Es muy frecuente que los que los profesores de medicina se comporten como profesionales cuando ejercen como médicos y como investigadores (basándose en la mejor evidencia publicada en la literatura de su campo) y sin embargo cuando ejercen como docentes se dejen guiar por la tradición departamental y el folclore local. El profesor que reconoce la incongruencia de proceder como un profesional bien informado en una esfera de su actividad profesional y comportarse como un amateur desinformado en su docencia, ha dado el paso decisivo hacia el profesionalismo docente.
 Este profesor sabe lo que tiene que hacer para que sus alumnos aprendan mejor, usar las mejores practicas descritas en la docencia de su disciplina, pero para pasar al siguiente nivel tiene que aplicar su voluntad su compromiso y entrega personal para esforzarse más por el aprendizaje de sus alumnos.  Para ello deberá comprometer el tiempo necesario para informarse de las mejores prácticas docentes para los resultados de aprendizaje que desea e invertir el trabajo y la energía que sean necesarias para implementar estas mejores prácticas en su propia docencia.

Cuarto nivel Compromiso
En este nivel el profesor se compromete con el interés formativo y el desarrollo de sus alumnos y se da cuenta de que para que sus alumnos aprendan más y mejor, él deberá currarselo más todavía y cambiar su papel como docente. No sólo deberá enseñar con mejores métodos y explicar mejor (profesor tipo 2 de la clasificación de Biggs) sino que también deberá aprender a facilitar el aprendizaje independiente de sus alumnos por medio del planteamiento de cuestiones y retos (metodologías inductivas y aprendizaje inverso, flipped learning). Este último paso se relaciona con la formación de la identidad profesional propia, más que con la evolución epistemológica. En esta situación el profesor se hace consciente de que debe construir y aplicar principios de buenas prácticas docentes y valores personales para que sus alumnos desarrollen aprendizajes de mayor calidad.

El profesor de este nivel lleva su compromiso incluso más allá, a intentar cambiar a sus compañeros: adopta el papel de mentor de compañeros menos expertos, formador de compañeros, líder de equipos de enseñanza. Estas iniciativas de liderazgo informal le pueden generar conflictos muy asimétricos con las autoridades académicas establecidas que no suelen aceptar el reconocimiento público de la imperfección en su propia institución y adoran utilizar su posición de poder para poner en su lugar a los que se extralimitan. También tengo experiencias personales de esto que fueron las que me llevaron al ostracismo y a extender mi magisterio a la formación del profesorado de otras veinticuatro universidades ante las dificultades para hacerlo en la mía. Las instituciones que no saben aprovechar el talento de sus miembros lo ceden generosamente a las que saben aprovecharlo mejor.

Muchos profesores llegan al compromiso por experiencia personal y convicción sin haberse aprovechado de la literatura sobre docencia universitaria. A estos profesores les viene muy bien el contacto con esta literatura pues en muchos casos es lo que les falta para dar un salto de calidad y ser más eficaces. La reacción química entre el profesor concienciado y la buena literatura sobre como mejorar el aprendizaje de nuestros alumnos es explosiva y produce cambios radicales.

 A otros profesores que han hecho una evolución epistemológica hacia el tercer nivel y conocen las buenas practicas sólo les falta sentirse seguros de que sus sobre-esfuerzos tendrán fruto para adquirir un mayor grado de compromiso con la docencia. Los incentivos institucionales deberían favorecer ese aumento del nivel de compromiso con la docencia. Sin embargo, la eficiencia y la excelencia docentes no se valoran más allá de los bonitos discursos para la galería. Afortunadamente, los que nos comprometemos con el aprendizaje de nuestros alumnos no lo hacemos por los incentivos que nos proporcionan nuestras instituciones sino por decencia, vocación, responsabilidad ética y sentido de misión.
 En otra entrada discutiremos que se puede hacer para favorecer la evolución del profesorado desde unos niveles a otros.

Si alguno necesita una ilustración representativa sobre estos estadios evolutivos del profesorado universitario hispano aquí disponéis de una presentación animada y divertida que muestra los tipos de profesores universitarios hispanos. Poner el display a pantalla completa para leer mejor las diapositivas. Es necesario ver este vídeo para entender el final de esta entrada.



Para identificar a los learning gladiators cómo Juba, Proximus y Maximus, y crear un grupo de profesores superheroes, Ali Zaid Alsagoff creó un registro mundial de learning gladiators.  Yo he decidido apoyar su difusión con un anuncio en mi muro de padlet
      


He integrado estas distintas clasificaciones de la evolución epistemológica del profesor en un modelo que descompone la evolución epistemológica en tres dimensiones.  Una sería la del grado de sofisticación de  las creencias sobre la enseñanza de (Schommer, van der Vleuten y Perry ). Otra sería la de la energía que el profesor invierte en mejorar (Fink) y una tercera representa la genial clasificación de John Biggs que clasifica  a los profesores universitarios en tres niveles. El que pasa completamente de intentar mejorar, el que se obceca en su enseñanza y el que se centra en las acciones que sus alumnos deben realizar para aprender.



La interrelación entre los tres modelos es la siguiente, el esfuerzo por mejorar y el desarrollo epistemológico se combinan para subir los escalones en el modelo de Biggs hacía el profesor de nivel 3.

Finalmente como me he levantado inspirado he ideado un modelo de  crecimiento del profesor basado en tres dimensiones. La primera es el conocimiento de la materia a enseñar y sobre cómo la aprenden sus alumnos. Esto se consigue por medio del estudio, el diálogo con sus alumnos, la reflexión sobre lo que pasa en clase y la experiencia de aprendizaje de sus alumnos (los cuestionarios de comprobación de la comprensión del modelo inverso ayudan mucho).   La segunda dimensión es el dominio del arte del profesor que empieza copiando los modelos de diseño instructivo que hereda en su  propia formación y entorno para después empezar a crear diseños propios orientados a aquellos resultados de aprendizaje que identifica como más valiosos y pretende que alcancen sus alumnos. También se produce una evolución importante en el uso de metodologías que empieza reproduciendo y copiando para posteriormente ir evolucionando incorporando nuevas metodologías. También deben producirse aprendizajes sobre las tecnologías que van apareciendo y pueden aportar al aprendizaje y sobre los roles del profesor como expositor, moderador de discusiones, orientador facilitador y líder de sus alumnos. Debe aprender a diagnosticar los problemas de aprendizaje de sus alumnos y a evaluar su aprendizaje de los resultados deseados. Finalmente, debe aprender a desarrollarse profesionalmente como profesor aprovechando libros, cursos, reflexión sobre la propia práctica docente, la interacción con los compañeros y la interacción con expertos a través de las redes sociales.


La tercera dimensión necesaria para el crecimiento del profesor es el desarrollo de empatía por sus alumnos. Esto requiere aprender  a conocer a sus alumnos, y a apreciarlos en su diversidad. Desarrollando estas tres dimensiones un profesor podrá mejorar mucho su enseñanza y el aprendizaje de sus alumnos.



jueves, 10 de julio de 2014

Versión open letter course ware del taller de evaluación en grados sanitarios¿Qué tiene que decir la investigación sobre la evaluación de las competencias?


El pasado lunes 23 de junio impartí en la Escuela de Enfermería y Fisioterapia de la Universidad de Casilla-La Mancha, la primera sesión presencial de un curso titulado: “Evaluación en grados sanitarios: cómo evaluar competencias con sentido común y los pies en el suelo”. Este curso usa una metodología de blended learning que combina envío de materiales por medios electrónicos para el estudio previo a las dos sesiones presenciales.

Fase de estudio previo
El curso empezó con un primer e-mail de bienvenida dirigido a los participantes, en el cual les sugeríamos que contestasen a un cuestionario de expectativas previas localizado en el link.
Se pidió a los participantes como tarea de preparación para el curso que reflexionasen seriamente sobre una serie de preguntas relacionadas con los sistemas de evaluación que utilizan en sus asignaturas.
En un segundo e-mail os propuse estudiar una presentación sobre evaluación de competencias.
y ver un vídeo sobre el enfoque de enseñanza funcional en medicina.
En un tercer mail os propuse leer una presentación en la que se iba a centrar el curso ¿Qué tiene que decir la investigación acerca de la evaluación de competencias?

En un cuarto mensaje os envié otros dos documentos. Una presentación sobre cómo hacer que nuestra evaluación continua sea más formativa y eficiente.

Y otra sobre evaluación de competencias genéricas (que me había sido solicitada por varios participantes en sus cuestionarios de expectativas).
También os propuse ver una serie de videos que ilustraban el concepto del alineamiento constructivo y resaltan la importancia del sistema de evaluación para conseguir los resultados de aprendizaje que deseamos..

Resumen de la primera sesión presencial

En la  primera sesión presencial del curso en Evaluación en grados sanitarios: cómo evaluar competencias con sentido común y los pies en el suelo empezamos puntualmente a las 9,30 poniendo como premio para los más puntuales, el famoso vídeo de la Universidad en Cinco Minutos.

Nos reímos bastante con esta parodia de la enseñanza universitaria llevada al extremo del absurdo. En ella el monologista, que se propone fundar un nuevo tipo de Universidad propone que su institución otorgue títulos universitarios en cinco minutos en los que sólo se enseñará a los alumnos, precisamente  aquello que el graduado medio recuerda cinco años después de terminar sus estudios de grado.
Después discutimos sobre el aspecto serio de este monólogo de humor. La corta duración de muchos de los aprendizajes que nuestros alumnos adquieren para superar los innumerables exámenes que les sirven para ir aprobando las sucesivas asignaturas.
 Si en estos exámenes evaluamos cosas que pueden haberse aprendido la noche anterior es casi seguro que ese aprendizaje será de muy corta duración. En países como Holanda las facultades de Medicina realizan 4 progress tests anuales durante todos los años del currículo en los que evalúan de manera interdisciplinar el progreso en el dominio completo de los conocimientos que deben tener los graduados en medicina y que cubre  las áreas más importantes de las ciencias básicas, clínicas, del comportamiento y de la salud pública.
Los progress tests son como un examen MIR tienen formato MCQ y la prueba esta diseñada  de manera que, por su profundidad amplitud y exhaustividad, los alumnos no puedan prepararse mediante una rápida memorización de contenidos y de este modo no tienen más remedio que ir adquiriendo conocimientos continuamente y de forma que puedan movilizarlos en el momento en el que se les pida.
 Los resultados de cada alumno se acumulan en un registro electrónico de manera que se puede seguir su progresión en la adquisición de conocimientos. Cada alumno recibe información detallada sobre sus propios resultados, lo cual le hace consciente del estado de sus conocimientos con respecto al nivel que deberá adquirir para su graduación.
El análisis de la información proporciona información muy valiosa para los profesores y tutores sobre el progreso de los alumnos a su cargo. Este procedimiento permite detectar precozmente a los estudiantes con problemas de aprendizaje graves. Dijimos que esto era un ejemplo de cómo abordar la evaluación del aprendizaje de los alumnos con una perspectiva de facultad o escuela con un enfoque (comprehensive) que abarcaba el currículo formativo en toda su amplitud y longitud.
Pusimos los progress tests y los ECOES como ejemplos de una evaluación programática global planteada por la institución docente y la contrastamos  con la evaluación que puede plantearse desde la perspectiva de las asignaturas individuales. Escocidos por el 5-1  que nos metieron los holandeses en el pasado mundial nos parecia recochineo el que encima evaluen mucho mejor a sus alumnos de medicina. Comentamos que la dificultad de organizar sistemas de evaluación con óptica de facultad en España era una muestra de lo lejos que estamos de Holanda (no en futbol sino en la educación de las profesiones sanitarias).
Empezamos con una presentación de la agenda del curso e introduciendo los distintos temas que íbamos a tratar. Indiqué  que el curso se iniciaba con estudio previo a las sesiones presenciales, estudio entre las sesiones presenciales y finalmente continuaría tras las sesiones presenciales con envíos de información a mis exalumnos de formación de profesorado. Los participantes en este curso pasarán a formar parte de la comunidad de casi 2.500 profesores españoles que han sido alumnos de mis cursos de formación de profesorado y reciben noticia de los recursos que voy desarrollando siguiendo mi blog profesor 3.0 y mis twitts como @alfredoprietoma.
Dijimos que en la primera sesión trataríamos tres puntos principales:
1 Comentarios del profesor a vuestras respuestas a los cuestionarios de expectativas.
2 ¿Qué tiene que decir la investigación sobre la evaluación de las competencias?
3 Experimentación de metodologías para evaluación formativa que usan tarjetas de respuesta y preguntas de elección de respuesta entre múltiples opciones.


Comentarios del profesor a vuestras respuestas a los cuestionarios de expectativas

Empezamos comentando los cuestionarios de expectativas recogidos por medio de la aplicación Survey monkey. Empezamos por el de Carmen Torres Valdivieso que fue la primera en contestar. Su cuestionario fue además muy representativo de comentarios compartidos por otros compañeros participantes en el curso. En relación a las cosas que logramos que los alumnos aprendan gracias al sistema de evaluación que empleamos, Carmen señalaba (como también lo hacían otros compañeros) los conocimientos básicos de su asignatura e incluso las relaciones entre ellos. Sin embargo, señalaba como pendiente de lograr un uso más fluido y sofisticado del lenguaje  y un mayor desarrollo de la competencia para el razonamiento crítico.
Carmen señalaba que sus alumnos, no dedicaban el tiempo de trabajo suficiente en las partes iniciales de los cuatrimestres y tendían a esforzarse principalmente al final. Comenté que este era un problema muy frecuente que estaban intentando resolver las metodologías de clase inversa o flipped clasroom. En estas metodologías se pide a los alumnos que estudien por si mismos los materiales antes de tratarlos en clase.
Comentamos el hecho de que los alumnos tienden a esforzarse más al final cuando la evaluación se acerca y cómo podríamos usar ese impulso a estudiar justo antes del examen para hacer que nuestros alumno estudien antes del principio de cada tema poniéndoles una examen formativo o tareas de comprobación en cada tema.
 Este principio es explotado por la pedagogía inversa o flipped classroom en la que pedimos a los alumnos que estudien el siguiente tema antes de que se lo expliquemos. Para aumentar su motivación para hacer este estudio previo se bonifica  a los alumnos que estudian antes de cada tema y realizan una tarea o prueba de comprobación.
En el just in time teaching la tarea del alumno es responder a un cuestionario de preguntas abiertas por ejemplo:
1. Apellidos y nombre (primero apellidos para ordenaros alfabéticamente)
  2. Indica cuál te parece la idea más importante o interesante que has aprendido en este tema y justifica por qué.
 3. ¿Qué parte del tema te parece más necesario profundizar en clase?       ¿Por qué?
  4. ¿Qué es lo que te ha quedado menos claro del tema?     ¿por qué?
 5. ¿Qué pregunta te gustaría que te respondiéramos el primer día?    ¿por qué?
  6. ¿Que parte no necesitas que te expliquen?     ¿por qué?
  7. Resume lo más importante del tema en menos de 200 palabras.
 8. Comenta algo acerca de lo que has comprendido al ver cada uno de los vídeos recomendados en el tema
  9.  ¿Cuánto tiempo has tardado en leer las diapositivas intentando entenderlas, ver los vídeos y contestar a este cuestionario (indícalo en minutos)?
 10. Pon un tu e-mail de contacto por si te tenemos que pedir que lo vuelvas a reestudiar y volver a contestar mejor a las preguntas del cuestionario

Comenté que para que la supervisión de estos cuestionarios no se convirtiese  en algo que esclavizase al profesor era conveniente semiautomatizar el proceso de control y calificación, renunciar a la pretensión de proporcionar un feedback personalizado salvo en aquelllos casos especiales que lo necesiten especialmente un correctivo urgente (los que te responden de una manera tan chapuza que denmuestran que no se han mirado casi el tema). A la inmensa mayoría les podemos proporcionar feedback colectivamente, por ejemplo respondiendo a la lista de  preguntas urgentes de nuestros alumnos.
Comente que en la segunda sesión presencial del curso veríamos otras metodologías de fomento del estudio previo que utilizan preguntas MCQ para comprobar el estudio previo de nuestros alumnos.
Demostré que el fomento del estudio previo a las clases es una metodología con tradición en las mejores universidades del mundo. Pusimos primero un vídeo para que se viese como los profesores más huesos de Harvard comprobaban el estudio previo por medio del método de la “llamada sin aviso” o “llamada en frio” (cold call). Estos profesores enviaban a sus alumnos el mensaje de que para aprender más y aprobar en su asignatura había que estudiar antes de las clases y prepararse para discutir los casos en público.  Comprobación del estudio previo a la vieja usanza  de Harvard
Después comentamos que afortunadamente las metodologías habían evolucionado mucho y ahora podía conseguirse que nuestros alumnos se preparasen para las clases  usando las metodologías de enseñanza inversa flipped learning  e incluso enviarles explicaciones en vídeo y podcast. Vimos el vídeo en el que Aaron Sams nos cuenta en qué consiste la metodología de flipped classroom.

En cuanto a la pregunta urgente de Carmen  sobre si profesores y alumnos llegaremos algún día a encontrarnos en una situación de encuentro más que de desencuentro y lleguemos actuar como un equipo con objetivos comunes. Se comentó que esto requiere mucho dialogo y comprensión del punto de vista del otro. En fin, el establecimiento de una relación de ayuda y un sentimiento de empatía mutua.  A este dialogo ayudan mucho las metodologías de enseñanza inversa con su flujo de comunicación bidireccional entre el profesor y sus alumnos. Con esto nos llego la hora del recreo a mitad de la mañana.
Tras el recreo pusimos como premio a los que regresaron con más puntualidad, un vídeo en el que el profesor Kingsfield explicaba a sus alumnos cual era la esencia del método socrático.

¿Qué tiene que decir la investigación sobre la evaluación de las competencias?

Empezamos la segunda parte de la sesión  con la presentación ¿Que tiene que decir la investigación sobre la evaluación de competencias? basada en la conferencia impartida por Cees van der Vleuten en el Karolinska Institutet con motivo de la concesión del premio de este instituto en la modalidad de Educación Médica.
Empecé comentando las características de los instrumentos de    
evaluación: Validez, Fiabilidad, Impacto educativo, Aceptabilidad
y Coste. A continuación expliqué el concepto de compromiso en evaluación del aprendizaje de competencias. El compromiso es comprender que no podemos tenerlo todo en nuestro sistema de evaluación. Tenemos que escoger que características reforzaremos y cuales son menos esenciales y por tanto podemos comprometerlas.
Dependiendo de del tipo y la utilidad de la evaluación deberemos comprometer aquellas  características de las que podamos prescindir en cada caso. En la evaluación formativa  la utilidad principal es el impacto educativo: Esto incluye estimular el esfuerzo de los alumnos, con situaciones lo más auténticas posibles que proporcionen ocasiones para el ejercicio de competencias  y la generación de feedback a partir de ellas. Esta evaluación formativa debe tener una cierta valoración para que tanto los profesores como los alumnos se la tomen en serio. Sin embargo, no se tomarán a partir de ella decisiones de alta repercusión y por tanto no debemos preocuparnos excesivamente de la fiabilidad en la calificación. La evaluación continua no tiene repercusiones drásticas e irreparables. Un examen de sólo 10 preguntas MCQ nos puede valer para hacer la evaluación formativa de un tema para estimular el estudio de los alumnos y para dar pie a la discusión y el feedback. Desde luego la nota obtenida por cada alumno no será muy fiable (y si es on line nada fiable) pero no debemos preocuparnos por ello si el peso de este examen en la calificación es escaso (un 1% de la calificación final).
Sin embargo, en una prueba de evaluación acreditativa, en la que cada alumno se juega una parte importante de la nota (por ejemplo un 35% de la calificación) y que pesará decisivamente en la calificación de nuestros alumnos, no podemos comprometer su seguridad, fiabilidad y validez. Deberemos esforzarnos por que sean lo más altas posible.
 La investigación en fiabilidad de pruebas de evaluación demuestra que ningún instrumento de evaluación puede evaluar con una fiabilidad superior a 0,80 en menos de 2 horas de prueba. Por tanto la evaluación formativa y la acreditativa son distintas en sus utilidades y en los compromisos que debemos adoptar en ellas.
Despues tratamos el problema que supone realizar una evaluación acreditativa emn condiciones de autenticidad (que la prueba se parezca a la práctica profesional real). Si el objetivo es evaluar competencias clínicas al nivel de “demuestra como” de manera acreditativa por ejemplo por medio de un ECOE  no bastan los recursos de una asignatura se necesitan los recursos de una escuela o facultad. Sin embargo para  hacer evaluación formativa a este nivel  en el que no dse pretende medir de un modo fiable sino tener un impacto formativo positivo, podemos usar ECOEs en las que algunos alumnos harán de pacientes y otros de tribunal. Desde luego que su resultado no será una medida fiable pero servirá para que los alumnos aprendan y se entrenen para las ECOEs realmente acreditativas.
Otro ejemplo de diferencia de enfoque entre evaluación formativa y acreditativa es pretender usar pruebas de test de las que se usan para evaluación acreditativa  para comprobar el estudio previo de los alumnos. Se comentó que los alumnos suelen hacer trampas en este tipo de evaluación on line que no es nada segura. Comente que es un grave error aplicar esquemas de evaluación acreditativa cuando queremos realizar evaluación formativa queremos que el alumnos reflexione sobre lo que ha estudiado y de esa manera nos demuestre que ha estudiado. Pero para que nuestra evaluación continua y formativa sea más eficiente debemos aprender a usar herramientas que nos la faciliten ahorrando parte del tiempo que el profesor deberá dedicar a su revisión. A este fin nos ayudarán los cuestionarios on line y las herramientas de evaluación por compañeros (Taller de Moodle) y rúbricas. Si queremos usar exámenes MCQ para la evaluación formativa on line (que yo considero una estrategia errónea) deberemos automatizar su proceso de corrección y estar preparados para que los alumnos nos hagan trampas.
Por otro lado, debemos aumentar la fiabilidad de la evaluación acreditativa por ejemplo realizando exámenes que combinen distintos instrumentos: por ejemplo un 50% de la calificación por MCQ y otro 50% por preguntas de respuesta escrita que incluyan preguntas de respuesta corta y la resolución problemas y casos, así como alguna pregunta que permita evaluar la estructura de comprensión de relaciones entre distintos conceptos. Este tipo de exámenes tendrá alta fiabilidad y tendrá un impacto favorable en el tipo de estudio que inducirá pero nos dará mucho trabajo de diseño y de corrección. Se comentó que sería mucho más cómodo para el profesor evaluar todo con MCQ pero que eso tendría un impacto muy negativo en el aprendizaje al inducir una preparación exclusiva para test que se queda en un estudio memorístico y superficial así como de estudio de  preguntas de exámenes pasados.
Se comento que si les pedimos a nuestros alumnos que nos hagan preguntas sobre lo que no comprenden podemos respondérselas colectivamente pero indicándoles que las respuestas a esas preguntas pueden ser materia de examen.
A continuación presentamos la pirámide de Miller que define los distintos niveles de autenticidad profesional a los que se pueden evaluar las competencias.


También comentamos que los instrumentos de evaluación tienen un formato del estimulo y un formato de recogida de la respuesta y los relacionamos con los niveles de evaluación en la pirámide de Miller. Presentamos que formatos de estímulos y de recogida de respuesta son adecuados para  evaluar competencias a distintos niveles de la pirámide de Miller.


También dijimos que para los tres niveles inferiores tenemos métodos de evaluación estandarizada mientras que para el nivel superior solo podemos evaluarlo de una manera no estandarizada.


A continuación expuse y comenté los seis principios de evaluación estandarizada del aprendizaje
1.    La competencia es específica (de ciertos contextos), no genérica.
2.   La objetividad no es lo mismo que la fiabilidad.
3.   El formato del estímulo determina más lo que se mide que  el formato de la respuesta que se recoge.
4.   La validez puede ser construida e incorporada a nuestro sistema.
5.   La evaluación conduce los logros de aprendizaje de nuestros alumnos.
6.   Ningún método único puede hacerlo todo.

Empezamos nuestra discusión de los principios destacando la importancia de los contextos de evaluación en la evaluación de competencias. Evaluar competencias implica evaluar su aplicación en contextos reales o verosímiles. Si como la investigación demuestra la medición de una competencia en un contexto no predice absolutamente el desempeño en otro contexto distinto, entonces es claro que si queremos evaluar las competencias de manera fiable deberemos combinar el muestreo en contextos diversos. Debemos por tanto examinar una misma competencia en distintos casos, momentos, por distintos profesores, incluso en distintas asignaturas.
Vimos que la investigación demuestra que la fiabilidad no depende tanto del método de evaluación como de la amplitud del muestreo.  Hay métodos más factibles que otros pero para ser fiables todos necesitan un amplio muestreo que requiere al menos 2 horas por alumno.



 Como ejemplo de aplicación del primer principio planeamos la cuestión: ¿Son fiables los exámenes realizados en una hora de clase con los alumnos como piojos en costura? Estábamos todos de acuerdo en que esta práctica tan común hoy en día no es fiable y por tanto los exámenes “parcialitos” deberían ser realizados de otra manera que aumentase su fiabilidad.
Para que nuestra evaluación fuese más fiable sería necesario reservar un aula más grande y durante más tiempo 2-3 horas. También nos ayudaría el usar una prueba elaborada con items altamente discriminativos. Explique una manera sencilla y al alcance de cualquiera, para estudiar el poder discriminativo de las preguntas de sus exámenes. Para ello solo hay que usar una matriz  de resultados de las distintas preguntas del  examen con sus filas (alumnos) ordenadas por el ranking de calificación global y en cada columna las puntuaciones obtenidas en cada pregunta (Excel te lo ordena como se lo pidas).
A partir de de esta matriz podemos comparar las calificaciones de cada pregunta en grupos de alumnos con distinto nivel de conocimientos por ejemplo del cuartil de alumnos con mejor calificación global respecto a aquellos del cuartil con peores calificaciones. El cociente entre ambos valores es el índice de discriminación de esa pregunta y nos permite comparar la capacidad de distintas preguntas para discriminar entre los alumnos con distintos niveles de conocimientos. De esta manera podemos escoger preguntas con mayor poder discriminativo para elaborar nuestras pruebas que de esta manera tendrían una mayor capacidad para discriminar entre alumnos con distintos niveles de conocimientos.

Experimentación de metodologías para evaluación formativa que usan tarjetas de respuesta y preguntas de elección de respuesta entre múltiples opciones.

Después de esta disquisición matemática con la que concluía mi exposición del primer principio os vi un poco cansados de teoría. Por ello cambiamos de tercio y dedicamos los últimos cuarenta minutos a experimentar la metodología Peer instruction con preguntas conceptuales sobre física de bachillerato. Respondimos a las preguntas con las flash cards y discutimos la justificación de las respuestas al modo del peer instruction: unos alumnos discuten con otros que han escogido otras opciones sobre las razones que justifican las respuestas que han escogido. 

También comentamos la posibilidad de utilizar este método de evaluación formativa con la aplicación socrative que permite a los alumnos responder con sus smartphones a preguntas MCQ. Llego la hora de despedirnos y a las 3:25 cogí el AVE que me llevaría a Atocha y de allí a Alcalá de Henares.

En la segunda sesión de este curso acabaremos de ver los principios para mejorar la evaluación estandarizada de competencias. También nos asomaremos a la evaluación no estandarizada y a los sistemas de evaluación programática. Dedicaremos especial atención al uso que podemos hacer de las rúbricas, a los concept tests para la evaluación de la comprensión, a cómo construir preguntas MCQ con contexto que permitan evaluar comprensión y capacidad de transferencia y también a la elaboración de pruebas de evaluación acreditativa de mayor calidad.


A continuación el resumen de la segunda sesión:
En la segunda sesión del curso empezamos utilizando la metodología Just in time teaching comentando los cuestionarios de expectativas que los participantes habían contestado después de leer los materiales instructivos del curso mostrando así sus reacciones a los mismos.

 Empezamos por el de Ana Isabel Cobo que planteaba la pregunta  ¿Cómo mejorar la evaluación sin sobrecargar a los estudiantes y al profesor? ¿Cómo mejorar la evaluación y no morir en el intento? Respondí que la mejor evaluación es la que hace trabajar al alumno las horas no presenciales que le corresponden por cada crédito ECTS (unas 15 por crédito) sin que ello se traduzca en que su profesor se ahogue en una montaña de trabajos por revisar. Se planteó un debate acerca  del problema de la coordinación y contesté que si un alumno con dedicación plena a sus estudios universitarios en el EEES debe trabajar en sus asignaturas 40 horas semanales (sumando las presenciales y no presenciales). Lo normal es que  este alumno este matriculado en 5 asignaturas por cuatrimestre simultáneamente, entonces la carga de trabajo total (presencial+ no presencial) media semanal de cada una de las cinco asignaturas debe ser de 40/5= 8 horas semanales de trabajo en cada asignatura (sumando horas presenciales y no presenciales).

Después comentamos las respuestas De Teresa Martín Vecino a la que en primer lugar agradecí haberme propuesto como ponente de este curso. Teresa comunicó el reciente fallecimiento (14-6-2014) de Carmen Vizcarro Guarch, profesora de Psicología de la universidad autónoma de Madrid autora de múltiples trabajos sobre la evaluación de competencias. Todos los que trabajamos en evaluación de competencias hemos aprendido mucho de Carmen y sus publicaciones. 

Después de este emocionado recuerdo respondí a la pregunta urgente del cuestionario de Teresa: ¿Cómo se puede mantener una evaluación continua con menos inversión de tiempo que el que ahora dedico? usé una presentación sobre  gestión de la carga de trabajo que genera la evaluación continua al profesor (gestión de la carga y más cosas). Este documento incluye un modelo de análisis y digestión de la carga de seguimiento de las tareas de evaluación continua, una explicación sobre los tests conceptuales y su aplicación a la medida de ganancias de aprendizaje y ejemplos de como usar La taxonomía de Bloom y la taxonomía SOLO (Structure of Observed Learning Outcomes) para crear preguntas de evaluación.

 Finalmente, comentamos el cuestionario de Jose Antonio de la Torre Brasas que  quería conocer metodologías para que las competencias específicas  de su asignatura se adquiriesen  con una mayor profundidad y de forma más progresiva. Contesté explicando el modelo de pedagogía inversa y las distintas metodologías para el fomento del estudio previo. Os recomendé empezar por el just in time teaching por ser la más sencilla y eficiente en términos de economía en términos de trabajo extra para el profesor. Este método usa para comprobar el estudio un cuestionario de preguntas abierta que podemos reutilizar en los sucesivos temas por lo que no es necesario tanto trabajo adicional como en los métodos en los que el profesor debe generar preguntas MCQ nuevas y originales para cada tema o incluso para cada clase. Por ello os recomendé como estrategia de innovación empezar experimentando con el just in time teaching y después experimentar con las metodologías que usan preguntas de elección entre múltiples opciones: team based learning, PEPEOLA (preparación y estudio previo por evaluación on line automática) y peer instruction.

Después acabamos de ver la presentación que nos habíamos dejado a medias en la primera sesión sobre los principios para mejorar la evaluación estandarizada de competencias. También comentamos los 6 principios de la evaluación no estandarizada.
Tras el descanso vimos un ejemplo de un sistema de evaluación programática, el del grado en Medicina e Investigación Clínica de la Universidad de Maastricht.  
Después realizamos una actividad en la que respondimos a preguntas MCQ utilizando nuestros smartphones. Después respondisteis en equipo a una serie de preguntas sobre las metodologías de fomento del estudio previo y realizamos una competición entre los equipos al estilo del Team based learning. Discutimos la justificación de las respuestas a las preguntas. De esta manera experimentasteis la metodología TBL desde el punto de vista del alumno.

Finalizamos el curso con una presentación sobre cómo construir preguntas MCQ de más calidad con contexto que permitan evaluar comprensión y capacidad de transferencia y también a la elaboración de pruebas de evaluación acreditativa de mayor calidad. Tal vez si aprendemos a hacer mejores pruebas de evaluación podamos evitar lo que ocurre en la actualidad, que los alumnos en lugar de estudiar temarios estudian exámenes de otros años.
Algo que puede observarse en la siguiente entrada Mafia en los exámenes de Medicina del blog el Linternista