Evaluación científica, innovación y soft skills

Anxo Sánchez nos resume algunas investigaciones recientes en las que se confirma que, cuando hay poca diferencia entre las propuestas (o entre artículos), el resultado de la evaluación es casi aleatorio, lo que por tanto hace cuestionarse si no es mejor y más barato tirar una moneda que convocar comités evaluadores…estos comités sólo servirían para separar el grano de la paja. En el fondo, esto es muy similar a lo que contamos siempre en Teoría de la Decisión: si hay dos decisiones casi iguales, es mejor no perder tiempo (y recursos) volviéndote loco para decidir, sino mejor simplemente tirar una moneda. Aunque reconozco que, por propia experiencia con mis hijas, esto no es nunca evidente para el decisor…

Y Anxo también participa en la discusión en este artículo (recomiendo mucho leer los comentarios de Anxo y Juan Francisco Jimeno) sobre la reciente sentencia del Tribunal Supremo que pone patas arriba la evaluación de los sexenios de investigación en España, otro proceso administrativo-científico que no termina de dejar contento a nadie.

Desde luego, si hay una agencia que no utiliza estos procesos burocráticos, sino otros mucho más ejecutivos, es ARPA (o DARPA). Tim Harford nos cuenta las lecciones que saca él de esta agencia.

Algo relacionado con lo de Sánchez (básicamente por los problemas de la falta de racionalidad en las decisiones), Mr. Moustache nos hace caer en la cuenta de muchas estupideces que cometemos a la hora de gastarnos la pasta sin darnos cuenta, de hecho en muchas ocasiones incurriendo en costes mucho mayores, sin pensar, que cuando perdemos el tiempo dando vueltas a si comprar una botella de vino u otra cuya diferencia de precio es de 10 pavos…Si lo leo correctamente (o a lo mejor porque así es como lo expresaría yo), Mr. Moustache no dice que no tomemos estas decisiones, por tontas que parezcan…sólo que seamos conscientes de sus consecuencias.

Y también relacionado, pero por la parte de evaluación científica, una reflexión de Andrew Gelman sobre las alternativas al sistema actual de publicación científica. Comparto con él que un sistema de evaluación post-publicación seguramente no tuviera los incentivos suficientes para hacer buenas revisiones (como sí tiene el actual). Yo, sinceramente, creo que la mejor opción (por ahora) sería tener un sistema similar al actual de revisiones previas a la publicación, pero gestionado por los científicos directamente (o por sus asociaciones profesionales), y con un acceso abierto que sólo tuviera que cubrir los costes reales del proceso, y no el margen que se llevan ahora las editoriales.

Y para terminar por hoy, del mismo Gelman, algunos enlaces interesantes para un tema clave: desarrollar soft-skills para los futuros académicos (estudiantes de doctorado). Esto ya lo llevamos haciendo en ICAI para los ingenieros, de cara a su carrera profesional, pero es cierto que no lo cubrimos igual de bien para los estudiantes de doctorado. Un tema pendiente para el nuevo director de la Escuela de Doctorado de Comillas :).