viernes, 20 de noviembre de 2015

Ciencia y repetición

En la investigación científica no basta con que un investigador encuentre algo relevante; debe ser verificable también por otros. Esa necesidad de reproducibilidad confiere poder al método. Una observación astronómica puede ser realizada por múltiples investigadores; se trata de una reproducibilidad por simultaneidad colectiva. Un experimento puede repetirse por un mismo investigador y por otros utilizando los mismos métodos. Sería la repetición a lo largo del tiempo.

Cuanto más relevante o extraordinario sea un hallazgo científico, mayor será la necesidad de reproducir su descubrimiento pues, como indicaba Barry Beyerstein, “las afirmaciones extraordinarias demandan una evidencia extraordinaria”. Ni la fusión fría ni los experimentos que apuntaban a la eficacia de la homeopatía fueron reproducibles. Sin esa repetición, su aparente relevancia inicial quedó eliminada. 


La repetición es necesaria para comprobar que una relación causal obtenida por un grupo de investigación (ya no suele haber investigadores aislados) es real y no mero efecto del ruido, sea éste intrínseco a los instrumentos de medida y a alteraciones en reactivos químicos o biológicos, sea causado por la interferencia de variables distintas a aquellas que se investiga. 


El ruido instrumental cobra gran importancia en mediciones físicas, en tanto que el ruido inherente a múltiples variables es importante en el ámbito biológico. Es tal la importancia del azar que todo control es poco. Un ensayo clínico, un estudio epidemiológico de cohortes, por ejemplo, se hacen para contrastar que hay señal y no ruido. Y, por muy bien realizados que estén (lo que requiere “neutralizar” variables de confusión mediante la randomización y estratificación de grupos a comparar), precisan la repetición que suele revelar efectos no idénticos y que suponen muchas veces la necesidad de meta-análisis. La tan manida significación estadística (expresada por el valor de “p” o por un intervalo de confianza) está en crisis ante el enfoque bayesiano pero, más allá de la discusión entre frecuentistas y bayesianos, parece obvio que lo revelador haya de ser comprobado y que no baste un único experimento. 

El 3 de septiembre un comentario de Glenn Begley en Nature indicaba que una encuesta realizada por la “American Society for Cell Biology” revelaba que más de dos tercios de investigadores encuestados habían sido incapaces, al menos en una ocasión, de reproducir sus resultados publicados. También Nature recogía que, en un estudio, sólo 6 de 53 publicaciones relacionadas con la oncología clínica fueron reproducibles.  Todo eso es ciertamente preocupante y ha motivado una iniciativa dirigida a mejorar la situación, la “Reproducibility Initiative”

Además del ruido, hay un elemento importante que no es tenido suficientemente en cuenta. Se trata de la subjetividad, y por partida doble. Por un lado, la del investigador; no todo el mundo es honesto, tampoco en ciencia. Por otro, la del sujeto mismo cuando se le considera objeto de investigación.


El método científico riguroso implica la honestidad del investigador y la reproducibilidad de los resultados que obtiene.  Pero eso parece a día de hoy un tanto utópico. En 2009, Daniel Fanelli hizo una revisión sistemática de encuestas sobre conducta científica, fijándose en lo que llamó “prácticas de investigación cuestionables” (no sólo fraude).  En su trabajo, publicado en PLOS One, concluía que hasta un 34% de los investigadores las había cometido.  Y es que, ni en el trabajo que requiere mayor objetividad puede eliminarse el factor subjetivo. Si no hay honestidad, la recolección de datos, el análisis de relaciones entre ellos, el aparente descubrimiento interesante… carecen de valor (sutiles manipulaciones de datos pueden dar lugar a relaciones significativas). Precisamente la repetición por otros permite consolidar o rechazar resultados interesantes. La ciencia requiere una objetividad intersubjetiva a la que no le es nunca suficiente con la confianza en el hallazgo singular, por mucha autoridad que tenga su autor o por la importancia del medio que publique sus resultados.

Pero donde más llamativa es la falta de reproducibilidad es en el ámbito de la Psicología. Brian Nosek publicó en Science que, analizando 100 artículos relevantes por parte de 270 investigadores, sólo fueron reproducibles un 39% de ellos.  En el mismo sentido, ya fue revelador un artículo publicado en 2012 por John P.A. Ioannidis en el que se mostraba que la tasa de replicación de publicaciones psicológicas era inferior a un 5%, llegando a expresar que la prevalencia de falacias publicadas podría alcanzar el 95%.
 

Hubo un trabajo que no se llegó a publicar y que se intentó reproducir. En 2010 Matt Motyl había descubierto que el hecho de ser políticamente radical se relacionaba con una visión de blanco o negro cuando ambos iban separados por una escala de grises. En colaboración con Brian Nosek, la repetición mostró que la relación mostrada en el estudio inicial, con clara significación estadística (p = 0.01) se disipaba porque el mismo cálculo estadístico sobre los nuevos datos reveló que eran atribuibles al azar (p = 0.59)

¿Por qué ocurre esto especialmente en Psicología? No cabe atribuirlo a las mismas causas que en el ámbito de la Biología o de la Medicina. Hay algo añadido que es intrínseco a la propia Psicología pretendidamente científica: el olvido de la subjetividad. Matt Moyl actuó honestamente desde el punto de vista metodológico; repitió su experimento y vio que su hallazgo inicial se desmoronaba. Pero lo que pretendía mostrar Matt Motyl parece una solemne tontería, comprensible sólo, como tantas otras, en el marco reduccionista cognitivo - conductual en que nos hallamos. El problema de la no reproducibilidad en Psicología no es un problema real o, más bien, lo sería sólo en el caso de la psicología en modelos experimentales animales. El problema reside esencialmente en que la subjetividad no obedece a medidas por mucho análisis factorial y tests ordinales que se hagan. Y, siendo así, difícilmente se podrá encontrar algo llamativo y reproducible aplicando al alma los mismos métodos que a las células de un cultivo o a la genética de moscas. En publicaciones de Psicología las famosas “p” no son, en general, muy creíbles.

El científico se identifica cada día más con el investigador, aunque los conocimientos científicos de éste sean muy limitados. Y la carrera del investigador es ahora la de alguien que publica artículos en revistas que tengan el mayor impacto posible (hay revistas de alto impacto que recogen publicaciones que no lee nadie, por otra parte). El tristemente célebre “publish or perish” es una realidad; quien no entre en esa dinámica verá cercenadas sus posibilidades para ser investigador. Si es clara una relación, pero la “p” es de 0.06, es un fastidio, y tal vez reuniendo más datos o eliminando algunos se alcance significación; de hecho, 0,06 es cercano a 0,05 apuntando a que algo hay. ¿Por qué no afinar un poco y publicarlo con una "p" mejor? ¿Es que acaso nadie lo hace? Esa es la situación que se da en no pocos casos. Luego vendrán los metaanálisis e incluso los meta-metaanálisis si lo mostrado es relevante y, de confirmarse, el que primero lo haya publicado verá su noble recompensa curricular e incluso hasta mediática. 


El escepticismo, esencial en el método científico, es así castigado por un sistema de promoción científica que premia la prioridad a expensas del rigor y de la honestidad que lo hace posible. A la vez, se asiste paradójicamente a un culto al escepticismo como creencia. 


Freud nos habló de la importancia de la compulsión de repetición. Tendemos a repetir lo peor para nosotros mismos. Y eso ocurre también en donde todo parece claro y consciente, en el ámbito de la ciencia, pues en la actualidad muchos investigadores tienden a repetir lo peor, que, en ciencia, es precisa y paradójicamente, la falta de repetición.

5 comentarios:

  1. Hola Javier, acabo de leer parte de tu post a un compañero que es ex-científico. Me contó de un Nature que se había publicado en su laboratorio. Los resultados resultaron ser un artefacto. La solución del jefe fue "enterrar" el artículo, es decir, no citarlo. Este chico sabía de otro artículo publicado en Science, en un laboratorio de la UCSF, por un investigador chino en el laboratorio de un capo de la ciencia. Cuando unos investigadores intentaron reproducir el trabajo fue imposible. Otra anécdota de este chico es de un laboratorio de Holanda en donde el investigador, que evitaba trabajar con otras personas, se había inventado los resultados, hasta tal punto era "creativo" que cogía fotos desechadas de otros investigadores y las adaptaba a lo que él quería demostrar. En mi caso no he observado ese tipo de prácticas, pero también es cierto que nunca he estado en uno de esos laboratorio de grandes capos.

    ResponderEliminar
    Respuestas
    1. Gracias por este comentario que muestra ejemplos de los niveles que alcanza la mala práctica, llegando al fraude.
      Hay algo que lo favorece, en este contexto obsesivo por publicar. Supongamos que los resultados son reconocidos como interesantes por los referees y el artículo aparece en una de las grandes revistas. Si es, además de interesante, creíble (no algo tan llamativo como la fusión fría), ya está; ahí se queda y será más o menos citado. ¿Cuántos habrá así? lo que yo mostraba en el post eran unos intentos por tratar de saberlo, pero si falta la honestidad, todo falla.
      Y ahora supongamos que los resultados tienen su base, están precedidos de un trabajo serio y muestran un resultado espectacular por su potencial aplicación a la Medicina. Ése fue el caso de Hwang con el célebre trabajo de la clonación terapéutica. Un fraude, porque hubo gente que habló de más al parecer. Pero imaginemos que ese trabajo fuera conducido por otros y éstos obtuvieran un resultado similar. ¿Qué pasaría entonces? Que probablemente Hwang, por ser el primero (aunque con mentiras) obtuviera un Nobel. Hwang apostó fuerte: publicó algo creíble, algo incluso "esperable" y otros podrían "reproducirlo", pero él sería el primero. Perdió.
      El problema del fraude científico es que su desvelamiento parece tener más con pasiones huamnas que con un buen sistema de control intrínseco a la ciencia. Quizá el caso de Imanishi-Kari, que implicó a David Baltimore, sea ilustrativo en este sentido.
      Un abrazo

      Eliminar
  2. Claro, si falta la honestidad en el procedimiento, en la ciencia y en cualquier campo, falla todo; pero, al margen de eso, el método científico suscita viejos debates, de hecho en tu entrada parece mostrarse el problema de la inducción, o el planteamiento de Popper del método deductivo como falsación en vez de verificación de hipótesis; para él las observaciones repetidas no son fundamento de nada porque partir de “un número determinado” de casos, para afirmar que “todos”, sería un paso injustificado; esta cuestión se explica bien, por ejemplo, en “Popper y el problema de la inducción en epidemiología”, publicado en una revista de salud; lo más interesante quizá sea el planteamiento de que el hacer científico responde más a decisiones e intereses que a reglas lógicas.
    De todos modos, desde mi punto de vista, menos erudito, me llamó mucho la atención tu frase “es tal la importancia del azar que todo control es poco”, porque controlar el azar es algo paradójico, se lo explico a mis alumnos cuando les hablo del cálculo de probabilidades: si el azar existe, podemos tirar el dado toda la vida y no salir nunca el nº 5, es decir, en cierto modo controlar el azar, con leyes estocásticas, es querer someter de nuevo la indeterminación al determinismo, ¿no?
    Además me gusta mucho lo que dices del olvido de la subjetividad, especialmente en la Psicología de pretensiones científicas, porque la subjetividad seguramente es tan impredecible como el azar e igualmente presente.
    Un abrazo,
    Marisa

    ResponderEliminar
  3. Muchas gracias por tu comentario, Marisa, que suscribo.
    Hay algo en lo que creo que me expresé mal y tú me das ocasión para aclararlo ahora. Al hablar de control no pretendí referirme a controlar el azar, algo imposible, sino más bien a tratar de que los efectos aleatorios no llegaran a tener el valor de una señal.
    Efectivamente, no se pueden controlar las leyes estocásticas. Pero sí podemos tratar de reducir derivas aleatorias importantes. El caso que proporcionas del dado es ilustrativo, pero sería muy poco probable que, tirándolo toda la vida, nunca saliera el 5; de ser así, pensaríamos que el dado está mal construido (o que no hay el número 5 impreso en él).
    Controlar tiene que ver sólo con tener en cuenta el papel incontrolable del azar. Y, en ese sentido, sólo podemos hacer que el dado esté lo mejor construido posible, lo que supondría, en el caso de un ensayo clínico, por ejemplo, que cada individuo (control o tratado) tuviera la misma probabilidad de pertenecer a uno de los dos grupos y que todos ellos fueran lo más parecidos en las variables de confusión susceptibles de efectos aleatorios.
    Un abrazo

    ResponderEliminar
  4. Sí, pero tenemos que presuponer que el dado no está trucado, que está bien construido; si el dado fuera una metáfora del mundo sería mucho presuponer, cuántas cosas deberían haber estado mejor hechas, cuántos errores acumulados ya, cuánto sufrimiento evitable…Gracias por la aclaración y está muy bien lo que dices, controlar los efectos no deseados, lo aleatorio. No deja de ser significativo tantos medios y tan mal enfocados.
    Un abrazo,
    Marisa

    ResponderEliminar