Ciencia y repetición

En la investigación científica no basta con que un investigador encuentre algo relevante; debe ser verificable también por otros. Esa necesidad de reproducibilidad confiere poder al método. Una observación astronómica puede ser realizada por múltiples investigadores; se trata de una reproducibilidad por simultaneidad colectiva. Un experimento puede repetirse por un mismo investigador y por otros utilizando los mismos métodos. Sería la repetición a lo largo del tiempo.

Cuanto más relevante o extraordinario sea un hallazgo científico, mayor será la necesidad de reproducir su descubrimiento pues, como indicaba Barry Beyerstein, “las afirmaciones extraordinarias demandan una evidencia extraordinaria”. Ni la fusión fría ni los experimentos que apuntaban a la eficacia de la homeopatía fueron reproducibles. Sin esa repetición, su aparente relevancia inicial quedó eliminada. 

La repetición es necesaria para comprobar que una relación causal obtenida por un grupo de investigación (ya no suele haber investigadores aislados) es real y no mero efecto del ruido, sea éste intrínseco a los instrumentos de medida y a alteraciones en reactivos químicos o biológicos, sea causado por la interferencia de variables distintas a aquellas que se investiga. 

El ruido instrumental cobra gran importancia en mediciones físicas, en tanto que el ruido inherente a múltiples variables es importante en el ámbito biológico. Es tal la importancia del azar que todo control es poco. Un ensayo clínico, un estudio epidemiológico de cohortes, por ejemplo, se hacen para contrastar que hay señal y no ruido. Y, por muy bien realizados que estén (lo que requiere “neutralizar” variables de confusión mediante la randomización y estratificación de grupos a comparar), precisan la repetición que suele revelar efectos no idénticos y que suponen muchas veces la necesidad de meta-análisis. La tan manida significación estadística (expresada por el valor de “p” o por un intervalo de confianza) está en crisis ante el enfoque bayesiano pero, más allá de la discusión entre frecuentistas y bayesianos, parece obvio que lo revelador haya de ser comprobado y que no baste un único experimento. 

El 3 de septiembre un comentario de Glenn Begley en Nature indicaba que una encuesta realizada por la “American Society for Cell Biology” revelaba que más de dos tercios de investigadores encuestados habían sido incapaces, al menos en una ocasión, de reproducir sus resultados publicados. También Nature recogía que, en un estudio, sólo 6 de 53 publicaciones relacionadas con la oncología clínica fueron reproducibles.  Todo eso es ciertamente preocupante y ha motivado una iniciativa dirigida a mejorar la situación, la “Reproducibility Initiative”

Además del ruido, hay un elemento importante que no es tenido suficientemente en cuenta. Se trata de la subjetividad, y por partida doble. Por un lado, la del investigador; no todo el mundo es honesto, tampoco en ciencia. Por otro, la del sujeto mismo cuando se le considera objeto de investigación.

El método científico riguroso implica la honestidad del investigador y la reproducibilidad de los resultados que obtiene.  Pero eso parece a día de hoy un tanto utópico. En 2009, Daniel Fanelli hizo una revisión sistemática de encuestas sobre conducta científica, fijándose en lo que llamó “prácticas de investigación cuestionables” (no sólo fraude).  En su trabajo, publicado en PLOS One, concluía que hasta un 34% de los investigadores las había cometido.  Y es que, ni en el trabajo que requiere mayor objetividad puede eliminarse el factor subjetivo. Si no hay honestidad, la recolección de datos, el análisis de relaciones entre ellos, el aparente descubrimiento interesante… carecen de valor (sutiles manipulaciones de datos pueden dar lugar a relaciones significativas). Precisamente la repetición por otros permite consolidar o rechazar resultados interesantes. La ciencia requiere una objetividad intersubjetiva a la que no le es nunca suficiente con la confianza en el hallazgo singular, por mucha autoridad que tenga su autor o por la importancia del medio que publique sus resultados.

Pero donde más llamativa es la falta de reproducibilidad es en el ámbito de la Psicología. Brian Nosek publicó en Science que, analizando 100 artículos relevantes por parte de 270 investigadores, sólo fueron reproducibles un 39% de ellos.  En el mismo sentido, ya fue revelador un artículo publicado en 2012 por John P.A. Ioannidis en el que se mostraba que la tasa de replicación de publicaciones psicológicas era inferior a un 5%, llegando a expresar que la prevalencia de falacias publicadas podría alcanzar el 95%.
 
Hubo un trabajo que no se llegó a publicar y que se intentó reproducir. En 2010 Matt Motyl había descubierto que el hecho de ser políticamente radical se relacionaba con una visión de blanco o negro cuando ambos iban separados por una escala de grises. En colaboración con Brian Nosek, la repetición mostró que la relación mostrada en el estudio inicial, con clara significación estadística (p = 0.01) se disipaba porque el mismo cálculo estadístico sobre los nuevos datos reveló que eran atribuibles al azar (p = 0.59)

¿Por qué ocurre esto especialmente en Psicología? No cabe atribuirlo a las mismas causas que en el ámbito de la Biología o de la Medicina. Hay algo añadido que es intrínseco a la propia Psicología pretendidamente científica: el olvido de la subjetividad. Matt Moyl actuó honestamente desde el punto de vista metodológico; repitió su experimento y vio que su hallazgo inicial se desmoronaba. Pero lo que pretendía mostrar Matt Motyl parece una solemne tontería, comprensible sólo, como tantas otras, en el marco reduccionista cognitivo - conductual en que nos hallamos. El problema de la no reproducibilidad en Psicología no es un problema real o, más bien, lo sería sólo en el caso de la psicología en modelos experimentales animales. El problema reside esencialmente en que la subjetividad no obedece a medidas por mucho análisis factorial y tests ordinales que se hagan. Y, siendo así, difícilmente se podrá encontrar algo llamativo y reproducible aplicando al alma los mismos métodos que a las células de un cultivo o a la genética de moscas. En publicaciones de Psicología las famosas “p” no son, en general, muy creíbles.

El científico se identifica cada día más con el investigador, aunque los conocimientos científicos de éste sean muy limitados. Y la carrera del investigador es ahora la de alguien que publica artículos en revistas que tengan el mayor impacto posible (hay revistas de alto impacto que recogen publicaciones que no lee nadie, por otra parte). El tristemente célebre “publish or perish” es una realidad; quien no entre en esa dinámica verá cercenadas sus posibilidades para ser investigador. Si es clara una relación, pero la “p” es de 0.06, es un fastidio, y tal vez reuniendo más datos o eliminando algunos se alcance significación; de hecho, 0,06 es cercano a 0,05 apuntando a que algo hay. ¿Por qué no afinar un poco y publicarlo con una "p" mejor? ¿Es que acaso nadie lo hace? Esa es la situación que se da en no pocos casos. Luego vendrán los metaanálisis e incluso los meta-metaanálisis si lo mostrado es relevante y, de confirmarse, el que primero lo haya publicado verá su noble recompensa curricular e incluso hasta mediática. 

El escepticismo, esencial en el método científico, es así castigado por un sistema de promoción científica que premia la prioridad a expensas del rigor y de la honestidad que lo hace posible. A la vez, se asiste paradójicamente a un culto al escepticismo como creencia. 

Freud nos habló de la importancia de la compulsión de repetición. Tendemos a repetir lo peor para nosotros mismos. Y eso ocurre también en donde todo parece claro y consciente, en el ámbito de la ciencia, pues en la actualidad muchos investigadores tienden a repetir lo peor, que, en ciencia, es precisa y paradójicamente, la falta de repetición.