¿Qué hacer para mejorar la calidad de la investigación estadística?

El uso cada vez más creciente de grandes volúmenes de datos demanda una solución a los problemas que presenta este tipo de estudios.

Analista de investigación

Lamentablemente, es un hecho reconocido y demostrado que esta investigación basada en los métodos estadísticos, adolecen, en muchos casos, de una alarmante falta de reproducibilidad de sus resultados.

Archivo particular.

POR:
Portafolio
octubre 16 de 2018 - 04:05 p.m.
2018-10-16

Día tras día de nuestras vidas transcurren y se facilitan gracias a los resultados de la investigación científica: desde los dispositivos tecnológicos que nos ayudan y a veces nos sustituyen en diferentes tareas, hasta los modernos tratamientos y dispositivos médicos que protegen nuestra salud y aseguran una creciente calidad de vida. Todos son el resultado del trabajo científico.

Cientos de miles de personas, alrededor de todo el mundo, se dedican profesionalmente a esta tarea en las diferentes áreas del conocimiento; los resultados de sus investigaciones y las publicaciones científicas derivadas de ellas han crecido exponencialmente desde los años 50 del siglo pasado, momento en que inició la investigación científica moderna. En el caso de las investigaciones basadas en la estadística esta masividad, unida a la competitividad inherente al trabajo científico, sobre todo en el aspecto de financiación y visibilidad, ha venido acompañada con problemas en la validez de los resultados de algunas investigaciones.

(Lea: La importancia de invertir en investigación en el sector real de la economía

Una parte de los resultados científicos se obtienen mediante experimentación. Una lógica común diría que, si se repite el experimento, tal y como se realizó en una oportunidad anterior, se obtendrían los mismos resultados. Un lector experimentado acotaría que hay un efecto de azar en el proceso y, siendo consecuentes, tal vez valdría la pena decir que, casi seguramente, se reproducirían los resultados.

La reproducibilidad de la investigación consiste en que, al replicar el estudio, se deben reproducir los resultados. En un experimento los individuos se seleccionan aleatoriamente y, siguiendo un diseño de muestreo, son sometidos por el investigador a los factores cuyo efecto está estudiando. Para cuantificar esos efectos realiza mediciones y con ellas el análisis de los datos que le conduce a las conclusiones de su investigación.

(Lea: La importancia del Big Data en los negocios y la política pública

En algunas ciencias no es ético realizar experimentos. Esto ocurre con mucha frecuencia, por ejemplo, en investigaciones en salud. En ese caso se realizan los denominados estudios observacionales, estos son el sustituto de la experimentación. Se basan en observar qué ocurre a quienes se exponen, por sus características de vida, a los factores bajo estudio. El paradigma metodológico es semejante en la experimentación y la observación, la diferencia está en la forma en que el investigador interactúa con los sujetos en estudio. Obviamente, en los estudios observacionales se espera que también haya reproducibilidad de los resultados.

Lamentablemente, es un hecho reconocido y demostrado que esta investigación basada en los métodos estadísticos, y las publicaciones científicas derivadas de ellas, adolecen, en muchos casos, de una alarmante falta de reproducibilidad de sus resultados. Esto es un problema para el avance de la ciencia, pero también puede tener dramáticas consecuencias: Fraser y Reid, en un artículo científico publicado en el Journal of Statistical Research en 2016, refieren al caso del medicamento para reducir dolores denominado Vioxx. Este medicamento, aprobado por la US Food and Drug Administration en 1999 con base en los correspondientes ensayos clínicos, fue desechado por su fabricante en 2004 después de observar que producía un incremento en el riesgo de problemas cardíacos; antes de eso unas 40000 personas murieron como consecuencia de recibir la droga.

(Lea: ‘Colombia avanza en la analítica de datos’

El problema es general. The Economist, en un artículo titulado How science goes wrong (octubre 2013), reporta el caso de la firma Biotecnológica Angem que sólo pudo reproducir los resultados de 6 de 53 estudios fundamentales en la investigación sobre el cáncer. Una encuesta, realizada por la revista Nature a 1576 investigadores, arrojó que el 70% de ellos fue incapaz de reproducir resultados obtenidos por ellos en investigaciones que habían realizado anteriormente o que fueron publicadas por otro investigador.

CRISIS DE REPRODUCIBILIDAD

Reportes de situaciones como esta son alarmantemente abundantes y han llevado a que se reconozca que, en este momento, la investigación científica basada en procedimientos de la estadística atraviesa lo que se ha dado en llamar una crisis de reproducibilidad. Las causas de esta situación son múltiples, algunas corresponden a los contextos en que se realizan las investigaciones, otras tienen su raíz en fallas tanto de la metodología estadística como en las formas en que los procedimientos estadísticos son aplicados, errores que son potenciados por los métodos de enseñanza de la estadística utilizados en la formación los investigadores.

Los problemas con la validez de los resultados de la investigación basada en la estadística se encuentran en discusión desde el siglo pasado. Primeramente las críticas se dirigieron a una técnica del análisis de datos basada en los denominados P-valores. Su uso, aunque sería mejor decir su mal uso, ha sido, con mucha razón, fuertemente cuestionado. Estos procedimientos son muy utilizados pero, lamentablemente, poco comprendidos, existiendo poco conocimiento acerca de sus problemas, limitaciones y las condiciones para utilizarlos. Existió y aún existe una tendencia a restringirlos y/o prohibirlos en algunas revistas científicas pero, con el tiempo, ha quedado en evidencia que el problema principal no está en un procedimiento específico de análisis sino en la incomprensión que existe acerca de lo que es la investigación de perfil estadístico.

Existe un consenso de que cambiar los métodos de análisis puede conducir a los mismos problemas, si no se cambian los paradigmas en la investigación de perfil estadístico. La solución parte por comprender que la estadística es mucho más que una colección de métodos matemáticos para interactuar con los datos. Para encauzar los esfuerzos en la búsqueda de mejores prácticas en Estadísticas, la American Statistical Association realizó en octubre de 2017 el simposio Inferencia Estadística en la búsqueda de Métodos Científicos para el siglo XXI, este fue el último, pero no el final, de un conjunto de esfuerzos para mejorar la situación. Su impacto se verá en un futuro cercano.

Son múltiples los factores que influyen en la falta de reproducibilidad de la investigación, algunos son de origen estadístico, otros tienen sus raíces en las políticas editoriales y de financiamiento, otros se derivan de prácticas de investigación cuestionables y otros provienen del área de la computación. Dentro de los factores estadísticos se encuentran las deficiencias en los criterios utilizados en la obtención de las muestras, los errores, a veces por sobre-simplificación en la selección de los modelos de análisis, la incomprensión y a veces omisión de variables importantes en el problema y, tal vez, las dos más importantes: el no controlar el efecto de múltiples inferencias sobre un mismo problema y el uso inadecuado, quizás el abuso, de los valores P en las inferencias.

Se han identificado dos prácticas muy dañinas dentro de la estadística en el proceso de investigación, estas se conocen como el efecto del archivador (file drawer effect) y el P-hacking.


Ambas prácticas se derivan de la búsqueda a toda costa de resultados positivos en la investigación pues, es un hecho, que un estudio que no detecte nuevos resultados no es de interés para ser publicado en las revistas científicas y sus investigadores difícilmente pueden lograr financiación para continuar trabajando en el tema. La ciencia y la investigación científica son un campo muy competitivo.

El efecto del archivador consiste en que resultados de investigación que no conducen a nuevos hallazgos no son publicados. De esta manera en las publicaciones científicas abundan los resultados positivos que dan la falsa idea de que, por ejemplo, un medicamento es eficiente; esto porque los resultados que refieren que no lo es no son publicados. Así se genera un sesgo en las publicaciones, con nefastas consecuencias sobre el avance de la ciencia. El P-hacking es una práctica algo más siniestra, que en general se realiza inconscientemente, consiste en el uso de múltiples mecanismos hasta encontrar un resultado estadísticamente relevante al analizar una misma medición. Mills, en un artículo científico publicado en 1993, comentó que si los datos son torturados suficientemente siempre conducen al resultado deseado.

El problema ya ha sensibilizado a los editores de las revistas científicas y a las autoridades a cargo de la investigación. Marcia McNutt, presidenta de la National Academy of Sciences de los Estados Unidos publicó un editorial en la revista Science (noviembre 5 de 2014) titulado Journals United for Reproducibility, en él comentó “…las revistas científicas se unen en la convicción de que la reproducibilidad y la transparencia son importantes…”. En ese sentido se han propuesto y se están proponiendo múltiples acciones para mejorar la calidad de la investigación estadística y lograr la reproducibilidad de sus resultados. Vale resaltar el que se está promoviendo que las publicaciones se realicen con acceso libre a sus datos, obviamente con el debido respeto a la propiedad intelectual. En el futuro inmediato seremos testigos de cambios en las concepciones de la investigación y, obviamente, en la enseñanza de la estadística. El uso cada vez más creciente de grandes volúmenes de datos (big-data) demanda la solución urgente de estos problemas para evitar que la situación se continúe complicando.

Pedro A. Monterrey,
profesor de la Facultad de Ciencias Naturales y Matemáticas de la Universidad del Rosario.

Siga bajando para encontrar más contenido