El peligro de los datos

Pero estos datos y estos indicadores encierran peligros que pueden hacer llevar a los que los usan a errores monumentales, basten dos ejemplos históricos de dos usos equivocados y de consecuencias desastrosas.

En el periodo más duro de la guerra de Vietnam el ejército estadounidense buscaba algún indicador para demostrar la eficiencia de su trabajo. Aquella penosa guerra no proporcionaba datos claros sobre su curso, no había frente, los avances en el territorio eran efímeros y muchos soldados murieron para conquistar una colina que al día siguiente era abandonada. Pero era una guerra moderna en la que se invertían muchos esfuerzos humanos, sociales, económicos y políticos. Era necesario tener indicadores objetivos para saber cómo iban las cosas.

El general Westmoreland y el secretario de defensa Robert McNamara, antiguo presidente de Ford, precursor del uso de los cinturones de seguridad y luego pionero en la disciplina policy analysis, en su búsqueda de un dato que les ayudara a tener una referencia objetiva del curso del conflicto, dieron por bueno el indicador «número de muertos» del enemigo. Así que, con eficiencia industrial, después de cada batalla, escaramuza o emboscada había que hacer recuento de cadáveres del enemigo y reportar a la autoridad.

Un antiguo combatiente de la guerra del Vietnam nos dice, con gesto triste, en el magnífico documental sobre esa guerra de Florentine Productions:

Establecer un indicador –hoy los llamamos KPI (indicador clave de rendimiento, key performance indicator)– genera siempre una inercia en la que cualquier táctica o cualquier desempeño se planea, organiza y ejecuta por y para la consecución de un buen dato. Al final el dato era más importante que la realidad. Eso se hizo en Vietnam con resultados que todos conocemos.

En ocasiones el dato en sí llega a fascinar tanto a los que lo manejan que olvidan conectarlo con la realidad que lo circunda. Esa fascinación irreflexiva es lo que había ocurrido años antes en otra guerra.

El diseño y fabricación de bombarderos en la segunda guerra mundial se enfrentaba al siguiente dilema: cuando volaban muy alto, a salvo del fuego antiaéreo, perdían efectividad y sus objetivos no eran alcanzados. Si volaban bajo para acertar en sus objetivos, muchos aviones con sus tripulaciones eran derribados. La solución era hacer blindajes poderosos para proteger el avión de los disparos, pero eso acarreaba otros problemas de potencia de motor y gasto de combustible. Quizá una buena solución era buscar los lugares más vulnerables y blindar esos lugares especialmente, llegando así a un equilibrio entre resistencia al fuego, autonomía y maniobrabilidad.

Era necesario buscar una forma fiable y objetiva de análisis de vulnerabilidad de los fuselajes. Para ello se recurrió al SRG Statistical Research Group de la Universidad de Columbia, en Nueva York. Allí llegaron los recuentos realizados centímetro cuadrado a centímetro cuadrado de todos los disparos de todos los tipos de aviones que regresaban de las misiones, una ingente y minuciosa labor que se realizó sistemáticamente en todos los aeródromos implicados en la ocupación de Europa. Se trataba de tener certeza estadística de dónde las tropas enemigas acertaban más a los aviones.

Los datos eran muchos, quizá hoy podrían llamarse big data. Se logró hacer un mapa estadístico muy detallado de la frecuencia de disparos por pie cuadrado. La decisión de dónde blindar estaría pues apoyada por una gran acumulación de evidencias. En este caso, las alas y el tronco del fuselaje eran las zonas más disparadas.

Hasta que Abraham Wald, uno de los más brillantes matemáticos de SRG, llamó la atención sobre un hecho relevante: los aviones sobre los que se hacían las mediciones y análisis de frecuencias de disparo eran los que regresaban, pero el dato importante de efectividad de los disparos habría que buscarlo en los que eran derribados, en los que nunca regresaron. Todo apuntaba que las zonas más vulnerables son precisamente aquellas en las que había un menor número de disparos.

Si los datos no se leen con inteligencia se convierten en mera superstición, pueden llevar a confundir el mapa con el territorio, y perseguir su cumplimiento sin atender a su validez o a cómo se relacionan con otros datos.

El número de JCR y SCOPUS, el indicador al que está sometida ahora la comunidad científica, está empezando a tener los mismos problemas. Bien es verdad que ningún investigador ha entrado matando en la aldea de Mÿ Lay, pero no es menos cierto que para muchos de los investigadores ahora es más importante publicar sus artículos en estos medios que la calidad de la investigación que está detrás.

Estos indicadores son sello garante del incontestable y necesario proceso de revisión, peer review que, a priori, garantiza la originalidad de la investigación. Sin embargo, el hecho de evaluar un tema tan complejo como la calidad de la producción investigadora de un profesor o institución a través, únicamente, de este indicador, fundado básicamente en la cantidad, no deja de ser una reducción muy simplista que ya quedó de manifiesto en la declaración de San Francisco «Dora» .

Tal vez este sea el momento en el que se deba repensar este sistema de evaluación para evitar que un indicador, ya reificado y aislado, no mida lo que dice medir.

Este artículo ha sido publicado en The Conversation