En noviembre de 2016 un nuevo inquilino se asentaba en la Casa Blanca, y el Reino Unido se salía de la Unión Europea. Hoy en día todos los opinadores, y académicos, del planeta son capaces de construir una narrativa de cómo esto ocurrió, pero en su momento casi nadie anticipó los resultados correctamente (¡Gracias por Nada, publíquenlo en una revista indexada por favor!). De hecho, sólo algunos llamados lunáticos y profetas del apocalipsis fueron capaces de ver con una claridad envidiable el futuro (Žižek, Taleb y Booker vienen a mi mente). Diversas personas o grupos presentaron predicciones con todo tipo de metodologías detrás, términos como MNAR o Monte Carlo se repetían como si habláramos del clima o formaciones de fútbol. Pocos días antes de los eventos se presentaban pronósticos, citados y publicados con autoridad, que mostraban a Trump con mínimas probabilidades de ganar y al Brexit con menos de 25% de ocurrir. Sin embargo, Trump ganó y el Brexit ocurrió. Ceteris Paribus fue la respuesta que recibimos cuando escudriñamos el porqué.
Predecir el futuro es difícil, todo es incierto hasta que ocurre (o ya no puede ocurrir). Todo modelo cuantitativo incluye términos de error que incluyen esa incertidumbre, una tácita recordación de que un modelo es sencillamente un modelo, que puede estar (o no) ajustado a la realidad. Por eso es curioso cómo cuando Trump ganó pese a los ‘chances’ presentados, los modelos no se consideraron incorrectos. La atribución del error se le asignó al público que es incapaz de leer análisis cuantitativo. Público, desde la perspectiva de los iluminados, incapaz de entender que un modelo solo funciona, en la mayoría de los casos, si se mantienen el resto de los parámetros constantes.
Quiero enfocarme en el caso de Nate Silver, uno de los estadísticos aplicados más famosos (dueño de 538), que expuso la victoria de Trump como una confirmación de su modelo. Pese que a la noche anterior presentaba un 70 a favor de Clinton (similar a lo que le pasó en las primarias republicanas en Michigan, y también con lo que pasó con sus predicciones respecto a la candidatura del Bernie Bro). Esta contraintuitiva afirmación juega con los resultados que arroja su modelo. En el mismo, una aplicación de las simulaciones MonteCarlo, nunca se da una probabilidad fija; se da una medida agregada de un conjunto de simulaciones. En sus reportes, en su sitio web de audiencia masiva, se mostraba una gráfica diaria que mostraba de 100 simulaciones cuantas ganaba cada candidato: En este caso mostraba que Clinton ganaba 70 de 100. ¿Estaría equivocado alguien si interpretaba que Silver le daba bastantes más chances a Clinton de ganar? ¿Según esta lógica alguna vez su modelo (y por consiguiente él) puede estar mal?
Ceteris Paribus es una expresión latina que se podría traer al español como <<siendo lo demás igual>>. En la formulación de modelos matemáticos aplicados es la máxima de interpretación en la cual se delimitan los resultados, y el alcance de los mismos. De forma simple, se puede entender como una advertencia de que un modelo es funcional siempre y cuando lo que se asuma como invariante permanezca invariante. Sin embargo, esta máxima se ha transformado tanto en muletilla como escudo. Uno que permite que todas las críticas a un modelo, su desarrollo o ejecución se lleven al campo de la analítica que los justifica:
‘¿Acaso usted esta insinuando que <inserte el nombre del sujeto que inventó la técnica> estaba equivocado?
En un mundo ideal todos podríamos sentarnos a revisar si tanto el desarrollo como aplicación del modelo cumplió con los estándares de todo. En la vida real (o incluso en la academia) son pocas las personas que son capaces de escudriñar en las matrices de covariancia, revisar las distribuciones de las variables, o revisar las 15k líneas de código en C++. Sin embargo, es aquí donde el canon del pensamiento social occidental cobra relevancia: son personas las que hacen los modelos, son personas, que por definición, transmitirán sus sesgos y prejuicios al modelo. Y, además, son personas las que deciden interpretarlos y usarlos. Son personas que están inmersas en narrativas históricas y culturales. Algunos modelos tienen poco impacto (aparente), como las predicciones sobre quién va a ganar la EPL o la Bundesliga; otros tienen mayor impacto dado que sobre ellos se justifica una política pública, se dirige el gasto o se encierra a toda una nación.
Yo no discuto la importancia de la modelación cuantitativa de fenómenos sociales, yo mismo me dedico a eso. Me encantan los modelos MonteCarlo, las cadenas de Markov y usar la expresión Ceteris paribus después de cada presentación. Pero abiertamente no creo que las implicaciones de un modelo solo puedan ser discutidas por un grupo de expertos detrás de una revista indexada inaccesible a ningún público. La imposibilidad de la crítica a estos modelos, o reducirlo a puras cuestiones aritméticas son cientismo puro; la instrumentalización de la Razón que tanto nos advirtieron Adorno y Horkheimer. Las discusiones metodológicas y matemáticas son necesarias (aparte de que son numerosos los casos en que los matemáticos advierten de los malos modelos, también), pero asimismo son necesarias las preguntas sobre cómo se producen, porque se producen, cómo se publican, cómo se interpretan, qué se comunica (y que se omite), qué se interpreta, y cuándo alguien puede decir que el modelo atinó o no. Preguntas que debe hacer el científico social, preguntas que deben provocar al observador, al ingeniero, al obrero, al programador, al político y al votante.
De nuevo, en este mundo encerrado por un virus, un modelo (Imperial College-COVID19) es la carta de navegación para la política pública de muchos países. Este texto no tiene como intención entrar a la discusión sobre las cualidades epidemiológicas, estadísticas y computacionales del mismo, no me corresponde. El modelo a la fecha de publicación del articulo ha sido revisado por un panel independiente, por programadores de Github, ¡y por John Carmack en persona! Yo, en cambio, quiero traer a la mesa la siguiente pregunta:
¿Es posible criticar este modelo sin ser epidemiólogo?
Sin duda, pienso yo. Para empezar, el código cuando se presentó originalmente no era código abierto, nadie lo había revisado (aquí me refiero a las prácticas de code review). Incluso hoy es posible preguntarse qué fue lo que se presentó y a quién. ¿Cómo ha sido usado? ¿Cómo se diferencian las interpretaciones de partidos de derecha y de izquierda que lo han usado para guiar su política pública? ¿Cuáles son las implicaciones de aceptar los resultados de código propietario sin comentarios? ¿Por qué la academia produce código cerrado si es financiada con dinero público? ¿Cómo se puede evaluar el modelo a posteriori si no hay Ceteris Paribus? No quiero que me malinterpreten, considero al modelo una maravilla que nos permitió navegar en una situación con amplia incertidumbre como lo que pasó este último semestre. Asimismo, considero el Ceteris Paribus una respuesta aceptable para que no se cumplieran sus vaticinios. Quiero hacer énfasis en que son personas las que lo construyen, son personas los que lo aplican. Personas inmersas en un entramado social, histórico y cultural: personas que lo aplican con efectos epidemiológicos, sociales y económicos. Son preguntas que deben formularse, responderse de forma interdisciplinar incluyendo conocimiento metodológico, estadístico, matemático, histórico, social y cultural.
¿Son entonces las simulaciones, modelos, generalizaciones, códigos, metodologías mandadas a recoger para uso en la construcción de ciencia social y política pública?
No
Las metodologías cuantitativas de investigación social son de las cosas más maravillosas que existen, y tienen su razón de ser y de uso. Este texto es una invitación a hacernos preguntas sobre los modelos cuantitativos que tipifican cada vez más nuestras interacciones sociales. A que no nos dejemos meter los Ceteris Paribus en la boca para justificar un mal modelo o una predicción en Júpiter. A que los científicos sociales debemos conocer de metodologías cuantitativas en vez de limitarnos a deconstruir lo deconstruido sobre los peligros de la cuantificación. Para cerrar podemos poner el lindo ejemplo del modelo de Black Scholes: propuesto como la justificación matemática que permite que el mercado financiero pre-2008 existiera. El uso, y abuso, de este modelo llevo elegantemente al descalabro subprime. El matemático británico Ian Stewart anotaba que el problema no fue el modelo en sí mismo, sino cómo este se usó para justificar todo. Los mismos Scholes y Merton ganaron el premio Nobel de Economía en 1997, mientras que en dos años lograron perder 4.6 billones de USD en un hedge fund usando las estrategias derivadas de su propia formulación. Los médicos también se mueren.
***
Carlos es antropólogo, a veces estadístico, a veces metodólogo y muy pocas veces psicólogo. Le gusta el análisis causal, la psicometria, el fútbol y los pájaros. Está interesado en cómo se expresan características humanas en la construcción de modelos cuantitativos.
Referencias
Sobre la idoneidad del modelo del Imperial College: https://github.com/mrc-ide/covid-sim/tree/master/report9 o https://zenodo.org/record/3865491#.XyRGHyhKiAs
Sobre el lio de Nate Silver: https://towardsdatascience.com/why-you-should-care-about-the-nate-silver-vs-nassim-taleb-twitter-war-a581dce1f5fc
Si alguien quiere los números: https://community.platform.matrixds.com/community/project/5c09a98a5fd07d6fa67f645d/files (Toca Registrarse)
Sobre como la ciencia es humana, y es sobre disenso no consenso:
https://statmodeling.stat.columbia.edu/2020/05/08/so-the-real-scandal-is-why-did-anyone-ever-listen-to-this-guy/
Ceteris Paribus y Causalidad: Schiffer, S. (1991). Ceteris paribus laws. Mind, 100(397), 1-17.
Sobre Scholes y Merton: Stewart, I. (2012). In pursuit of the unknown: 17 equations that changed the world. Basic Books.
Sobre personas y modelos:
Bhargava, S., & Forsyth, D. (2019). Exposing and Correcting the Gender Bias in Image Captioning Datasets and Models. arXiv preprint arXiv:1912.00578.
O'neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books.
Bordia, S., & Bowman, S. R. (2019). Identifying and reducing gender bias in word-level language models. arXiv preprint arXiv:1904.03035.