Aunque no me entusiasman las películas de zombis, un día vi en el carrusel de Netflix Guerra Mundial Z y decidí darle la oportunidad. Lo que me encontré fue muy distinto a lo que esperaba … y no por los zombis.
El mundo colapsaba por una pandemia y los equipos científicos se concentraban en analizar a los infectados. La pregunta que trataban de contestar era: ¿Qué les pasaba a los infectados? Por eso, tener un ejemplar vivo era tan valioso. Aunque esa era la pregunta obvia, era también una pregunta incompleta. El grupo que tenía la respuesta era el de quienes fueron expuestos pero no se infectaron. Y, por supuesto, el protagonista fue quien se hizo la pregunta indicada y encontró la solución.
Las preguntas analíticas pueden excluir información
En el análisis de datos y la toma de decisiones de negocio, este patrón se repite frecuentemente y casi siempre es un error en la pregunta de origen, no de habilidades técnicas. Cuando algo falla, ya sea una campaña, un producto o un proceso, la pregunta que se plantea de forma automática es: «¿Qué pasa con los afectados?» Puede parecer la pregunta obvia, pero deja fuera a un grupo igual de importante: los que no han sido afectados. La otra pregunta sería: «¿Qué tienen en común los que no fueron afectados?»
Un análisis puede estar técnicamente bien hecho y aun así llegar a una conclusión incompleta, porque la pregunta inicial dejó fuera a un grupo entero.
Una pregunta deficiente puede introducir un sesgo de selección. Al preguntar solo «¿qué le pasa a los afectados?», el análisis se concentra en el grupo donde el problema es visible: los usuarios que abandonaron, las transacciones que fallaron, los clientes que se quejaron, porque ahí está lo que tenemos que arreglar. Y está bien, pero es solo una parte de la historia.
Sin embargo, el grupo que no tuvo el problema: los usuarios que sí completaron el proceso, los clientes que no se quejaron, el segmento que ni siquiera aparece en el reporte de incidencias, queda fuera del análisis. El sesgo de selección surge naturalmente de esa pregunta incompleta.
El mismo principio se repite en el análisis de producto, de manera más cotidiana. Cuando un producto pierde usuarios, es común entrevistar a fondo a quienes cancelaron: encuestas de salida, llamadas de «¿Por qué te vas?», análisis del último recorrido antes del abandono. Es información valiosa, pero solo una parte.
El grupo que no aparece en los reportes
El grupo que casi nunca se revisa con el mismo nivel de detalle es el de los usuarios que llevan meses o años usando el producto sin quejarse. No generan tickets, no llenan encuestas negativas, no aparecen como «caso urgente» en ningún dashboard. Por lo mismo, es fácil asumir que no tienen nada que enseñar. Sin embargo, ese grupo suele contener la respuesta a una pregunta distinta y más útil: ¿Qué es lo que realmente los retiene?
Antes de dar por buena una pregunta analítica, vale la pena hacerse una pregunta adicional: ¿qué grupo estoy descartando por suponer, sin comprobarlo, que no tiene nada que aportar? En análisis de producto, ese grupo suele ser el que no se queja, el que no destaca, el que parece «normal». Y precisamente por eso es el que menos se revisa.
El problema puede o no encontrarse en ese grupo. Lo importante es tener la historia completa.
La lección: buscar la historia completa
En la película, la solución consistió en incluir al grupo de personas que no presentaban el problema aun después de haber sido expuestas. Analizar a los infectados confirmó lo que ya se sospechaba. La solución vino de otro lado. Esa es, en el fondo, la diferencia entre un análisis que confirma y otro que encuentra algo nuevo.
Epílogo
Regresando a la película: sí me gustó y no solo por lo que enseña sobre preguntas de negocio. Las películas de zombis siguen sin ser mis favoritas, pero sí volvería a hacer clic en otra.
Nota curiosa
Abraham Wald y los aviones que no regresaron
Este mismo mecanismo tiene un caso real, documentado, mucho antes de que existiera Guerra Mundial Z. Durante la Segunda Guerra Mundial, el ejército de Estados Unidos analizaba los aviones que regresaban de combate para decidir dónde reforzar el blindaje: marcaban las zonas con más impactos de bala y reforzaban ahí. El estadístico Abraham Wald señaló el error de origen: esos impactos mostraban dónde un avión puede recibir un disparo y aun así volver. Las zonas que había que reforzar eran las que aparecían limpias en los aviones sobrevivientes, porque los aviones dañados justo ahí eran los que nunca lograron regresar. Este caso me parece fascinante y con un impacto de vida o muerte.
El grupo que faltaba en el análisis: los aviones derribados, no estaba disponible para estudiarse directamente, pero su ausencia era, en sí misma, la información más importante. La pregunta inicial («¿Dónde reciben más impactos los aviones?») sonaba razonable, pero estaba mal planteada desde el principio.
