Los encuestados sintéticos tropiezan con las diferencias entre culturas

Un gemelo digital armado con un modelo de lenguaje responde distinto que la persona a la que imita. Fadong Chen, Qijun Wang y Lei Wang (Universidad de Zhejiang) y Sudeep Bhatia (Universidad de Pensilvania) crearon un doble sintético, con el mismo cuestionario, para cada uno de 67.201 participantes de la Encuesta Global de Preferencias en 74 países. Las respuestas simuladas explicaron el 1,3 % de la variación de las preferencias reales entre individuos y el 4,2 % entre países. Los modelos acertaron la dirección de las diferencias por género, edad y habilidad en el 77,8 % de los casos, pero la de las diferencias culturales solo en el 48,1 %. El estudio se publicó en Nature Human Behaviour.

Un cuestionario, dos versiones

La idea de reemplazar encuestados por «muestras de silicio» tomó impulso en 2023. Ese año, Lisa Argyle y colegas mostraron en Political Analysis que un modelo de lenguaje con un perfil sociodemográfico reproducía con bastante fidelidad patrones de opinión política de subgrupos de votantes estadounidenses. Desde entonces, los paneles sintéticos y los gemelos digitales se ofrecen como un atajo para la investigación de mercados: más baratos, más rápidos y sin reclutamiento.

El nuevo trabajo pone a prueba esa promesa con una vara exigente. La Encuesta Global de Preferencias, presentada por Armin Falk y colegas en The Quarterly Journal of Economics en 2018, se aplicó en 2012 dentro de la Encuesta Mundial de Gallup a más de 80.000 personas de 76 países. Mide seis preferencias económicas (riesgo, paciencia, reciprocidad positiva y negativa, altruismo y confianza) con preguntas validadas contra experimentos con incentivos reales.

Para cada encuestado, los autores escribieron una persona con su género, su edad, su habilidad cognitiva (una autoevaluación de 0 a 10 sobre qué tan bueno se considera para las matemáticas), su país y su región. La pregunta se presentaba en el idioma local y con montos en la moneda del país. Probaron 12 configuraciones de modelos de OpenAI, Google y DeepSeek, de generaciones antiguas y recientes, y otras ocho variantes de control: en total, unos 27,8 millones de respuestas generadas.

Lo que capturan y lo que no

La correlación entre la respuesta simulada y la real fue positiva y distinguible de cero en 63 de 72 combinaciones de modelo y preferencia, es decir, en el 87,5 %. La dirección, entonces, suele ser la correcta. La magnitud no: el error cuadrático medio casi duplicó la varianza de los datos humanos. Al agregar por país, 58 de 72 correlaciones fueron positivas, pero solo 22 se distinguieron de cero.

Las diferencias demográficas salieron mejor. Los modelos reprodujeron todas las diferencias de riesgo y de paciencia por género, edad y habilidad, aunque solo el 38,9 % en reciprocidad positiva. Con las dimensiones culturales (Hofstede, Schwartz y el mapa de Inglehart y Welzel), la proporción de aciertos fue del 48,1 %, un valor que no se distingue estadísticamente del 50 %. Solo tres de los 12 modelos recuperaron la relación entre la orientación al largo plazo de un país y la paciencia de su gente, y solo uno la que vincula la aversión a la incertidumbre con el riesgo.

Dos resultados más interesan a quien compra estos servicios. Los modelos se parecen más entre sí que a las personas, lo que sugiere un patrón de respuesta compartido que se aparta de lo humano. Y los modelos más nuevos de OpenAI no mostraron ventajas claras sobre los anteriores.

El costo de tener menos ingresos

Los autores midieron, país por país, cuánto se alejaban las respuestas simuladas de las reales. Ese error se asoció con un menor producto por habitante en la mitad de las combinaciones de modelo y preferencia (36 de 72) y con un menor desarrollo de infraestructura digital en 31 de 72. El tamaño de la población y la cantidad de usuarios de internet, en cambio, casi no tuvieron relación con el error.

Los autores proponen dos explicaciones que no se excluyen: el entrenamiento de los modelos daría más peso a los idiomas y contenidos de los países desarrollados, y esos países, más digitalizados, ofrecen más datos estructurados y de calidad. Agregan que los desarrolladores tienen pocos incentivos comerciales para mejorar el desempeño en mercados más pobres.

Los experimentos que quitaban datos del perfil muestran dónde está el problema. Con solo el país en el perfil, el error fue de 1,961; con el perfil completo, de 1,838; con los datos demográficos y sin el país, de 1,835. La etiqueta del país casi no aporta. Para quien investiga mercados en América Latina, el resultado es una advertencia con un límite. El artículo no informa en su texto principal los resultados de cada país, así que no permite saber cuánto se equivoca un panel sintético en un mercado concreto de la región.

Dos sesgos más

Los autores intentaron reproducir con datos simulados 35 asociaciones entre países ya publicadas con esta encuesta, como la que une la paciencia con el producto por habitante. El mejor modelo recuperó 16 (45,7 %). Con 18 asociaciones demográficas a nivel individual, los modelos recuperaron entre el 50 % y el 78 %.

Además, los modelos sobrestimaron el altruismo de las mujeres (los 12) y su confianza (11 de 12), y esa distorsión fue mayor en los países con estereotipos de género más marcados. Las respuestas sintéticas también fueron más homogéneas que las humanas, y subir la aleatoriedad del modelo recuperó esa diversidad solo en parte.

Qué tan firme es

El trabajo pasó revisión por pares y sus datos y su código están disponibles. Tiene, sin embargo, límites que los autores reconocen. La encuesta es de 2012 y pudo haber entrado en el entrenamiento de los modelos, lo que haría de estos resultados un techo; las pruebas con preguntas reformuladas y en inglés no mostraron señales de memorización. Las preferencias pudieron cambiar en una década, lo que jugaría en contra de los modelos. Y los experimentos sobre el perfil se hicieron con un solo modelo y una sola forma de describir a la persona: descripciones culturales más ricas o modelos ajustados con datos locales podrían mejorar el resultado.

Hay un límite más para el lector de marketing. El estudio mide preferencias económicas básicas, no actitudes hacia marcas ni intención de compra. Extender sus conclusiones a un cuestionario de mercado es una inferencia razonable, pero no un resultado.

Qué cambia para la investigación de mercados

El estudio no descarta las respuestas simuladas. Los autores les ven usos para generar hipótesis, revisar un diseño antes de salir a campo o explorar variantes a bajo costo, siempre con validación posterior. Lo que sí discute es su uso como reemplazo de una encuesta representativa cuando la pregunta es comparar países o culturas.

El hallazgo central para quien contrata o diseña paneles sintéticos es dónde falla el método: capta lo que el perfil describe de manera explícita y pierde lo que la cultura agrega. En un estudio multinacional o en una segmentación regional, esa es justamente la variable que se quiere medir. Y que dos paneles sintéticos coincidan entre sí no valida nada, porque los modelos se parecen más entre ellos que a las personas.