El «por qué» de los estudios de consumo tiene evidencia más débil

Casi la mitad de los artículos de las cuatro revistas más citadas de marketing y psicología del consumidor explican sus resultados con un análisis de mediación, la herramienta estadística que dice por qué funciona un efecto. Un preprint revisó 285 de esos análisis, publicados entre 2018 y 2020, y concluye que su distribución se parece más a la de estudios con poca potencia, o directamente sin efecto, que a la de estudios bien dimensionados. Es la cuarta versión de un trabajo que circula desde 2021: se publicó en PsyArXiv a comienzos de noviembre y está en revisión abierta en la revista Meta-Psychology.

Lo firman Amanda Montoya, de la Universidad de California en Los Ángeles; Antonia Krefeld-Schwalb, de la Erasmus University de Róterdam, y los investigadores independientes Aaron Charlton, John Price y Joseph Hilgard.

Por qué importa la mediación

Buena parte de lo que la industria toma de la academia no es el efecto sino su explicación. Un ejemplo que citan los autores: un estudio de 2026 encontró que la gente apoya menos a las marcas que segmentan sus avisos por características demográficas, y que eso pasa porque lo percibe como discriminación. La mediación es la prueba de ese «porque»: estima cuánto del efecto pasa por el mecanismo propuesto. Si esa prueba es frágil, lo que se traslada a una estrategia de comunicación también lo es.

Cómo se hizo

• Primero, una simulación. Los autores generaron datos sin ningún efecto real y probaron qué pasa cuando el investigador tiene margen para elegir: probar dos mediadores y dos resultados posibles, intercambiar mediador y resultado, sumar o quitar una variable de control, cambiar de método o repetir el remuestreo.
• Segundo, una revisión de lo publicado. Revisaron los 647 artículos que aparecieron entre 2018 y 2020 en Journal of Consumer Research, Journal of Consumer Psychology, Journal of Marketing y Journal of Marketing Research. El 47,6 % (308) tenía al menos una mediación y 285 se pudieron codificar. De cada uno tomaron la primera prueba de mediación que respondía a la hipótesis principal.
• La medida central es la «proximidad relativa»: qué tan cerca de cero queda el intervalo de confianza del efecto, en relación con su ancho. Muchos intervalos que apenas dejan afuera el cero son una señal de alarma.
• Por último, compararon la distribución publicada con tres distribuciones simuladas: estudios con buena potencia (80 a 95 %), con potencia baja (33 a 79 %) y sin efecto real.

Lo que encontraron

• Sin margen de decisión, la tasa de falsos positivos de la simulación quedó cerca del 5 % esperado. Elegir entre varios mediadores y resultados la llevó hasta el 19,4 %, y probar mediación moderada, que es mirar si el mecanismo cambia según una tercera variable, hasta el 20,4 %. Agregar o sacar un control casi no la movió.
• En las revistas, la distribución de los 285 análisis se aleja con claridad de la que dan los estudios con buena potencia: hay demasiados intervalos pegados al cero. Se parece más a la de potencia baja y, en la zona cercana a cero, a la de efectos nulos, aunque tiene una cola de resultados fuertes que indica que no todo es ruido.
• Casi no hay resultados no significativos publicados. Incluso con buena potencia, entre el 5 % y el 20 % de las pruebas deberían fallar. Que no aparezcan es, para los autores, una señal clara de sesgo de publicación.
• Las muestras típicas de esos estudios iban de 138 a 335 personas (percentiles 20 y 80), en buena parte por debajo de lo que, según los cálculos de los autores, necesita un efecto indirecto pequeño para llegar al 80 % de potencia: entre 264 y 888 personas, según cómo se reparta el efecto.

Qué tan firme es

Los autores no acusan a ningún artículo en particular: el diagnóstico es del conjunto. Advierten que la simulación solo cubrió mediaciones simples, que la proximidad relativa es un índice nuevo con poca validación previa (este trabajo aporta parte de ella) y que el método no permite separar cuánto se debe a la poca potencia y cuánto a decisiones del investigador. Es, además, un preprint todavía en revisión.

El hallazgo coincide con antecedentes. Martin Götz y sus colegas describieron en 2021, en Psychological Bulletin, la «zona de Ricitos de Oro»: demasiados intervalos de mediación que excluyen el cero por muy poco. Uri Simonsohn, Leif Nelson y Joseph Simmons propusieron en 2014 la curva p para detectar literaturas sin valor probatorio. Y Xinshu Zhao, John Lynch y Qimei Chen ya habían discutido en 2010, en el Journal of Consumer Research, cómo se interpretaba la mediación en el campo.

Qué significa para quien usa la investigación

Lo que sigue es una lectura de El Neuromarketer. Para una marca o una agencia, la lección no es descartar la investigación académica sobre consumo, sino leer los mecanismos con más cautela que los efectos: un estudio puede mostrar que algo funciona y estar mucho menos seguro de por qué. Los autores proponen tres remedios: registrar el análisis antes de mirar los datos, trabajar con muestras más grandes y publicar también lo que no da significativo. Son buenas preguntas para hacerle a cualquier estudio, académico o comercial, antes de convertir su explicación en un argumento de venta.