Fallar un control de atención no hace a un mal encuestado, según cinco años de un panel

Quien falla un control de atención en una encuesta no es necesariamente un mal encuestado para siempre. En un panel web japonés seguido durante cinco años, tres de cada cuatro personas que fallaron el control y volvieron a responder al año siguiente lo aprobaron. Fallar sí aumenta el riesgo de volver a fallar, y el riesgo crece con cada falla acumulada. El estudio se publicó el 22 de octubre en Scientific Reports y aporta algo poco común en la discusión sobre la calidad de los paneles: datos longitudinales a gran escala.

Lo firman Daisuke Hori, Masahide Koda, Kazuya Fujii y Takahiro Tabuchi, y se basa en JASTIS, una encuesta anual por internet sobre sociedad y consumo de tabaco en Japón que administra la empresa de panel Rakuten Insight. El tema de la encuesta importa poco aquí: lo que se estudia es cómo responden las personas al mismo control año tras año.

Qué es un control de atención

Es una pregunta trampa dentro de un cuestionario para detectar a quien responde sin leer. En este caso, siempre la misma: entre cinco opciones, de la A a la E, había que elegir «la segunda desde abajo», es decir, la D. Quien marca otra cosa falla. La industria de la investigación de mercados los usa como filtro, y muchas veces quien falla queda afuera de la base sin más análisis.

Cómo se hizo

Los autores reunieron cinco olas anuales, de 2022 a 2026, con 157.000 observaciones de 66.384 personas. Para cada persona miraron qué pasaba en la ola siguiente: si aprobaba, si fallaba o si no aparecía. Eso dio 127.000 transiciones de una ola a la siguiente, de 53.493 personas, y los resultados se ajustaron por características sociodemográficas.

Lo que encontraron

• La falla es relativamente rara y estable: cada año falló entre el 7 % y el 8,5 % de los participantes.
• Fallar predice volver a fallar: entre quienes respondieron la ola siguiente, la falla fue del 24,9 % después de haber fallado y del 5,6 % después de haber aprobado, una diferencia de más de cinco veces en las probabilidades.
• Pero la mayoría se recupera: el 74,6 % de quienes habían fallado y volvieron aprobó la vez siguiente.
• La historia pesa: la probabilidad de fallar en la ola siguiente fue del 3,5 % sin fallas previas, del 11,9 % con una y del 23,9 % con dos o más.
• Fallar no hace abandonar el panel: la proporción que volvió a responder fue casi igual tras una falla (66,9 %) que tras una aprobación (67,9 %).

La conclusión de los autores es que una falla aislada describe un momento, no a una persona. Las fallas repetidas, en cambio, sí señalan un riesgo persistente.

Qué tan firme es

La escala es la gran fortaleza: pocas veces se puede seguir a decenas de miles de encuestados durante cinco años con el mismo control. Los límites, que los autores detallan, son también claros. Se usó un único indicador, que no se comparó con otras medidas de calidad de respuesta. Al ser siempre la misma pregunta, algunas personas pudieron aprenderla. No se pudo distinguir entre quien no fue invitado, quien no quiso responder y quien dejó el panel. Es un solo panel comercial japonés y no se evaluaron los controles de calidad propios del proveedor. Y, sobre todo, no se probó si excluir a quienes fallan mejora las estimaciones de fondo, que es la pregunta que más le importa a un investigador.

El trabajo dialoga con una literatura que ya advertía sobre el uso automático de estos filtros. Daniel Oppenheimer y sus colegas propusieron en 2009 los controles de manipulación instruida como forma de detectar a quien responde sin leer. Adam Meade y Bartholomew Craig revisaron en 2012 los métodos para identificar respuestas descuidadas y recomendaron combinar varios indicadores en lugar de confiar en uno solo.

Qué significa para la investigación de mercados

Lo que sigue es una lectura de El Neuromarketer. En un estudio puntual, descartar a quien falla un control es una regla razonable. En un panel o en un tracking que vuelve a las mismas personas, la misma regla puede achicar la muestra sin necesidad y sesgarla, porque quien falla una vez suele responder bien la siguiente. La alternativa que sugieren los datos es mirar la historia: tratar con más cuidado a quienes fallan de forma repetida y no castigar para siempre una distracción puntual.

También deja una advertencia sobre el propio control. Si siempre es la misma pregunta, deja de medir atención y empieza a medir memoria. Rotar las preguntas trampa y combinarlas con otros indicadores, como el tiempo de respuesta o las respuestas en línea recta, es la forma de que el filtro siga filtrando.