Filtrar de más también daña una encuesta, advierte un webinar de la MRS

Los controles de calidad de las encuestas en línea están excluyendo a personas que respondían de buena fe. Esa fue la advertencia central de un webinar sobre calidad de datos organizado por la Market Research Society (MRS), la asociación británica de investigación de mercados, según Research Live, la publicación de la propia MRS.

Una alerta no alcanza

Chris Stevens, consultor e integrante del grupo de trabajo sobre calidad de datos de la MRS, tomó el caso de las respuestas en línea recta (straight-lining), cuando alguien marca la misma opción en toda una batería de preguntas. «Responder en línea recta puede ser una respuesta válida», dijo. «Los profesionales tienen que dejar de marcar a las personas solo por eso.»

Su conclusión fue que «una sola alerta no hace a un mal participante» y que hace falta armar una imagen completa de cada persona con controles basados en evidencia. El costo de equivocarse va en aumento: «Hay buenos participantes a los que se está marcando. No podemos permitírnoslo, porque el grupo de participantes es cada vez más pequeño».

Debrah Harding, directora general de la MRS, lo resumió así: «La desconexión, el fraude técnico, la actividad de bots y las respuestas generadas por IA son desafíos para la calidad de las encuestas. Pero una sola alerta no cuenta toda la historia». Una eliminación demasiado agresiva, agregó, «puede excluir a participantes genuinos, reducir la representatividad e introducir sesgos».

El papel de quien encarga

Jo Bygrave, directora de calidad de datos de NielsenIQ y miembro del mismo grupo de trabajo, puso el foco en los clientes, que pueden «tener una enorme influencia sobre la calidad de las encuestas». La calidad, dijo, debería estar en la contratación desde el comienzo y no aparecer recién cuando surge un problema. El cliente tendría que preguntar cómo se recluta a los participantes, qué controles de validación se aplican, de qué fuentes sale la muestra y cómo se fijan las cuotas y la ponderación.

Bygrave también pidió usar tantas señales como sea posible para tener una «imagen completa» de cada encuestado, en lugar de unos pocos indicadores.

Máquina contra máquina

Greg Matheson, codirector ejecutivo de Quest Mindshare y presidente del comité de investigación en línea del Canadian Research Insights Council (CRIC), describió el fraude con IA como «una especie de guerra de guerrillas». Para él, lo que creció no es tanto la sofisticación de la IA como la de quienes la usan para engañar, y la única forma de enfrentarlo es «máquina contra máquina».

El 27 de octubre contamos aquí la alianza entre The Logit Group y Data Quality Co-op, que suma el historial de cada encuestado a los controles contra el fraude. El webinar muestra la otra cara de ese debate: cuanto más estrictos son los filtros, mayor es el riesgo de descartar a personas reales, y con ellas a perfiles que ya cuesta conseguir. Las dos posiciones coinciden en un punto, el de decidir con muchas señales y no con una sola.