1120 агентов прожили в ленте X и показали, что она усиливает
Проверить, что именно показывает платформа, трудно: снаружи виден только результат, а он зависит и от того, кто пользователь, и от того, как он себя вёл. Живые участники дают правдоподобие, но дорого и неуправляемо; скриптовые «куклы» масштабируются, но ведут себя ненатурально.
Идея работы — развести две вещи, которые обычно слиты. Поведение задаётся характером агента и держится неизменным, а признаки, видимые платформе (возраст, пол, местоположение), меняются в эксперименте. Это и позволяет спросить: изменится ли лента, если человек ведёт себя так же, но выглядит иначе.
Масштаб: 1120 агентов в X вскоре после выборов 2024 года в США, 14 характеров, три условия сравнения, больше 200 000 показанных материалов.
Результат по ленте: алгоритмическая подача усиливает токсичное, поляризующее, политическое и правое содержание по сравнению с хронологической, и сила усиления резко зависит от взглядов самого пользователя.
Результат по демографии тоньше и честнее. Если усреднить, эффект признаков почти нулевой; по подгруппам он есть, но разного знака и величины. Это ровно тот случай, когда среднее скрывает происходящее, и авторы не поддались соблазну отчитаться средним.
Почему это важно за пределами исследований платформ. Это работающий способ аудита рекомендаций вообще — своего каталога, своей выдачи, своей рассылки. Характер фиксируется, признак меняется, разница измеряется.