Чем отличаются AI-респонденты от живых людей

Чем отличаются AI-респонденты от живых людей

Только вчера запускала интервью с синтетическими юзерами для тестового (кстати, при проведении использовала методы из канала), а сегодня попалась статья с исследованием NN/g, в котором сравнивают результаты интервью с AI и живыми людьми.

Суть в том, что один и тот же открытый вопрос про область UX-ресёрча задали 604 живым профи и 120 AI-респондентам. В итоге глобальный вывод совпал, а вот детали разошлись так, что на них легко построить ошибочное решение.

Вот как AI искажает результаты:

1. Иллюзия полного единодушия AI схлопывает ответы вокруг самого частого шаблона. В исследовании NN/g среди реальных PM термин UX использовали 44%, а среди синтетических PM - 93%. AI рисует сегменты невероятно дружными и стереотипными, полностью стирая реальное разнообразие мнений внутри одной роли.

2. AI срезает длинный хвост Живые люди дали более 50 различных формулировок, включая редкие термины вроде journey management или human factors engineering. AI-пользователи выдали всего около десятка базовых вариантов. Все краевые сценарии, нестандартные боли и новые тренды, ради которых и идут в ресёрч, модель просто отбросила.

Итого, как использовать synthetic users без вреда для продукта:

👍 Первый дешёвый проход: прогнать опросник на адекватность, быстро сгенерировать гипотезы или составить гайд для глубинных интервью.

👎Где AI опасен: поиск ключевых болей, позиционирование, ценообразование и продуктовая стратегия. Если делать продукт по ответам синтетических юзеров, вы построите решение для среднестатистического бота, которого не существует в природе.

Источник: https://www.nngroup.com/articles/synthetic-users-vs-human-respondents/

@productgames