О Machine Learning с экспертом

О Machine Learning с экспертом

Запускаю тестовую рубрику - #PG_people. Завтра скину опрос - если вам понравится рубрика, то буду ее продолжать 🤗.

Слова Machine Learning, Data Science, Big Data уже стали практически ругательными. Решила разобраться, когда, где и зачем продакты могут привлекать ML для своих задач. Для этого пригласила эксперта - Андрея Гусева, который более 5 лет настраивает модельки.

Кстати, если останутся вопросы “нужен ли мне ML?”, “как его внедрять и с чего начать?” или “нужен специалист по ML”, то Андрей готов бесплатно проконсультировать в комментариях к посту или в личных сообщениях.

Где может использоваться ML Машинное обучение может использоваться везде, где есть данные и понимание, как из этих данных можно извлечь прибыль или улучшить удовлетворенность клиентов.

Например, при разработке банковского приложения вам стала доступна информация о том, сколько пользователь совершает шагов в день. На таких данных сложно выдвинуть гипотезу, как улучшить интерфейс или какой продукт предложить клиенту. А вот если вы получили информацию о поисковых запросах пользователя, то уже можно начать отправлять пуши с предложением об автокредите людям, которые гуглили "купить машину". Если дополнительно у вас есть информация о доходе пользователя, то можно сразу отправлять предодобренное предложение о кредите.

Когда может использоваться ML Когда есть данные, их много - хотя бы несколько тысяч наблюдений, и они качественные - достоверные и разнообразные. Однако для начала я рекомендую провести самый простой статистический анализ данных, посмотреть на распределения и зависимости и попробовать сделать выводы без построения моделей. Зачастую в начале простые решения приносят не сильно меньше профита, чем продвинутые модели.

Профит ML по сравнению с классической статистикой С помощью ML можно получить скрытые инсайды о клиентах, чем если использовать статистические методы. С помощью статистики человек может выдвинуть несколько гипотез, потестить их и получить более-менее очевидные выводы. В то время как методы ML позволяют получить за сравнительно небольшое время более глубокие выводы за счет того, что алгоритмы могут улавливать нелинейные и неочевидные связи без предвзятости.

Например, вряд ли исследователь будет тестировать гипотезу, что женщины 30-35 лет из Москвы с достатком чуть выше среднего и окончившие МГУ чаще реагируют на ту рекламу, в которой присутствуют дети, чем на рекламу без детей, поэтому им следует показывать именно такое. А вот многие ML алгоритмы это могут выявить.

С чего начать внедрение ML Задать себе вопрос "Я действительно смогу получить профит от внедрения ML, или я просто хочу рассказывать об этом друзьям и коллегам?".

Если вы всё же полны решимости, то я бы рекомендовал пообщаться с несколькими data scientist'ами, чтобы они подтвердили, что с имеющимися данными можно попробовать что-то сделать.

Затем следует оценить экономическую составляющую проекта, после чего можно начинать реализацию.

Сколько стоит внедрение и поддержка ML Зависит от масштаба проекта. Если вам нужно решить одну небольшую задачу, у вас не миллиард пользователей в секунду и уже есть сервер, на котором можно запустить модель, то в этом случае вы сможете обойтись одним дата саентистом на part time.

Обычно от начала до внедрения проходит 1.5-2 месяца. Вилка Senior DS начинается от 250 тыс. рублей в месяц, поэтому я бы оценил работу DS по разработке модели и помощи при внедрении примерно в 400 тыс. рублей. Плюс сюда стоит добавить стоимость времени разработчиков, которые будут внедрять решение в прод.

Модели со временем устаревают и их необходимо обновлять, так что на это тоже стоит заложить бюджет. Обновление модели зачастую выходит гораздо быстрее, чем разработка с нуля - она занимает 10-20 часов. Конечно, сейчас идет тренд на автоматизацию этого процесса, но на ранних этапах всё же стоит мониторить его вручную.

@productgames #PG_people