Совет, если встраиваете AI-модели в продукт

Совет, если встраиваете AI-модели в продукт

Рассказываю про модели сторонних подрядчиков типа Anthropic и Open AI, а не те, которые вы разработали сами.

Может быть это кэп, но для меня основной инсайт недели такой: интеграция через подрядчика может быть выгоднее в сравнении, с подключением напрямую.

Почему так вышло у меня: - Дешевле. Не знаю, за счет чего так получается на стороне подрядчика: может из-за объемов, может из-за спекуляций с ценами в разных географиях.

- Подрядчик нормализует данные. До этого мне приходилось делать это на своей стороне. Сейчас гораздо удобнее.

- Один ключ API для всех моделей, даже от разных провайдеров. Плюс стандартная, простая и понятная документация.

Из минусов, о которых стоит помнить: - Подрядчик может внезапно закрыться, и тогда его срочно придется подменять.

- Остается вопрос пропускной способности и обработки очередей, что может влиять на скорость работы вашего продукта.

В остальном это выглядит хорошим решением. Кстати, мне скоро будет что вам показать!

#PG_размышления