Срочно меняем ИИшку в ботах!

Гугл опять впихнули много интеллекта в дешевую и быструю модель. Их модели славятся отличным стилем текста ( привет ЖПТ ), хорошим мозгом 🧠 и щедрой ценой / лимитами 🤑.

вышел Гемини 3.7 Флеш ✨

1490 баллов на AI Arena 🔥

$0.75/M вход, $3.75/M выход до конца года 🔥

340 токенов в секунду 🔥

почему это имба: 👇

в ботах интеллект обычно приходится экономить

простые задачи отправлять в дешевую модель, сложные - в дорогую. потом строить между ними маршрутизацию и следить, чтобы по дороге не потерялся контекст

а тут можно менять не модель, а уровень ее размышлений

на простых сообщениях включать low, на сложных high. модель остается та же и контекст не надо таскать туда-сюда

с такой ценой на мозг 🧠💸 ей уже реально можно отдать весь диалог

да, необходимость модульности никуда не делась, но теперь многие задачи можно отдавать одной модели, т.к. цена / качество у Гемини - пушка 💥

для меня это главный кандидат на новую ИИшку в ботах

Внедряем имбу? 🗳️

UPD пока готовил пост, Гугл сделали комбо-вомбо 🍔🥤

вчера - выпустили имбу

сегодня - у части пользователей в России Гемини отвалился даже через привычный VPN 🥀

Россия и до этого не входила в список поддерживаемых стран. похоже, сейчас Гугл просто жестче режут ВПН и серверные IP

если звать Гемини напрямую через Гугл - еще жирнее аргумент держать бота на своем VPS в поддерживаемой стране, а себе поднять свой VPN на VPS

свой IP и маршрут хотя бы контролируешь ты, а не VPN-сервис на пол-интернета