AI-модерация комментариев в соцсетях

Задача

Ростку нужен был не чат-бот и не общая аналитика, а рабочий модератор комментариев. Он должен быстро находить негатив под постами, удалять явные случаи и не трогать вопросы, благодарности и нормальные обсуждения.

Главный риск в такой задаче не технический, а продуктовый. Если бот удаляет всё подряд, команда теряет доверие аудитории. Если бот слишком осторожный, SMM всё равно вручную разгребает поток. Поэтому систему пришлось строить вокруг управляемого порога, журнала и понятного отката.

Решение

Я собрал отдельный сервис на Python в Docker. Он слушает комментарии ВК через Long Poll, проверяет YouTube по расписанию и обрабатывает комментарии Телеграм-канала через привязанную группу обсуждений.

Перед обращением к модели система проверяет белый и чёрный списки из Гугл-таблицы. Белый список защищает слова и фразы, которые нельзя удалять. Чёрный список ловит очевидный мусор до похода в AI. Всё остальное уходит в OpenRouter, где классификатор возвращает класс комментария, уверенность и причину.

Если уверенность выше выбранного порога, комментарий удаляется или отклоняется на площадке. После этого SMM получает сообщение в MAX: кто написал, где написал, какой текст удалён, почему модель решила удалить и сколько повторов негатива было у автора.

Как работает контроль

Управление вынесено в два привычных места: MAX и Гугл-таблицу.

В MAX есть команды /today, /last, /sensitivity, /pause и /resume. Там же приходят уведомления об удалении. Для ВК и YouTube под уведомлением есть кнопка «Отменить», чтобы восстановить комментарий, если модель ошиблась.

Гугл-таблица нужна для настройки без деплоя. На листе «Модерация настройки» лежат пресет чувствительности, пауза, порог аномалии, белый список, чёрный список и примеры для классификатора. Сервис перечитывает настройки раз в несколько минут, поэтому SMM может поправить правила без программиста.

Надёжность

Для модерации важна не только точность AI. Важнее, чтобы система не ломала рабочий процесс, не хранила лишнее и не превращалась в чёрный ящик.

Я добавил журнал решений в Гугл-таблице и PostgreSQL, суточную сводку по площадкам и алерт при аномальном всплеске удалений. Тексты и имена авторов очищаются через 90 дней, а для статистики остаются только технические метаданные.

На ручной калибровке по 15 размеченным комментариям система дала 100% точность удаления при выбранном пороге. На живом прогоне по ВК и Ютубу первые удаления тоже были корректными, поэтому порог оставили управляемым через режим чувствительности, а не жёстко зашили в код.

Автобана нет. Система работает с конкретным комментарием, показывает автора и повторность, но блокировку человека оставляет SMM. Это снижает риск ложных санкций и не заставляет собирать лишние персональные данные.

Результат

Росток получил контролируемую автомодерацию для ВК, YouTube и Телеграма. Система сама забирает поток комментариев, отделяет негатив от обычного общения, удаляет уверенные случаи и оставляет прозрачный след для проверки.

Главное изменение для команды простое: теперь не нужно постоянно дежурить у комментариев. SMM смотрит журнал и уведомления, меняет чувствительность, добавляет исключения и вмешивается только там, где реально нужен человек.

Нужен модератор комментариев, который не удаляет всё подряд? Напишите - разберём площадки, риски и сделаем безопасный контур модерации.