Поиск и добавление конкурентов в CRM

Задача

Сергею нужен был модуль, который ищет конкурентов по нишам и поисковым запросам. Не просто парсер выдачи, а рабочая система для CRM: нашла сайт, поняла, подходит ли он под нишу, достала полезные признаки, убрала дубли и передала результат дальше.

Ручной процесс здесь плохо масштабируется. Один запрос ещё можно проверить глазами. Десятки запросов по разным нишам уже съедают время менеджера и дают нестабильный результат: часть сайтов пропускается, часть мусора попадает в работу, данные приходится переносить руками.

Решение

Я собрал мультиагентный модуль поиска конкурентов на n8n. Google Sheets стал простой админкой для заказчика. Там можно добавлять ниши, поисковые запросы, целевые маркеры и лимиты обработки.

Дальше работу забирает конвейер. n8n синхронизирует настройки и задания из Google Sheets в PostgreSQL. Основной workflow берёт новое задание и ставит lock, чтобы два запуска не обработали одно и то же. SearXNG собирает поисковую выдачу, Code-ноды чистят мусор и нормализуют домены, Jina AI читает страницы, а Google Vertex AI проверяет сайт по маркерам ниши и возвращает структурированный JSON.

Если сайт подходит, Dadata обогащает компанию реквизитами, PostgreSQL сохраняет конкурента с дедупом по домену, а Vtiger CRM получает готовую карточку для менеджера.

PostgreSQL здесь не просто склад данных, а источник правды. CRM остаётся интерфейсом для менеджера, а все служебные статусы, trace, повторные попытки и найденные конкуренты живут в базе.

Как работает конвейер

Заказчик добавляет строку в таблицу: ниша, поисковый запрос и желаемое число валидных конкурентов. Через синхронизацию задание попадает в базу со статусом new.

Основной workflow запускается по расписанию или через webhook, берёт одну задачу, ищет сайты и проверяет каждый домен отдельно. AI не просто отвечает “да” или “нет”. Он возвращает структурированные маркеры: есть ли нужные признаки, где они найдены, насколько уверенно можно считать сайт конкурентом.

Если сайт проходит must-have фильтр, система идёт дальше: обогащает данные, сохраняет конкурента, готовит payload и отправляет результат в CRM. Если сайт не подходит, он отсекается до дорогих шагов и не засоряет базу.

Надёжность

В проекте много мест, где обычный workflow мог бы ломаться тихо: зависла CRM, пришёл дубль, запуск упал в середине, callback вернулся раньше финальной отметки.

Для этого добавлены:

• advisory lock на обработку задания;
• дедуп доменов через PostgreSQL;
• повторная синхронизация с CRM для зависших записей;
• callback из Vtiger по trace_id, чтобы связать созданную карточку с записью в базе;
• отдельный error workflow, который освобождает lock при падении;
• бизнес-логи в Loki и debug по executions в Grafana.

Это важно именно для продакшена. Если система ищет конкурентов каждый день, мало просто “получить ответ от AI”. Нужно понимать, какой запрос прошёл, где упал, сколько конкурентов найдено и что уже ушло в CRM.

Результат

Сергей получил рабочий модуль поиска конкурентов, который можно масштабировать на несколько ниш через agent_id. Для новой ниши не нужно переписывать workflow: меняются настройки, промпты и маркеры, а общая механика остаётся той же.

По реальным прогонам система уже находила валидных конкурентов для разных направлений: турбазы, IT-компании и смежные ниши. В одном запуске можно собрать 5 готовых карточек, передать в CRM до 37 полей без ручного ввода и оставить в логах понятный след для отладки.

Главное изменение для заказчика простое: вместо ручного просмотра выдачи появляется повторяемый процесс. Таблица задаёт, что искать. n8n выполняет. AI проверяет. CRM получает результат.

---

Нужна система, которая ищет, проверяет и передаёт лиды или конкурентов в CRM? Напишите - разберём процесс и соберём рабочий конвейер.