Сергей
Поиск и добавление конкурентов в CRM
Модуль МПК связывает поиск компаний, проверку сайтов по признакам ниши и передачу подходящих результатов в Vtiger. Заказчик управляет поиском из Гугл-таблицы.
Перейти к разборуПоиск и добавление конкурентов в CRM

Содержание разбора
при поиске конкурентов менеджер проходит один и тот же путь. Задает запрос, открывает сайты, проверяет профиль компании, убирает повторы и переносит подходящие результаты в СРМ
для Сергея я собрал модуль МПК на n8n. Задание начинается в Гугл-таблице, сайты проходят проверку по признакам ниши, а подходящие компании передаются в Vtiger
менеджер задает, кого считать конкурентом, и работает с отобранными результатами. Одинаковую техническую цепочку можно использовать для разных направлений
Одна система, разные правила поиска
в таблице разделены настройки ниши и поисковые запросы. Для каждой ниши есть свое название, признак включения, инструкция модели и набор проверяемых признаков
например, для турбаз в конфигурации указаны собственные домики и наличие цен. Дополнительно оцениваются активности, акции и другие признаки. Для ИТ-компаний действует отдельный набор правил
заказчик может уточнять эти условия в таблице. Новая ниша получает свои настройки и запросы, общая цепочка обработки сохраняется

От запроса до подходящей компании
я разделил обработку на последовательные этапы
- Настройки и запросы из таблицы попадают в PostgreSQL
- SearXNG собирает поисковую выдачу, затем нормализуются домены и убираются повторы
- Jina AI читает страницы, модель через Google Vertex AI проверяет признаки ниши
- Для подходящего сайта собираются контакты и дополнительные сведения о компании
- Данные сохраняются в базе и передаются в Vtiger
совпадения в выдаче недостаточно. Сайт должен пройти проверку по заданным признакам. В конфигурации модели предусмотрены найденные данные и ссылка на страницу, где они обнаружены
Дадата используется для обогащения компании реквизитами. Менеджеру передаются результаты отбора вместе с полезными сведениями для дальнейшей работы
Как разделены таблица, база и СРМ
Гугл-таблица хранит настройки, которыми управляет заказчик. PostgreSQL хранит задания, найденные компании и состояние обработки. Vtiger остается рабочим местом менеджера
так изменение поискового запроса, проверка сайта и передача карточки становятся этапами одной задачи. Их можно сопоставить и выяснить, где остановилась обработка
добавил блокировку повторного запуска задания, проверку дублей по домену и повтор синхронизации с СРМ. Идентификатор обработки связывает результат в базе с ответом Vtiger. Журналы в Loki и Grafana помогают разбирать сбои
Что я разработал
Управление поиском
Ниши, инструкции модели, признаки и запросы в Гугл-таблице
Поиск и чтение
n8n, SearXNG и Jina AI для сбора выдачи и содержимого сайтов
Проверка компании
Модель через Google Vertex AI, обязательные признаки и обогащение через Дадату
Передача результата
PostgreSQL, Vtiger и журнал обработки для контроля сохранения и повторов
модуль объединяет поиск, проверку и передачу данных. Для нового направления заказчик меняет настройки ниши, а менеджер получает отобранные компании в своей СРМ
Владислав отлично справился с заказом, продолжаем работу
Сергей Акшенцев, Горная ПереЗагрузка
На чем собрано
n8n · PostgreSQL · SearXNG · Jina AI · Google Vertex AI · Dadata · Vtiger CRM · Google Sheets · Grafana · Loki