Цены конкурентов каждое утро в таблице: как устроен парсер с обновлением раз в 30 минут и где он ломается
Цены и лоты на площадках меняются в течение дня, и таблица, которую утром заполнили вручную, к обеду устаревает. Парсер решает это: он сам заходит на сайты, берёт нужные поля и кладёт их в таблицу, базу или уведомление в Telegram, например раз в 30 минут, как парсер ТехМаркета. Данные получают тремя путями (выгрузка или API площадки, готовый сервис, свой парсер), а из закона на старте важны два ограничения: нельзя переносить к себе всю базу площадки или её существенную часть (ст. 1334 ГК РФ) и нельзя без оснований копить персональные данные (152-ФЗ). Автоматизация такого процесса у нас от 80 000 ₽ за процесс, ниже что в неё входит и где парсер ломается.
Автоматизация одного процесса: 80 000 ₽, 1 неделя. Примеры и цены →
Что делает парсер и куда кладёт данные
Парсер работает по кругу из четырёх шагов. Заходит на страницы площадки или в её API, достаёт нужные поля (название, цена, регион, ссылка, дата), приводит их к единому виду и сравнивает с прошлым запуском, чтобы увидеть, что изменилось. Затем записывает результат.
Куда записывать, решает задача
Закупщику хватает таблицы, где видны цена, ссылка и время обновления. Для каталога нужна база данных. Если важна скорость реакции, добавляют уведомление в Telegram: когда цена изменилась или появился лот по вашему фильтру, сообщение приходит само.
Частоту подбирают по рынку
Если цены меняются раз в неделю, хватает запуска раз в сутки. Если лоты уходят в течение дня, нужны десятки минут. Чаще не значит лучше: чем больше запросов, тем выше риск ограничений со стороны площадки, поэтому частоту согласуют с её правилами.
Три способа получить данные и когда какой
Выгрузка или API площадки. У части площадок есть фид, API или партнёрская выгрузка. Это самый стабильный путь: поля приходят в готовом виде, вёрстка не мешает.
Готовый сервис мониторинга. Подходит, когда площадок немного, поля стандартные и результат нужен на этой неделе. Платите подпиской, формат и частоту задаёт сервис, а нестандартные правила (пересчёт цены, склейка дублей, свои фильтры) приходится делать руками.
Свой парсер. Оправдан, когда площадок много, данные нужно сводить по своим правилам и отправлять в свои системы: таблицу, CRM, бота. Вы платите за разработку и потом за поддержку, а код и ключи принадлежат вам.
Правило простое: сначала спросите у площадки выгрузку, потом сравните готовые сервисы со своими требованиями и только если они не закрывают задачу, заказывайте парсер.
Сделаем под ключ
Берём один процесс (заявки, отчёты, интеграцию CRM или 1С) и делаем под ключ: 80 000 ₽, 1 неделя. До старта замеряем, сколько времени процесс занимает сейчас.
Пакеты: LITE 80 000 ₽ · BASE 150 000 ₽ · FULL 300 000 ₽. Что входит
Пример ТехМаркета: лоты с нескольких площадок
ТехМаркет это маркетплейс спецтехники и грузовиков в лизинг. Рынок раздроблен по десяткам сайтов, и покупатель тратил часы на ручной мониторинг и пропускал выгодные лоты. Мы построили систему автоматического сбора данных с лизинговых площадок, среди них Европлан и ГПБ Аукцион.
Парсер собирает 8 300+ лотов и обновляет их каждые 30 минут. Просроченные лоты удаляются автоматически, в каталоге остаются только живые. Функция «Следить за ценой» отслеживает изменение стоимости конкретного лота. Пользователь настраивает фильтр, и Telegram-бот ТехМаркета мониторит рынок и присылает уведомление, когда появился подходящий лот. У бота 15 000+ пользователей.
Из этого видно, что парсер это первая половина работы. Вторая: очистка (убрать снятое), сравнение с прошлым запуском и доставка результата туда, где человек его увидит.
Как довести парсер до всего потока. 8 300+ лотов с обновлением каждые 30 минут дают 48 циклов в сутки и около 400 000 обновлений лотов за сутки. Такой объём держится на одном повторяемом цикле: получить, привести к единому виду, сравнить с прошлым запуском, записать. Новую площадку подключают как ещё один источник со своими полями, а проверка заполненности и журнал запусков работают на все площадки сразу, поэтому рост числа источников не добавляет ручной работы закупщику.
Что ломается и как это ловят
Площадка поменяла вёрстку. Парсер перестал находить цену, но не падает с ошибкой: в таблице появляются пустые или старые значения. Защита: проверка заполненности полей после каждого запуска и оповещение, когда пустых значений стало больше.
Площадка ограничила частоту запросов
Она отвечает ошибками или закрывает доступ. Парсер должен притормаживать и повторять запрос позже. Обход защиты от роботов нарушает правила площадки, поэтому в проект его не закладывают; если доступ закрыт, остаётся договориться о выгрузке.
Один товар на двух площадках
Без сверки по заводскому номеру, марке и году машина попадёт в таблицу дважды, и закупщик сравнит цену с самой собой.
Снятые предложения остались в таблице
Проданный лот должен исчезнуть, иначе по нему позвонят зря: парсер помечает всё, чего не нашёл в очередном запуске.
Нет журнала сбоев
Каждый запуск пишет, сколько записей получено и сколько ошибок. Без журнала о поломке узнают от закупщика, который заметил странную цену.
Граница закона: что собирать можно, а что нет
Закон здесь работает в трёх местах. Сверьте их с юристом до запуска: я пересказываю нормы, заключением это не является.
База данных. Статья 1334 ГК РФ запрещает без разрешения изготовителя базы данных извлекать её материалы и использовать их: речь о переносе всего содержания или существенной части. База из 10 000 и более самостоятельных элементов считается созданной с существенными затратами, пока не доказано иное. Охрана длится 15 лет и возобновляется при каждом обновлении базы (ст. 1335). Проектируйте парсер на нужные позиции и поля, весь каталог площадки к себе не копируйте.
Правила площадки
В пользовательском соглашении многих площадок есть раздел об автоматическом сборе данных. Прочтите его на дату запуска и сохраните копию условий.
Персональные данные
ФИО и телефоны продавцов-физлиц из объявлений это персональные данные, а их сбор и хранение обработка (ст. 3 152-ФЗ). Даже если человек сам выложил контакты в открытый доступ, доказывать законность их дальнейшей обработки придётся вам (ч. 2 ст. 10.1). Для мониторинга цен эти поля не нужны, их не собирают.
Практика по парсингу складывается по отдельным спорам, поэтому перед запуском попросите юриста проверить свежие решения в картотеке арбитражных дел (kad.arbitr.ru).
Сколько стоит и когда хватит готового сервиса
Готового сервиса хватает, когда площадок одна-две, поля стандартные и свои правила не нужны. Самостоятельный путь заканчивается там, где нужно свести данные с нескольких площадок, убрать дубли, отправлять уведомления и чинить сбор после каждой смены вёрстки.
Такую задачу берём как автоматизацию процесса: от 80 000 ₽ за процесс, срок от одной недели. Типовой состав: сбор данных с площадок по согласованным правилам, таблица или база, уведомление в Telegram и инструкция. Точную цену и состав фиксируем в договоре после того, как посмотрим площадки и поля.
Агрегатор уровня ТехМаркета (каталог на тысячи лотов, личный кабинет, фильтры с подписками, приложение) в этот пакет не входит. Это большой проект от 600 000 ₽ с исследованием, где мы сами делаем продукт целиком, от сбора данных до интерфейса.
Вопросы подрядчику до договора
Задайте их письменно и сохраните ответы: по ним видно, кто перед вами.
Кто хозяин кода и ключей
Репозиторий, сервер и ключи сервисов оформляют на вас, на приёмке передают доступы и инструкцию.
Как чинится после смены вёрстки
Срок реакции, кто узнаёт о сбое и сколько стоит правка после гарантийных 14 дней.
Где журнал сбоев
Покажите страницу или файл, где видно число записей и ошибки за каждый запуск.
С каких площадок и по каким правилам собираем: список площадок, поля, частота и ссылки на условия, всё в письменном виде.
Какие данные не собираются: персональные данные и содержимое базы целиком исключают прямо в договоре.
Что будет, если площадка закроет доступ: запасной путь, то есть выгрузка, API или замена источника.
Частые вопросы
Что спрашивают до заказа и что мы на это отвечаем.
Сколько стоит разработка парсера?
Цена зависит от числа площадок, полей и частоты обновления. Задача сбора данных в таблицу с уведомлением в Telegram входит у нас в автоматизацию от 80 000 ₽ за процесс, точную цену и состав фиксируем в договоре. Агрегатор с каталогом и личным кабинетом это проект от 600 000 ₽.
Парсинг сайтов законен?
Закон ограничивает перенос всей базы площадки или её существенной части (ст. 1334 ГК РФ) и сбор персональных данных без оснований (152-ФЗ). Отдельно действуют правила самой площадки. Проверку проводит юрист до запуска.
Как часто парсер может обновлять данные?
Частоту выбирают по рынку и правилам площадки. У ТехМаркета лоты обновляются каждые 30 минут. Если цены меняются раз в неделю, хватит запуска раз в сутки, и риск ограничений со стороны площадки ниже.
Что делать, если сайт поменял вёрстку?
Парсер нужно донастроить под новую структуру страницы. Хороший парсер замечает поломку сам: журнал показывает рост пустых полей, и подрядчик получает сигнал раньше, чем вы.
Как это выглядит на практике
Все кейсы
Не хотите разбираться сами?
Берём один процесс (заявки, отчёты, интеграцию CRM или 1С) и делаем под ключ: 80 000 ₽, 1 неделя. До старта замеряем, сколько времени процесс занимает сейчас.