Прокси для парсинга нужны, как только объём запросов к сайту превышает лимит на один IP: источник начинает отдавать капчу, код 429 или пустые страницы. Распределение запросов по пулу адресов позволяет собирать открытые данные — цены, каталоги, выдачу, объявления — в десятки потоков без простоев.
ProxyFarm предлагает три варианта под эту задачу: прокси с ротацией от 1 490 ₽/мес, IPv6 от 12 ₽ за адрес и резидентские прокси 48 стран от 290 ₽/ГБ. Все типы работают по HTTP(S) и SOCKS5, доступ выдаётся автоматически через 2 минуты после оплаты.
Тарифы на прокси для парсинга
HTTPS и SOCKS5 на одном порту, безлимитный трафик на серверных и мобильных, замена адреса в первые 24 часа. Скидка 15 % за квартал и 25 % за год.
Как сайты ограничивают парсеры
Большинство сайтов считает запросы с одного IP за минуту или час. При превышении порога адрес получает капчу, задержку ответа или временный блок. Отдельно отслеживаются серверные подсети: если IP принадлежит дата-центру, лимит для него, как правило, ниже.
Отсюда два требования к прокси для сбора данных: достаточно большой пул адресов, чтобы на каждый IP приходилось мало запросов, и правильный тип адреса под конкретный источник. Для простых сайтов хватает серверных IPv4 и IPv6, для площадок с защитой нужны резидентские или мобильные IP.
Третье требование — скорость. Парсер в 50 потоков с таймаутом в 10 секунд будет простаивать на медленных адресах. При тестировании ориентируйтесь на время ответа до 400 мс: это нормальный показатель для серверных IPv4 и IPv6 в российских дата-центрах.
Ротационные прокси для парсинга: один порт, новый IP на запрос
Самый простой в интеграции вариант — прокси с ротацией. Парсер подключается к одному адресу и порту, а каждый новый запрос уходит с другого IP из пула. Не нужно вести список адресов, проверять их на доступность и исключать забаненные — это делает наша сторона.
Тариф от 1 490 ₽/мес. Подходит для Scrapy, A-Parser, собственных скриптов на Python и Node.js: в настройках указывается один прокси, и код не меняется при расширении пула.
Ограничение ротации — отсутствие постоянной сессии. Если источник требует авторизации или хранит состояние в cookie, лучше взять пул индивидуальных IPv4 или резидентские прокси в sticky-режиме с удержанием IP до 30 минут.
IPv6 и резидентские: когда брать
IPv6-прокси от 12 ₽ за адрес — самый дешёвый способ собрать большой пул. Тысяча адресов обойдётся в несколько раз дешевле сотни IPv4. Подходят для источников, которые поддерживают IPv6: Яндекс, Google, крупные зарубежные сервисы, многие маркетплейсы. Перед покупкой проверьте, открывается ли целевой сайт по IPv6.
Резидентские прокси нужны, когда сайт жёстко режет серверные подсети: авиабилеты, букинг, объявления, магазины с антибот-защитой. Трафик идёт через домашние адреса провайдеров в 48 странах с таргетингом до города, тариф от 290 ₽/ГБ. Платите за объём, поэтому для резидентских имеет смысл отключать загрузку картинок и скриптов.
Индивидуальные IPv4 от 79 ₽/шт берут под авторизованный парсинг, когда под каждую учётную запись нужен постоянный адрес.
Прокси для парсинга: что выбрать под источник
Подбирайте тип прокси под защиту конкретного сайта — так вы не переплатите за резидентский трафик там, где хватает IPv6.
| Источник данных | Тип прокси | Тариф от |
|---|---|---|
| Выдача Яндекса и Google, подсказки | IPv6 или прокси с ротацией | 12 ₽/шт, 1 490 ₽/мес |
| Маркетплейсы: цены, остатки, карточки | Резидентские или мобильные | 290 ₽/ГБ, 490 ₽/мес |
| Доски объявлений, агрегаторы | Прокси с ротацией + мобильные | 1 490 ₽/мес |
| Сайты с авторизацией, личные кабинеты | Индивидуальные IPv4 | 79 ₽/шт |
| Зарубежные сайты с гео-ограничением | Резидентские с таргетингом до города | 290 ₽/ГБ |
| Простые сайты без защиты, большой объём | Shared IPv4 | 35 ₽/шт |
Аренда доступна на 1, 7, 30 и 90 дней. Для разовых проектов удобен суточный тариф, для постоянного мониторинга — квартал со скидкой 15 %.
Настройка в A-Parser, Scrapy и Key Collector
В A-Parser список прокси загружается в разделе «Прокси чекеры»: указываете адреса в формате host:port:login:password, парсер сам проверяет их и исключает нерабочие. Для прокси с ротацией добавляется одна строка, число потоков задаётся в настройках задания.
В Scrapy прокси передаётся через meta-параметр proxy в запросе или через middleware вроде scrapy-rotating-proxies. Поставьте CONCURRENT_REQUESTS по числу адресов и DOWNLOAD_TIMEOUT около 10 секунд, чтобы медленный ответ не держал поток.
Key Collector принимает список прокси в настройках сети и распределяет запросы между ними автоматически. Разумный ориентир по нагрузке на Яндекс — один поток на 5–10 адресов с паузой между запросами. Список адресов удобно получать через API личного кабинета, а проверить его перед запуском — на странице проверки прокси.
IPv6 с ротацией для BAS и многопоточных парсеров
Если целевые сайты поддерживают IPv6 (Google, YouTube, Facebook, большинство зарубежных площадок), самый дешёвый вариант для многопоточного парсинга: шлюз к выделенному блоку /48 или /36. Один прокси в настройках проекта, логин user-rotate даёт новый адрес на каждое соединение, логин user-session-{{thread_id}} закрепляет адрес за потоком. Каждый поток работает из своей подсети /64, поэтому блокировка одного адреса не задевает остальные.
Общий пул IPv6 с ротацией стоит 1 490 ₽ в месяц, выделенный /48 с ротацией и закреплением 9 000 ₽, /36 за 20 000 ₽; трафик не лимитируется. Инструкция по настройке в BAS и ZennoPoster на странице IPv6 прокси.
Частые вопросы
Сколько прокси нужно для парсинга?
Зависит от лимита источника и объёма. Ориентир: если сайт разрешает около 60 запросов в час с одного IP, а вам нужно 6 000 страниц в час, потребуется порядка 100 адресов. Для IPv6 это недорого, а прокси с ротацией закрывают вопрос одним портом.
Что лучше для сбора данных — ротация или список IPv4?
Ротация проще в интеграции и не требует управления пулом: один адрес в настройках парсера. Список индивидуальных IPv4 нужен, когда важна постоянная сессия — авторизация, корзина, cookie. Многие совмещают оба варианта.
Работают ли прокси для парсинга с Яндексом без капчи?
Капча зависит от частоты запросов на один IP, а не только от типа адреса. При одном потоке на 5–10 адресов и паузах между запросами серверные IPv4 и IPv6 стабильно отдают выдачу. Если капча всё же появляется, увеличьте пул или снизьте частоту.
Можно ли получать список прокси автоматически?
Да, в личном кабинете есть API: парсер забирает актуальный список адресов перед запуском, а при замене IP список обновляется без ручной правки.
Что делать, если часть адресов не работает с нужным сайтом?
Напишите в поддержку в первые 24 часа — заменим адреса бесплатно. Каждый IP перед выдачей проверяется на спам-базы, но отдельные сайты могут блокировать подсети целиком, поэтому замена под конкретную площадку предусмотрена.