Обновлено: июнь 2026
Первый вопрос, который встает перед любым проектом с парсингом: пишу сам на Python или беру готовый API? На статических сайтах requests + BeautifulSoup — несколько строк кода и вы в деле. На Ozon или Avito та же связка вернет пустой HTML-каркас и ничего полезного.
В этой статье разберем оба пути — с реальными ценами, техническими ограничениями и конкретными сценариями, где что работает. Без воды, только то, что поможет принять решение сегодня.
В 2026 году для парсинга сайтов есть два пути: Python с requests, BeautifulSoup и Playwright — бесплатно, но требует разработки и поддержки — или готовые API-сервисы (ScraperAPI, Apify, ScrapingBee) — платно, но запускается за час. Статичные сайты — Python. JS-сайты с защитами на масштабе — API. Разбираемся по критериям: цена, скорость старта, обход блокировок.
Что вообще значит «написать парсер самому»?
Самостоятельный парсер — это Python-код, который отправляет HTTP-запросы и извлекает данные из HTML. Бесплатно по инструментам, но требует времени на написание, поддержку и обход блокировок.
Базовый стек, который покрывает большинство задач:
- requests — отправляет HTTP-запросы, получает HTML
- BeautifulSoup — парсит HTML, ищет нужные элементы
- Playwright — управляет браузером для JS-сайтов
Простейший пример работает за 5 минут. Вот как выглядит получение заголовка страницы:
import requests
from bs4 import BeautifulSoup
response = requests.get("https://example.com")
soup = BeautifulSoup(response.text, "html.parser")
print(soup.title.text)Этого хватает для статических сайтов, где данные уже в HTML при загрузке страницы. Новостные сайты, блоги, каталоги без защит — запускается сразу.
Но дальше начинаются нюансы.
Когда requests не работает
Динамические сайты — YouTube, ВКонтакте, Ozon, Avito — загружают контент через JavaScript после получения информации о пользователе. requests получает только HTML-каркас. Нужен инструмент, который реально запускает браузер и выполняет JS.
Это либо Selenium (старый стандарт, медленнее), либо Playwright. Playwright от Microsoft — быстрее, надежнее, поддерживает Chromium, Firefox и WebKit через единый API. Актуальная версия на июнь 2026 — 1.60.0.
Но даже Playwright не решает задачу обхода антибот-защит автоматически. Ozon, например, анализирует параметры браузера и блокирует подозрительных клиентов. Нужен playwright-stealth, подмена User-Agent, WebGL-отпечатков и других маркеров автоматизации.
Какие готовые API-сервисы есть в 2026 году?
Готовые API-сервисы берут на себя прокси-ротацию, обход Cloudflare и CAPTCHA, управление браузером. Вы отправляете URL — получаете HTML или структурированный JSON.
Три главных игрока по состоянию на июнь 2026:
| Сервис | Бесплатный старт | Минимальный тариф | За что |
|---|---|---|---|
| ScraperAPI | 1 000 запросов | $49/мес (100K кредитов) | Прокси + рендеринг, простая интеграция |
| Apify | $5 платформенных кредитов | $29/мес | 20 000+ готовых скраперов, хранилище данных |
| ScrapingBee | 1 000 запросов | $49/мес (250K кредитов) | Прокси + рендеринг, фокус на простоте API |
| Zyte | нет | pay-as-you-go от $0.13/1K | Промышленные объемы, экосистема Scrapy |
Важный момент по ScraperAPI: система кредитов ≠ количество запросов. Один запрос с JS-рендерингом стоит 5 кредитов, с премиум-прокси — 10, на защищенных доменах — до 25. Из 100K кредитов на Hobby-тарифе ($49) при парсинге Amazon с JS-рендерингом получится 6 667 реальных запросов, а не 100 000.
ScrapingBee работает по той же логике: 1 кредит за статический HTML, 5 кредитов за JS-рендеринг, 10–75 за защищенные домены.
Максим: «Когда мы парсили данные для VibeCoderz, первый тест сделали через ScraperAPI — за 15 минут получили рабочий пайплайн. Потом пересчитали кредиты и поняли, что масштаб требует либо оптимизации, либо другого инструмента. Кредитная математика там нетривиальная — смотрите реальную стоимость на вашем паттерне запросов, а не маркетинговую цифру.»
Что лучше справляется с антибот-защитами?
API-сервисы обходят Cloudflare, ротируют прокси и решают CAPTCHA из коробки. Python-парсер с Playwright требует настройки playwright-stealth и регулярного обновления при изменении защит.
По данным независимого бенчмарка Proxyway (первая половина 2026), топовые сервисы открывали защищенные цели с результатом выше 80%. ScraperAPI показал 92.7% успешных запросов в среднем по семи сложным доменам.
Для самостоятельного парсинга ситуация другая. Ozon регулярно меняет имена CSS-классов — причем неинтуитивно, как будто их генерирует случайный алгоритм. Привязываться к именам классов бессмысленно: нужно ориентироваться на структуру DOM, а не на атрибуты. Это добавляет сложности при написании и поддержке кода.
Плюс сама антибот-защита: Ozon анализирует fingerprint браузера (платформа, WebGL, язык) и блокирует подозрительных клиентов. playwright-stealth решает это на уровне параметров запроса — но при обновлении сайта нужно снова дорабатывать.
API-сервисы обновляют свои методы обхода со своей стороны. Вы получаете ответ или получаете ошибку — и не тратите время на отладку.
Сколько это стоит реально?
Самостоятельный парсер условно бесплатен по инфраструктуре, но стоит инженерного времени. API-сервисы стоят денег, но экономят разработку и поддержку. При масштабе от 50K страниц в месяц считайте TCO, а не тариф.
Самостоятельный парсер:
- Инструменты: $0 (requests, BeautifulSoup, Playwright — open source)
- Прокси для обхода блокировок: $10–50/мес (при необходимости)
- Разработка первоначальная: 4–20 часов в зависимости от сложности сайта
- Поддержка при смене верстки: 1–5 часов каждые 1–3 месяца
API-сервисы:
- ScraperAPI: $49/мес (100K кредитов) — $149/мес (1M кредитов)
- Apify: $29/мес Starter — $199/мес Scale — $999/мес Business
- ScrapingBee: $49/мес (250K кредитов) — $99/мес (1M кредитов)
- Zyte: от $0.13 за 1K простых HTTP-запросов (pay-as-you-go)
Apify — самый дешевый вход ($29/мес), но это платформа с другой моделью использования: 20 000+ готовых скраперов для конкретных сайтов (Amazon, Google Maps, LinkedIn и тд). Если нужен кастомный парсер, лучше сравнивать ScraperAPI vs ScrapingBee.
Для тех, кто хочет проверить задачу перед оплатой: ScraperAPI и ScrapingBee дают по 1 000 бесплатных запросов без кредитной карты. Apify — $5 платформенных кредитов.
Когда писать самому, а когда брать API
Простое правило: статичные сайты + небольшие объемы — Python сам. JS-сайты + защиты + регулярные задачи на масштабе — API-сервис быстрее и дешевле в совокупной стоимости.
Пишите парсер сами, если:
- Сайт статичный, данные в HTML без JS
- Задача разовая или очень редкая
- Объем небольшой: несколько тысяч страниц
- Нет серьезных антибот-защит
- У вас есть время на разработку
Берите API-сервис, если:
- Сайт на React/Vue, контент загружается динамически
- Нужно обходить Cloudflare, CAPTCHA, ротировать прокси
- Задача повторяется регулярно и требует надежности
- Команда небольшая и время разработки дорого
- Хотите запустить за час, а не за неделю
Гибридный вариант — часто оптимален: пишете логику парсинга сами, но подключаете API-сервис только как прокси-прослойку для обхода защит.
Инструменты для разных задач: карта выбора
| Задача | Рекомендация |
|---|---|
| Простой статичный сайт | requests + BeautifulSoup |
| JS-сайт без серьезной защиты | Playwright |
| Ozon, Avito, маркетплейсы | Playwright + playwright-stealth или API |
| Разовый парсинг любого сайта | ScraperAPI (1К бесплатных запросов) |
| Регулярный сбор данных, объем до 1M/мес | ScrapingBee или ScraperAPI |
| Нужны готовые скраперы под конкретные сайты | Apify |
| Промышленный объем, Scrapy-экосистема | Zyte |
| Нет кода — нужен CSV/Excel без API | Apify (есть no-code режим) |
Что нужно знать про парсинг в России
Российские маркетплейсы и сервисы — отдельная история. Ozon, Wildberries, Avito используют несколько слоев защиты одновременно: динамическая загрузка через JS, fingerprinting браузера, регулярная смена CSS-классов.
Для Авито: CSS-классы меняются каждые 1–2 недели, атрибуты data-marker стабильнее — раз в 1–3 месяца. С одним мобильным прокси и Playwright можно собрать 500–1500 объявлений в день при осторожных задержках. С пулом из 5–10 прокси — до 10 000.
Для Ozon: самостоятельный GET-запрос через requests сразу заблокируется. Нужен Playwright с подменой параметров браузера, или модуль на основе curl, или API-сервис. Детальная информация о товаре доступна через специфический GET-запрос к API Ozon — он возвращает JSON с ключом SEO, откуда извлекается название, описание, цена, изображение и артикул.
FAQ
Что лучше для новичка: писать парсер самому или взять API?
Для первого проекта — API-сервис. ScraperAPI или ScrapingBee дают по 1000 бесплатных запросов без кредитки, запускаются за 10 минут. Python-парсер имеет смысл, когда задача повторяется ежедневно и счет идет на сотни тысяч запросов в месяц.
Обойдет ли Python парсер Cloudflare и другие антибот-защиты?
Чистый requests — нет. Playwright с playwright-stealth справляется лучше, но требует настройки и регулярного обновления. Готовые API-сервисы (ScraperAPI, Apify, ScrapingBee) обходят Cloudflare и аналогичные защиты из коробки, обновляя методы со своей стороны.
Сколько стоит ScraperAPI по сравнению с самостоятельным парсером?
ScraperAPI Startup — $149/мес за 1M запросов. Самостоятельный парсер условно бесплатен по инфраструктуре, но стоит времени на разработку и поддержку. При задаче выше 50 000 страниц в месяц с JS-сайтами считайте совокупную стоимость, а не только тариф.
Когда requests+BeautifulSoup достаточно, а когда нужен Playwright?
Requests+BeautifulSoup работает на статических сайтах, где данные в HTML при загрузке. Playwright нужен для JS-сайтов (React/Vue, Ozon, Avito), где контент появляется после выполнения скриптов браузера.
Какой API-сервис для парсинга самый дешевый?
Apify Starter — от $29/мес. ScraperAPI Hobby — $49/мес за 100K кредитов. ScrapingBee Freelance — тоже $49/мес за 250K кредитов. Zyte дает $0.13 за 1K простых HTTP-запросов — самый дешевый pay-as-you-go при простых задачах.
Можно ли парсить Ozon и Avito через requests?
Нет. И Ozon, и Avito используют динамическую загрузку контента через JS и активную антибот-защиту. Нужен либо Playwright с playwright-stealth, либо API-сервис с прокси-ротацией.
Apify или ScrapingBee — что выбрать?
Apify — если нужны готовые скраперы для конкретных сайтов (Amazon, Google Maps и тд) и полноценная платформа с хранилищем данных. ScrapingBee — если у вас уже есть код парсера и нужен только прокси с рендерингом. ScrapingBee проще, Apify мощнее.
Глоссарий
requests — Python-библиотека для HTTP-запросов. Не запускает браузер, не выполняет JS.
BeautifulSoup — библиотека для парсинга HTML. Ищет элементы по тегам, классам, атрибутам. Используется вместе с requests.
Playwright — инструмент автоматизации браузера от Microsoft. Запускает настоящий Chromium/Firefox/WebKit, выполняет JS, умеет кликать и скроллить.
playwright-stealth — плагин для маскировки автоматизации в Playwright. Скрывает флаг navigator.webdriver, подменяет WebGL-отпечатки и другие маркеры бота.
Selenium — старый стандарт браузерной автоматизации. Медленнее Playwright, больше кода, но много туториалов и экосистема.
Scrapy — Python-фреймворк для масштабного краулинга. Управляет очередями запросов, пайплайнами данных, параллельными потоками.
ScraperAPI — API-сервис, который принимает URL и возвращает HTML с обходом защит. Кредитная система: разные типы запросов стоят разное количество кредитов.
Apify — платформа с 20 000+ готовых скраперов («Акторов»). Хранит данные, управляет расписанием, работает с хранилищем без дополнительного кода.
ScrapingBee — API-сервис для парсинга с акцентом на простоте. Обертка над Chromium с автоматической ротацией прокси и решением CAPTCHA.
Zyte — профессиональная платформа для промышленного парсинга. Три отдельных продукта с раздельным биллингом. Оригинальный дом Scrapy.
Fingerprinting — идентификация браузера по набору параметров (платформа, версия, WebGL, язык). Сайты используют для обнаружения ботов.
Кредиты — единица биллинга в API-сервисах. Один кредит ≠ один запрос. JS-рендеринг, премиум-прокси и защищенные домены умножают стоимость запроса.
Если разбираетесь с задачей парсинга под конкретный проект — посмотрите каталог AI-инструментов на VibeCoderz, там собраны инструменты автоматизации. Или запишитесь на консультацию к Максиму — разберем ваш кейс конкретно.
Обновлено: июнь 2026. Цены актуальны по состоянию на июнь 2026 и могут меняться — проверяйте на сайтах сервисов.