Краулінговий бюджет — тема, яку відносно рідко можна зустріти у публікаціях про SEO та маркетинг. Давайте розберемося докладніше, що він і як його розрахувати.
Краулінговий бюджет. Поняття та способи розрахунку
Щоб розібратися з поняттям «краулінговий бюджет», потрібно для початку зрозуміти, що взагалі означає термін «краулінг» у SEO.
Краулінг - це процес сканування сторінок сайтів краулером (пошуковим роботом), а також їх індексація для формування пошукової видачі.
Поняття «краулінговий бюджет» запровадила компанія Google і воно зовсім не означає розмір коштів, що ви вкладаєте у просування. Це ліміт сторінок, що сканує пошуковий бот за певний час на вашому сайті.
Краулінговий бюджет є важливим фактором для просування Вашого сайту. Чим більше сторінок на сайті, тим більше уваги варто йому приділяти, оскільки пошуковий робот може витратити його на копії сторінок, помилкові сторінки, а на важливі його просто не вистачить.
Причини нестачі краулінгового бюджету
Ми виділяємо 3 такі причини:
- Не оновлений і неактуальний контент.
Пошукові боти (як і в цілому компанія Google) при індексації звертають увагу на релевантність інформації на сайті, чим рідше оновлення Вашого сайту, тим рідше відвідують його боти. Важливим моментом є те, що від кількості сторінок сайту залежить і кількість краулінгового бюджету, що виділяється, на великих сайтах його брак відчувається набагато частіше.
- Помилки технічного характеру.
Однозначно якщо на сайті є технічні помилки, це вплине на всі аспекти його просування.
- Краулер витрачає краулінговий бюджет на погані сторінки.
Якщо надто багато бюджету йде на такі сторінки, основні з них взагалі можуть не потрапити до видачі.
Ми вирішили докладніше розглянути етапи визначення краулінгового бюджету, щоб за їх допомогою Ви могли зрозуміти, чи помилки в цьому напрямку і виправити їх.
Етапи визначення краулінгового бюджету
Етап 1. Кількість сторінок в індексі
Дайте відповідь, скільки сторінок має бути в індексі. Для цього можна використовувати популярні сервіси, такі як Screaming Frog або Netpeak Spider (рекомендуємо Вам прочитати нашу статтю про безкоштовні аналоги цих ресурсів).
Етап 2. Кількість сканувань Вашого сайту роботом
На даному етапі необхідно дізнатися скільки разів Ваш сайт сканував пошуковий робот.
Його можна зробити одним із двох способів, який більше підійде для Вашого напрямку:
- Спосіб 1. Використовувати Google Console
Досить нескладний спосіб збору подібної інформації, але водночас відзначимо, що він немає високого рівня точності й у використанні можна виділити деякі недоліки.
Як скористатися цим сервісом:
- Несложный в применении
- Хорошо подходит для сайтов с меньшим количеством страниц, чем 50 тыс. (чаще всего они имеют четкую структуру, вследствие чего боты индексируют все)
Минусы:
- Недостаточно точный для крупных сайтов (где количество страниц больше, чем 50 тыс.)
- Информация подается только за 90 дней
Как воспользоваться данным сервисом:
- Заходите в раздел «Настройки»
- Статистика сканирования
- Открыть отчет
Здесь нужным нам показателем является «всего запросов сканирования». Но, кроме этого, можно узнать информацию о конкретных страницах, что сканирует бот, процент ответов, количество корректных и ошибочных страниц.
-
Способ 2. Анализ логов сервера
Данный способ сложнее, но, в отличие от предыдущего, точный и более глубокий.
Логами называются файлы с информацией о работе ПК или того или иного сервера, что собирают данные про IP-адрес, GET-запрос и т.д. Для подобного анализа можно использовать LogViewer или Screaming Frog Log Analyzer
Плюсы метода:
- Подходит для крупных сайтов
- Является точным, в отличие от предыдущего и помогает четко выявить такие проблемы как ошибочная структура сайта, а также выдает ошибки с кодом 404, 300, 500
- Кроме рассчета краулингового бюджета, данный анализ показывает по одному или по разным путям "ходит" краулер, время захода на ту или иную страницу, а также количество посещений на одну и ту же и т.д.
Минусы:
- Сложнее в применении
- Требует специальных знаний.
Этап 3. Непосредственно расчет краулингового бюджета
Перед тем, как провести расчет краулингового бюджета, необходимо сначала выяснить среднее число обращений роботов в день. Для этого стоит воспользоваться следующей формулой:
- СО/день — среднее число обращений роботов в день
- количество обращений роботов — общее количество раз, когда робот обращался к Вашему сайту для сканирования
- период за который брался показатель обращений — анализируемый промежуток времени в днях.
К примеру, если Вы воспользовались ресурсом Google Console, то данные показаны за 90 дней. Допустим, краулеры обращались к Вашему сайту 5000 раз. Таким образом, по формуле рассчет будет выглядеть следующим образом:
5000 / 90 = 55,56
Теперь, на основе этих данных, можно рассчитать краулинговый бюджет:
Краулинговый бюджет = среднее количество страниц в индексе / среднее обращение роботов в день, где
КБ = количество обращений роботов / период, за который брался показатель обращений, где.
- КБ — краулинговый бюджет
- Количество страниц в индексе — число страниц на сайте, которое должен видео и сканировать робот
- Среднее число обращений роботов в день — сумма обращений роботов, на период сканирования
Допустим, с помощью краулингового сервиса мы выяснили, что таких страниц должно быть 150:
150 / 55,56 = 2,7
Оценка полученных данных:
Если полученная цифра меньше или равняется 3 — краулингового бюджета на Вашем сайте достаточно
4-10 — в этом случае стоит проанализировать сайт на наличие ошибок в распределении краулингового бюджета
больше 10 — краулингового бюджета на Вашем сайте недостаточно. Также подобный результат показывает, что высока вероятность наличия ошибок технического характера или же дело в самом контенте.
В случае, если Вы поняли, что краулингового бюджета недостаточно, рекомендуем обратиться к нам, чтобы мы провели комплексный аудит Вашего сайта и провели работу над устранением ошибок.