Краулинговый бюджет — тема, которую относительно редко можно встретить в публикациях о SEO и маркетинге. Давайте разберемся подробнее, чем он является и как его рассчитать.
Краулинговый бюджет. Понятие и способы расчета
Чтобы разобраться с понятием «краулинговый бюджет» нужно для начала понять, что вообще означает термин «краулинг» в SEO.
Краулинг — это процесс сканирования страниц сайтов краулером (поисковым роботом), а также их индексация для формирования поисковой выдачи.
Понятие «краулинговый бюджет» ввела компания Google и оно вовсе не означает размер денежных средств, что Вы вкладываете в продвижение. Это лимит страниц, что сканирует поисковой бот за определенное время на Вашем сайте.
Краулинговый бюджет важный фактор для продвижения Вашего сайта. Чем больше страниц на сайте, тем больше внимания стоит ему уделять, т. к. поисковый робот может потратить его на копии страниц, ошибочные страницы, а на важные его попросту не хватит.
Причины нехватки краулингового бюджета
Мы выделяем 3 такие причины:
- Не обновленный и неактуальный контент.
Поисковые боты (как и в целом компания Google) при индексации обращают внимание на релевантность информации на сайте, чем реже обновления Вашего сайта, тем реже его посещают боты. Важным моментом является то, что от количества страниц сайта зависит и количество выделяемого краулингового бюджета, на больших сайтах его нехватка ощущается гораздо чаще.
- Ошибки технического характера.
Однозначно, если на сайте есть технические ошибки, это повлияет на все аспекты его продвижения.
- Краулер тратит краулинговый бюджет на неважные страницы.
Если слишком много бюджета уходит на такие страницы, основные из них вообще могут не попасть в выдачу.
Мы решили рассмотреть подробнее этапы определения краулингового бюджета, чтобы с их помощью Вы могли понять, если ли ошибки в этом направлении и исправить их.
Этапы определения краулингового бюджета
Этап 1. Количество страниц в индексе
Дайте ответ, сколько страниц должно быть в индексе. Для этого можно использовать популярные сервисы, такие как Screaming Frog или Netpeak Spider (рекомендуем Вам к прочтению нашу статью о бесплатных аналогах этих ресурсов).
Этап 2. Количество сканирований Вашего сайта роботом
На данном этапе необходимо узнать, сколько раз Ваш сайт сканировал поисковой робот.
Его можно произвести одним из двух способов, который больше подойдет для Вашего направления:
- Способ 1. Использовать сервис Google Console
Достаточно несложный метод сбора подобной информации, но сразу отметим, что он не имеет высокого уровня точности и в его использовании можно выделить некие недостатки.
Плюсы данного метода:
- Несложный в применении
- Хорошо подходит для сайтов с меньшим количеством страниц, чем 50 тыс. (чаще всего они имеют четкую структуру, вследствие чего боты индексируют все)
Минусы:
- Недостаточно точный для крупных сайтов (где количество страниц больше, чем 50 тыс.)
- Информация подается только за 90 дней
Как воспользоваться данным сервисом:
- Заходите в раздел «Настройки»
- Статистика сканирования
- Открыть отчет
Здесь нужным нам показателем является «всего запросов сканирования». Но, кроме этого, можно узнать информацию о конкретных страницах, что сканирует бот, процент ответов, количество корректных и ошибочных страниц.
-
Способ 2. Анализ логов сервера
Данный способ сложнее, но, в отличие от предыдущего, точный и более глубокий.
Логами называются файлы с информацией о работе ПК или того или иного сервера, что собирают данные про IP-адрес, GET-запрос и т.д. Для подобного анализа можно использовать LogViewer или Screaming Frog Log Analyzer
Плюсы метода:
- Подходит для крупных сайтов
- Является точным, в отличие от предыдущего и помогает четко выявить такие проблемы как ошибочная структура сайта, а также выдает ошибки с кодом 404, 300, 500
- Кроме рассчета краулингового бюджета, данный анализ показывает по одному или по разным путям "ходит" краулер, время захода на ту или иную страницу, а также количество посещений на одну и ту же и т.д.
Минусы:
- Сложнее в применении
- Требует специальных знаний.
Этап 3. Непосредственно расчет краулингового бюджета
Перед тем, как провести расчет краулингового бюджета, необходимо сначала выяснить среднее число обращений роботов в день. Для этого стоит воспользоваться следующей формулой:
- СО/день — среднее число обращений роботов в день
- количество обращений роботов — общее количество раз, когда робот обращался к Вашему сайту для сканирования
- период за который брался показатель обращений — анализируемый промежуток времени в днях.
К примеру, если Вы воспользовались ресурсом Google Console, то данные показаны за 90 дней. Допустим, краулеры обращались к Вашему сайту 5000 раз. Таким образом, по формуле рассчет будет выглядеть следующим образом:
5000 / 90 = 55,56
Теперь, на основе этих данных, можно рассчитать краулинговый бюджет:
Краулинговый бюджет = среднее количество страниц в индексе / среднее обращение роботов в день, где
КБ = количество обращений роботов / период, за который брался показатель обращений, где.
- КБ — краулинговый бюджет
- Количество страниц в индексе — число страниц на сайте, которое должен видео и сканировать робот
- Среднее число обращений роботов в день — сумма обращений роботов, на период сканирования
Допустим, с помощью краулингового сервиса мы выяснили, что таких страниц должно быть 150:
150 / 55,56 = 2,7
Оценка полученных данных:
Если полученная цифра меньше или равняется 3 — краулингового бюджета на Вашем сайте достаточно
4-10 — в этом случае стоит проанализировать сайт на наличие ошибок в распределении краулингового бюджета
больше 10 — краулингового бюджета на Вашем сайте недостаточно. Также подобный результат показывает, что высока вероятность наличия ошибок технического характера или же дело в самом контенте.
В случае, если Вы поняли, что краулингового бюджета недостаточно, рекомендуем обратиться к нам, чтобы мы провели комплексный аудит Вашего сайта и провели работу над устранением ошибок.