5 способов, как посмотреть сайт «глазами» Googlebot

Возможности Google в области искусственного интеллекта стремительно развиваются: обзоры с использованием ИИ стали появляться по все большему числу поисковых запросов. Несмотря на постоянные изменения формата органической выдачи, основы SEO остаются актуальными.

Зачем смотреть на сайт «глазами» робота Google?

Если вы хотите, чтобы ваш сайт индексировался, высоко ранжировался в результатах поиска, а также фигурировал в сгенерированных ответах искусственного интеллекта, важно убедиться, что Googlebot (как и другие поисковые системы) имеют доступ не только к страницам сайта, но и к их контенту.

Если робот Googlebot не может получить доступ к контенту страницы, он не может быть процитирован, а значит страница не займет ожидаемые позиции и не попадет в поле зрения ИИ.

Такая проблема достаточно распространенная и может встречаться практически на любом типе сайтов. Например, у интернет-магазина могут быть скрыты превью карточек товаров.

В таких случаях поисковым роботам сложнее обнаружить ссылки на детальные страницы карточек товаров, чтобы просканировать их, проиндексировать или цитировать, особенно если на них нет ссылок с других страниц сайта или они не включены в файл sitemap.xml (а должны быть!).

Если вы подозреваете, что поисковик не может получить доступ к какой-либо части контента вашего документа, предлагаем пять способов, которые помогут вам увидеть ваш сайт так, как его видит Googlebot. При необходимости можете использовать несколько из этих методов одновременно, чтобы убедиться, что получаются идентичные результаты везде.

Канал про развитие бизнеса

от Дмитрия Севальнева

Перейти

Канал про SEO‑продвижение

от Сергея Просветова

Перейти

Давайте приступим!

1. Google Search Console

Google Search Console — это бесплатный инструмент, в котором должны быть добавлены все сайты у SEO-специалиста. Помимо просмотра данных об эффективности органического поиска, вы также можете проверять отдельные URL-адреса на наличие проблем с индексацией, запросив информацию из индекса Google или запустив тестирование в реальном времени.

Запрос информации из индекса Google позволит вам узнать, был ли URL-адрес проиндексирован или нет во время сканирования. Это полезно для определения, не индексируется ли URL-адрес из-за тега noindex, канонического адреса или документ не может быть просканирован из-за блокировки в файле robots.txt. Вы также можете узнать, откуда робот Googlebot обнаружил ваш URL-адрес (из карты сайта, с внешнего сайта и т. д.).

Но если вы хотите увидеть, как Google видит вашу страницу сейчас, вам необходимо запустить тестирование в реальном времени. Для этого:

1. Проверьте нужный URL-адрес, используя строку поиска в верхней части платформы или отчёт «Эффективность» или «Индексирование».



2. После проверки URL-адреса выберите «Проверить страницу на сайте» в правом верхнем углу:



3. После завершения теста нажмите «Просмотреть проверенную страницу», чтобы открыть окно с HTML-кодом страницы, скриншотом и дополнительной информацией о странице, например, типом контента и HTTP-ответом.



Если на скриншоте отсутствуют элементы вашей страницы, это может быть связано с блокировкой ресурсов для Googlebot. Вы можете узнать, какие ресурсы были заблокированы, нажав на вкладку «ПОДРОБНЕЕ» рядом с пунктом «СКРИНШОТ».



Преимущества:

• Данные о странице представлены из первоисточника, а не от сторонних сервисов. Поэтому, если вы хотите узнать, что видит Googlebot, лучше начните с этого метода.
• Использование панели Google Search Console — бесплатно.

Недостатки:

• Одновременно можно тестировать только один URL-адрес.
• Google Search Console ограничивает количество живых тестов, которые вы можете запустить за день.

2. Screaming Frog SEO Spider

Программа Screaming Frog решает множество различных задач, и она является неотъемлемым инструментов любого SEO-специалиста.

Если вы не пользовались программой, то, по сути, от вас требуется просто ввести URL-адрес сайта и он просканирует ссылки по этому URL-адресу, чтобы найти связанные страницы и внешние ресурсы.

Screaming Frog позволяет обнаружить проблемы SEO, которые могут влиять на индексацию и ранжирование сайта, экспортировать URL-адреса, найти неработающие ссылки, дубли тегов и т. д.

По умолчанию инструмент использует User-agent: Screaming Frog SEO Spider, но его можно изменить на агенты Googlebot, Bingbot, Yahoo-Slurp, DuckDuckBot и других.

Если вы хотите проверить, есть ли у вас проблемы с доступом Googlebot к контенту страниц, вы можете изменить User-agent, перейдя в раздел «Configuration» > «User-Agent» > и выбрать нужный в раскрывающемся списке.

Поскольку Google использует индексацию, ориентированную на мобильные устройства, рекомендуем начать с Googlebot Smartphone.



Далее вам просто нужно ввести URL-адрес или домен сайта, с которого вы хотите начать, и позволить Screaming Frog просканировать его до 100%.

Если, например, вы считаете, что робот Googlebot не может получить доступ к ссылкам на отдельные URL раздела, сначала найдите основную страницу в результатах сканирования Screaming Frog и выберите ее.

Затем откройте вкладку «Outlinks» в нижней части инструмента, чтобы увидеть, какие ссылки Screaming Frog нашёл на этой странице. Если он не получает URL-адреса отдельных записей, это может быть признаком того, что робот Googlebot не может получить доступ к ссылкам на документы с основной страницы.



Вы также можете немного изменить процесс, выбрав URL-адрес отдельной страницы, а затем открыть вкладку «Inlinks», чтобы увидеть страницы, на которых программа нашла ссылку на эту запись. Если Screaming Frog не нашел публикацию как входящую ссылку из блога, это может быть признаком того, что Googlebot не может получить доступ к ссылкам на отдельные записи в вашем блоге.



Преимущества:

• Программа позволяет просматривать страницы в масштабе, поэтому вы можете анализировать несколько URL-адресов одновременно.
• Можно изменить User-Agent для любого поискового робота.
• Вкладка «Rendered Page» позволит увидеть, как страница отображается роботом Googlebot (или другим поисковым роботом), если в настройках включена функция рендеринга JavaScript и выбран нужный вам User-Agent.



Недостатки:

• Бесплатная версия программы позволяет просканировать не более 500 URL, чтобы сканировать больше — необходима покупка лицензии.

3. Googlebot Crawler Simulator на сайте To The Web

Инструмент Google Website Crawler прост в использовании — просто введите нужный URL-адрес в строку поиска, и инструмент выдаст все ссылки, доступные Googlebot.



Преимущества:

• Этот инструмент показывает как текст, так и ссылки, доступные Googlebot.
• Инструмент To The Web Google Website Crawler очень нагляден, поэтому, если вы объясняете кому-то проблему, этот инструмент позволяет легко увидеть, что доступно для Googlebot, а что нет.
• Этот инструмент выходит за рамки доступности для Googlebot и показывает частоту ключевых слов, заголовки, теги title, метаописания.



Недостатки:

• Инструмент не позволяет проверять URL-адреса в большом масштабе — за раз можно вводить только один URL-адрес.
• Инструмент показывает только то, как видит вашу страницу робот Googlebot, а не какой-либо другой поисковый робот.
• Отсутствует визуализация страницы в формате скриншота.

4. SEO-инструмент Dentsu Fetch & Render

Как и Googlebot Crawler Simulator, инструмент Fetch & Render такой же простой в использовании — необходимо ввести URL-адрес, выбрать User-Agent, настроить параметры, а затем запустить тест.



Преимущества:

• Вы можете выбирать нужный User-Agent.
• Инструмент покажет вам, к каким URL-адресам не удалось получить доступ и какие заблокированы для сканирования:
• Показан снимок экрана обработанной страницы, аналогичный Screaming Frog и Google Search Console.



Недостатки:

• URL-адреса необходимо тестировать индивидуально.

5. Проверка расширенных результатов Google

Сервис проверки расширенных результатов идентичен пункту №1 и его также можно использовать для постраничного анализа сайта. Для этого достаточно ввести необходимый URL-адрес страницы.



В результате проверки вы получите информацию о микроразметке страницы, а также сможете увидеть скриншот:



Преимущества:

• Данные о странице представлены из первоисточника, а не от сторонних сервисов.
• Инструмент бесплатный

Недостатки:

• Одновременно можно тестировать только один URL-адрес.

Как исправить проблемы доступности Googlebot на вашем сайте

Если вы попробовали все методы и выяснили, что контент страницы недоступен для поисковых роботов, самое время разобраться, в чём дело.

Выделим две наиболее распространенные проблемы:

1. Заблокирован доступ в robots.txt

Это может показаться очевидным, но стоит перепроверить. Если вы создали файл robots.txt, проверьте его, чтобы убедиться, что вы случайно не блокируете сканирование страниц.

Кроме того, отдельные страницы потенциально могут быть закрыты от индексации — либо с помощью вручную добавленного мета-тега <meta name="robots">, либо за счет настроек в CMS (плагин Yoast в WordPress, настройки индексации в Tilda и т.д.).

Наконец, если ваш сайт защищен брандмауэром или системой безопасности, например Cloudflare, убедитесь, что роботам поисковиков разрешен доступ на ваш сайт для сканирования и индексации страниц.

2. Рендеринг на стороне клиента

В связи с популярностью систем управления контентом и платформ электронной коммерции, клиентская обработка стала серьезной проблемой для SEO. Это, в основном, проблема разработки программного обеспечения, когда программисты используют ту или иную технологию, не понимая, как она влияет на работу поисковых роботов и индексацию сайта.

Когда посетитель или поисковый робот заходит на ваш сайт, его браузер отправляет запрос на ваш сервер. Затем сервер визуализирует полный HTML-код вашей страницы, включая динамический контент, и возвращает его посетителю в виде отображения в его браузере. Это называется рендерингом на стороне сервера (SSR: Server Side Rendering).

При клиентском рендеринге (CSR: Client Side Rendering) когда посетитель или поисковый робот отправляет запрос к вашему серверу, сервер отвечает практически пустым HTML-файлом, содержащим ссылки на файлы JavaScript с данными и инструкциями о том, как браузер посетителя должен отображать страницу. Это часто включает загрузку и отображение частей страницы, с которыми пользователь уже взаимодействовал, а не при первоначальной загрузке.

Проблема CSR заключается в том, что, хотя большинство из поисковиков могут выполнять JavaScript, они спроектированы для очень быстрого перехода между страницами. Когда робот получает от сервера практически пустой ответ, он практически не находит контента для индексации и может продолжить работу до того, как связанные данные JavaScript будут загружены.

Кроме того, если некоторые элементы страницы, например, главное навигационное меню, заполняются только по клику или наведению курсора, содержимое внутри меню не будет индексироваться или сканироваться, поскольку оно будет невидимо для робота.

Несмотря на то, что существуют решения для разработки клиентских сайтов, корректно отображаемых с точки зрения SEO, разработчики зачастую не учитывают это и не всегда понимают критичность влияния своих решений на сканирование страниц сайта.

Некоторые современные фреймворки, такие как Next.js или Nuxt, предлагают различные режимы рендеринга, и их необходимо тщательно продумать. Разработчики также должны быть более внимательны к SEO-требованиям при работе с сайтом.

Если вы подозреваете, что на вашем сайте есть проблемы с полнотой индексации контента, но не знаете, как их выявить или устранить, можете обратиться к нашим специалистам по SEO и разработке. Мы поможем вам разобраться!


Канал про развитие бизнеса
от Дмитрия Севальнева
Перейти

Канал про SEO‑продвижение
от Сергея Просветова
Перейти
Кейсы, инсайты и внутрянка ПИКСЕЛЬ ПЛЮС
Перейти

Автор
Сергей Просветов