Основы поискового робота Google AdSense »WebNots
Сканер — это часть программного кода, используемого для сбора информации о веб-страницах, доступных в Интернете, и их индексации в базе данных. Сканер AdSense используется для сбора сведений о содержании веб-страницы, чтобы показывать на ней релевантные объявления.
Сканер AdSense
Google использует разные сканеры для разных целей. Сканер AdSense используется для индексации страниц для показа релевантной рекламы и отличается от веб-сканеров, используемых для отображения результатов поисковой системы. Ниже приведены некоторые из поисковых роботов, используемых Google:
Имя сканера (пользовательские агенты) | Цель |
| Googlebot | Используется для индексации контента для отображения в результатах веб-поиска Google. Это тот же сканер, который используется для смартфонов. |
| Googlebot-Image | Используется для индексации изображений для отображения в результатах поиска изображений Google. |
| Googlebot-News | Используется для сбора ленты новостей для отображения в результатах поиска новостей Google. |
| Googlebot-Video | Используется для сканирования видео в Интернете для отображения в результатах поиска видео. |
| Googlebot-Mobile | Используется для мобильного поиска Google на обычных телефонах. |
| Медиапартнеры-Google | Используется для индексации содержания веб-страницы для отображения релевантной рекламы Google AdSense. |
Основы сканера AdSense
Ниже приведены основные сведения о сканере Google AdSense:
- Сканеры AdSense будут пытаться сканировать только те страницы, на которых размещены рекламные коды.
- Вы можете отслеживать ошибки сканера AdSense из своей учетной записи AdSense в разделе «Доступ для сканера» и работать над ними. Помните, что исправление ошибок сканера для AdSense не повлияет на ошибки сканера, отображаемые в Google Search Console, поскольку это два разных бота.
- Google не позволяет контролировать частоту поисковых роботов AdSense. Периодичность устанавливается автоматически, и для проиндексирования любого измененного контента может потребоваться 1-2 недели.
- http://yoursite.com и http://www.yoursite.com считаются двумя разными сайтами, и URL-адреса с перенаправлением также сканируются.
- Сканер AdSense следует директивам robots.txt, как и все другие роботы Google.
- Вы также можете предоставить доступ к защищенным паролем страницам на вашем сайте для показа рекламы. Узнайте больше об этом здесь.
Управление сканером AdSense с помощью файла robots.txt
Используйте указанную ниже директиву в файле robots.txt, чтобы заблокировать сканер AdSense:
Запретить: /
Вы также можете заблокировать Googlebot, чтобы страницы не показывались в результатах поиска, в то время как поисковый робот AdSense может показывать рекламу на сайте.
