Как Googlebot распознаёт мобильные версии сайтов

Google продолжает раскрывать секреты своей работы для вебмастеров и оптимизаторов. Ведущий инженер компании Мэтт Каттс (Matt Cutts) поделился с аудиторией, как робот Googlebot определяет мобильные страницы сайтов.
Поводом к созданию обучающего видео для лучшего понимания алгоритмов Google стал закономерный вопрос: «Как указать роботу, что у данной страницы сайта есть мобильная версия и что в результатах мобильного поиска нужно отобразить именно ее? Как дать понять поисковику, что сайт имеет адаптивный дизайн, поэтому один и тот же адрес страницы можно показывать и в веб, и в мобильном поиске?»
Рекомендации, которые дал в своем видеообращении Мэтт Каттс, можно свести к следующему:
• Первый и самый простой способ: не стоит блокировать и запрещать индексацию ява-скриптов и CSS. Распознав их, Googlebot сам сможет понять, что ваш сайт имеет адаптивный дизайн.
• Второй способ заключается в создании двух страниц (для веб и мобильной версии соответственно), доступных по двум различным URL’ам. Однако, эту процедуру нужно провести грамотно: обязательно наличие специального атрибута rel=»alternate», который даст понять поисковику, что у страницы имеется версия для мобильных устройств, а эти две страницы связаны между собой. Естественно, мобильная версия страницы в таком случае должна содержать атрибут rel=»canonical», отсылающий Googlebot к исходной версии страницы.
• Есть еще один немаловажный момент. Изучая поведение пользователей на сайте, нужно убедиться, что все user-agent-ы были успешно перенаправлены с веб версии сайта на мобильную. Googlebot Mobile всегда впервые приходит на основную, веб-версию ресурса, и только потом он перенаправляется на мобильный вариант. При этом отсутствие блокировки javascript и CSS позволит роботу сделать правильный вывод о том, что он был перенаправлен не на посторонний URL, а на мобильную версию сайта.