1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading ... Loading ...

Robots.txt не мешает Google «просматривать» страницы

Один из иностранных вебмастеров задал на форуме поисковика Google интересный вопрос – игнорирует ли кнопка Google +1 директивы файла robots.txt? Вебмастера заинтересовали те случаи, когда страница закрыта для индексирования, однако пользователь нажимал на кнопке +1 на этой странице : может ли такая страница тем не менее появиться в результатах выдачи?

Представители интернет-гиганта Google говорят, что данная кнопка взаимодействует с robots.txt (а так же другими директивами) таким образом : эта кнопка работает на всех (даже закрытых) страницах сайта. После того, как пользователь нажимает на кнопку – Google заходит на страницу и выясняет, является ли данная страница публичной. Хоть проверка и игнорирует директивы, но при этом она не влияет на то, как поисковые роботы себя ведут и на то, как эти роботы будут взаимодействовать с robots.txt.

Этот вопрос является довольно актуальным, учитывая то, что в России недавно были скандалы, которые связаны с тем, что произошла утечка данных пользователей. Яндекс.Метрика передавала адреса страниц, известных ей, поисковому роботу. Поскольку эти страницы не были запрещены для индексации, они оказались в выдаче Яндекса. А количество разнообразных кнопок, вроде «+1″ и счётчиков всё время растёт – потому вебмастерам стоит очень внимательно относиться к данному вопросу и не забывать про файл robots.txt.

Спасибо за ретвит этой записи, если вам понравился материал, подпишитесь на обновления блога по RSS или по почте:

Читать в Яндекс.Ленте Добавить в Google Reader
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading ... Loading ...

Рекомендую прочесть

Подпишись на RSS Следите за обновлениями в Twitter!
ВверхВверх

MAXCACHE: 0.85MB/0.00044 sec