Robots.txt не мешает Google «просматривать» страницы
Один из иностранных вебмастеров задал на форуме поисковика Google интересный вопрос — игнорирует ли кнопка Google +1 директивы файла robots.txt? Вебмастера заинтересовали те случаи, когда страница закрыта для индексирования, однако пользователь нажимал на кнопке +1 на этой странице : может ли такая страница тем не менее появиться в результатах выдачи? (далее…)