Яндекс, Яндекс, Яндекс….. Как он уже «дорог», наш «дорогой», «любимый», русскоязычный и близкий нам по менталитету поисковик. Не то, что буржуйский Google.
Хоть большинство Яндексовских фич и нагло спиж**о у оного. К чему я тут ругаю всеми любимую ПС? Да к тому, что они снова придумали какой-то фильтр. Фильтр, направленный на отсеивание в выдаче и в отказе от индексации генерированного контента, предназначенного для роботов этой самой ПС.
До того как он был введен или скорее до того, как о нем было официально заявлено представителями Яндекса, у меня уже было предчувствие, что что-то тут не так и Яндекс что-то введет. Дорвеи стали выпадать, боты стали странно себя вести, в индекс не лезли даже проверенные способы. Уже два «полуапа», да именно так я бы их назвал, ибо толку от них нету никакого, ничего не «влазит», ничего не «выпадает», я слежу за своей новой пачкой. И наблюдаю странную картину поведения поисковых ботов Яндекса.
После аддурла приходит сразу же «бот дятел» (D). Кстати про ботов я писал давно вот тут . Стучит на морду и на robots.txt
Далее приходит Индексатор и стучит на тот же robot.txt и на opensearch.xml (OpenSearch — это коллекция технологий, которая позволяет получать поисковые данные, с сайтов и поисковых систем в удобном формате для публикации и агрегации.)
Затем боты затихают, после ломятся только на файл роботс и на опенсерч, через пару дней пришел индексатор картинок и начал жадно «жрать» все имеющиеся картинки. Но повторю что толку от этого – ноль, может быть пока.
Остается только ждать и придумывать новые уловки, уже есть пару в голове.
Выпал один дор из долгоживущих, выпал целиком и в индекс не вернулся, остальные живут. Похоже на «стук».