Боты Яндекса

Сегодня хочу немного написать про ботов яндекса. Все мы их любим-не любим, но ждем их с нетерпением у себя на сайте для поднятияколичества проиндексированных страниц. Возможно кто-то и не задумывается наж этим(что очень зря), по статистике посещения ботов или знания о том какие боты приходили и где они ходили можно судить, как обстоят дела с вашим сайтом(дором). Как я недавно писал после "Аддурила" в ПС своего блога, бот яндекса пришел ко мне быстро и в индекс попала первая страница. есть у меня конечно мысли что это было связано с Ап'ом выдачи Яндекса, но кто его знает. Увидить, каие быоты приходили к вам на сайт можно в логах доступа, которые хранятся на сервере(хосте вашего сайта). Если вы хоститесь на бесплатном хосте то возможно увидить эти логи вам нес уждено, а жаль. если на платном но вы не знаете где искать логи. спросите у саппорат вашего хоста. обычно логи лежат в одноименных папках типа "logs", "log", "access-logs" и так далее.

Перейдем к списку всевозможных ботов, а они могут быть следующие:

• Yandex/1.01.001 (compatible; Win16; I) — главнй индексирующий роботЯндекса
• Yandex/1.01.001 (compatible; Win16; P) — бот индексирующий картинки и изображения
• Yandex/1.01.001 (compatible; Win16; H) — бот определяющий зеркала сайтов
• Yandex/1.02.000 (compatible; Win16; F) — бот который индексирует "фавиконы"
• Yandex/1.03.003 (compatible; Win16; D) — вот тот самый заветный бот который обращается к вашему сайту при добавлении его через аддурилку «Добавить URL»
• Yandex/1.03.000 (compatible; Win16; M) — бот, обращающийся при открытии страницы по ссылке «Найденные слова»
• YaDirectBot/1.0 (compatible; Win16; I) —бот индексирующий страницы сайтов которые учавствуют в РСЯ
• YandexBlog/0.99.101 (compatible; DOS3.30,B) – бот который индексирует карты XML для поиска в блогах
• YandexSomething/1.0 – бот индексирующий новостные потоки яндекс новостей
• Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.

У ботов всегда меняющиеся IP адреса поэтому знать их невозможно. Помимо ботов у Яндекса есть еже этакие "пингеры" которые проверют разные там доступности сайта. Вот они:

• Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «пингер» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
• Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «пингера» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
• Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «пингер» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
• Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «пингер» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

Вот собственно ив се. Ведите статистику, анализируйте данные, это помогает во многом.