RoboMap Project: первые результаты.

Не прошло и суток, а первые результаты уже появились.

Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам.
Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу <span>, обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.

Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.

Yahoo ограничился просмотром главной страницы и дальше не пошел.

Самым ленивым оказался Яндекс. Он посмотрел лишь содержимое robots.txt в момент отправки формы добавления и на этом успокоился.

Для большей наглядности я создал два скрипта, отображающих текущую статистику по поисковикам:
http://robomap.nevkontakte.org.ru/stat.php - список посещенных поисковиками страниц.
http://robomap.nevkontakte.org.ru/pages.php - подробный журнал посещений поисковиками.



Trackback URL for this post:

http://nevkontakte.org.ru/trackback/244
Арендатор вс, 22/02/2009 - 12:57

Ну обычно Yandex более шустрый. Не повезло просто



Отправить комментарий

  • Адреса страниц и электронной почты автоматически преобразуются в ссылки.
  • Доступны HTML теги: <a> <em> <strong> <cite> <code> <ul> <ol> <li> <dl> <dt> <dd> <img> <b> <s> <u> <p> <h3> <br> <strike> <sup> <pre> <h4> <hr>
  • Строки и параграфы переносятся автоматически.
  • You may use [inline:xx] tags to display uploaded files or images inline.
CAPTCHA
Вы точно не бот?
10 + 3 =
Without JavaScript you won't pass captcha test, sorry. Solve this simple math problem and enter the result. E.g. for 1+3, enter 4.