Блог пользователя Alek$

RoboMap Project: статистика за 3 дня.


С момента предыдущего отчета картина изменилась не слишком радикально.

Гугль ничем новым не порадовал, успокоившись на достигнутом еще в первые сутки так ни разу и не зашел с тех пор.
Yahoo! несколько раз проверял уже проиндексированные страницы, но ничего нового не нашел.

Покажи свою берлогу!


Дмитрий Ветров проводит акцию "Покажи свою берлогу"

После некоторых колебаний, я решил присоединиться. Тем более, что у меня в фотоархиве завалялась чудесная фотка на эту тему:

Конечно, обычно все не так запущено, но бардака всегда хватает Smile

RoboMap Project: первые результаты.


Не прошло и суток, а первые результаты уже появились.

Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам.
Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу <span>, обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.

Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.

RoboMap Project: детальное исследование индексации поисковиками.


На разных SEO форумах неоднократно возникали обсуждения, касающиеся того, какие ссылки поисковики индексируют, а какие - нет. Тем не менее, однозначных выводов нигде так и не было сделано. Чтобы в деталях разобраться, какие поисковики и как индексируют ссылки я запустил небольшой проект под названием RoboMap.
Ниже цитирую описание с его главной страницы:

Основная цель проекта RoboMap - это исследовать тонкости индексирования сайта поисковиками и влияние файла robots.txt на этот процесс.

В частности, будет выяснено, как поисковики обрабатывают инструкции Allow в robots.txt и разные типы ссылок. Для этого был создан набор страниц, на каждую из которых ссылается только один тип ссылок. Вот список разновидностей ссылок, которые будут исследоваться:

  • Текстовая ссылка
  • Простая JavaScript ссылка через window.open()
  • Простая JavaScript ссылка через document.location.href
  • JavaScript ссылка с url в контексте вызова: my_open_function('http://mysite.ru/page.html')
  • JavaScript ссылка с url вне контекста вызова: open_my_site()
  • JavaScript редирект, не ассоциированный с тегом <a>
  • HTTP Redirect.
  • Директива Allow в файле robots.txt

Анализироваться будут наиболее популярные в рунете поисковики:

  • Яндекс
  • Google
  • Рамблер
  • MSN/Live
  • Yahoo
  • Webalta

Как зарегать красивый домен *.co.cc


Сегодня вообще довольно остро стоит "проблема" с бесплатными доменами - после введения RIPN'ом капчи при регистрации доменов *.net.ru, *.org.ru и *.pp.ru вкупе с лимитом 4 домена в час простые смертные практически лишились возможности получить домен в этих зонах. Поэтому где-то вскоре после этого памятного события в моду стали входить домены на кокосовых островах - *.co.cc. Сами поселиться там не можем, так хоть доменов нарегаем.

Кросспостинг


Почитав разные блоги других авторов, в частности, Ctrl+C, проникся мыслью о пользе кросспостинга и решил настроить его и для своего блога. По ходу дела вылезла проблема - мало какие сервисы умели импортировать записи из RSS, хотя и дружили с ЖЖ. Казалось бы - в чем проблема: настроить ЖЖ как надо и все дела. Но Drupal не умеет корсспостить в ЖЖ (для вордпресса есть такой плагин, а для Друпала нету Sad ), а ЖЖ не умеет самостоятельно импортировать что бы то ни было откуда бы то ни было.

Палю тему: Google Cache Browser


Alek$ вт, 07/08/2008 - 13:13

Речь пойдет о проекте Google Cache Browser
Судя по всему, этот проект появился в сети совсем недавно, так как в поисковиках мне его обнаружить не удалось. Я сам узнал о нем совершенно случайно - друг за бутылочкой пива рассказал, что читал анонс этого сервиса на форуме какого-то хостинга, где девелопер обещал, что сайт вот-вот появится. Но это все лирика.

Что же на самом деле представляет собою этот сервис?
Вот что говорится на странице описания проекта:

Избранное с блогов вебмастеров рунета в одном месте!


Alek$ сб, 07/05/2008 - 15:54

Дмитрий Рогов в своем блоге запустил один интересный проект. Идея проста до гениальности - собрать в одном месте ссылки на наиболее полезные статьи в блогах вебмастеров рунета.

Вот несколько ссылок, которые мне показались наиболее интересными с программистской точки зрения:
Морфологический анализатор для PHP-скриптов

FF3: Марш!


Наконец у меня дошли руки поставить себе третий FireFox. Из новшеств наиболее заметно то, что при вводе в адресную строку поиск подходящих сайтов ведется еще и о заголовкам страниц и порою это пригождается. По скорости он, на мой взгляд, теперь не слишком уступает даже Опере, которая долгое время лидировала в этом направлении.

Firefox 3 и самоподписанные сертификаты.


Надо сказать, что разработчики FireFox при разработке третьей версии много внимания уделили безопасности. На мой вкус, местами они даже перестарались. Один из таких случаев - сайты, доступные только по HTTPS и с самоподписанными сертификатами. Например, многие хостеры в целях экономии денег для панели управления хостингом сами генерируют и подписывают SSL сертификат. Почему это плохо? Теоретически, любой человек может понаделать таких сертификатов сколько угодно и, соответственно, доверять как благонадежным им нельзя. В то же время это само по себе не представляет никакого вреда.

Так вот, разработчики FF3 почему-то решили, что это плохо и по умолчанию запретили доступ к подобным сайтам. но если нам необходимо туда попасть, то нужно проделать следующие действия:

1) Открыть страницу about:config и установить свойство browser.xul.error_pages.expert_bad_cert равным true.
2) Теперь при заходе на такой сайт на странице с сообщением об ошибке добавится кнопочка "Добавить исключение". Жмем на нее.
3) В появившемся диалоге жмем на "Получить сертификат" и "Подтвердить исключение безопасности"

Вуаля! Теперь сайт благополучно открывается!