Словарь терминов

Индексация сайтов в интернет

Индексация или Индексирование сайта

Индексирование - это процесс обхода страниц сайта роботом поисковой системы и добавление сведений о сайте в базу данных, в последствии использующуюся для полнотекстового поиска информации на проиндексированных сайтах. В сведения о сайте могут входить ключевые слова, алгоритм определения которых зависит от поисковой машины, также могут индексироваться изображения и т.д.

Например, занести веб-страницу в базу Яндекса можно по адресу:

http://webmaster.yandex.ru

Это может привести к более быстрой индексации Вашего сайта. Правда, разработчики поисковых систем, как правило, указывают, что такой сервис является лишь «приглашением» поисковому роботу посетить данную веб-страницу, без каких бы то ни было гарантий.

Если веб-страница проиндексирована той или иной поисковой системой – это значит, что она появится в результатах поиска и станет доступна пользователям этой поисковой системы. И, наоборот, отсутствие веб-страницы в индексе означает невозможность попасть на нее из данной поисковой системы.

Индексация сайта - не однократный, а периодический процесс. Поскольку Internet – динамично изменяющаяся среда, поисковые системы регулярно обновляют информацию в своих базах данных. Поэтому поисковый робот, проиндексировав веб-страницу, через некоторое время вернется снова. Частота посещения поисковым роботом веб-сайта зависит как от особенностей поисковой системы, так и от характеристик сайта. В частности, считается, что чем чаще обновляется информация на сайте, изменяется его контент – тем чаще поисковые роботы будут посещать его соответственно тем быстрее свежая информация, размещенная на страницах сайта, станет доступной Пользователям.


Выделяют следующие виды индексации:

Коммулятивная индексация (присвоение одному адресу нескольких индексов).

Однорядная индексация (использование так называемых однорядовых знаков: буквы одного алфавита, цифры одной системы счисления и т.д.).

Одноуровневая индексация (использование одноуровневых индексов).

Многоуровневая индексация (использование многоуровневых индексов).

Страница может быть показана в результатах поиска поисковой машины только после индексации.


Существуют и сервисы, позволяющие проверить, какие из страниц Вашего веб-сайта проиндексированы той или иной поисковой системой.
Например,
проверить индексацию сайта Яндексом можно здесь:

http://webmaster.yandex.ru/check.xml

Иногда проверка дает печальные результаты – может выясниться, что в базу поисковой системы попала только небольшая часть страниц сайта, либо сайт вообще отсутствует в индексе…

Отсутствие индексации веб-страницы может быть вызвано различными причинами:

  • веб-страница появилась недавно, и поисковые роботы просто еще не добрались до нее;

  • на данную веб-страницу нет ссылок с других страниц сайта;

  • данный веб-сайт наказан поисковой системой за нарушение правил (так называемый «бан» - удаление сайта из индекса);

  • сам владелец сайта запретил поисковым роботам индексировать данную веб-страницу и т.п.

Пояснение: существуют технические средства, позволяющие управлять поведением поисковых роботов на сайте, в частности указывать страницы и разделы, посещение которых роботами запрещено. В частности, этой цели служит специальный файл robots.txt, создаваемый в корневом каталоге веб-сайта. С помощью специальных команд, находящихся в этом файле, владелец сайта может запрещать роботам посещение служебных разделов сайта или малоинформативных вспомогательных страниц.

Существуют ошибки, ухудшающие индексацию веб-сайта поисковыми системами. Такие ошибки могут как препятствовать индексации, так и наоборот, приводить к засорению базы поисковой системы многочисленными дублями одной и той же веб-страницы.

В частности, если у страниц веб-сайта есть «Версии для печати», то их рекомендуется запрещать для индексации – иначе у каждой страницы сайта в базе поисковой системы появится, по крайней мере, один дубль.