Индексация сайта поисковыми машинами

Каждую минуту, каждое мгновение в Интернете появляется огромное количество новой информации. И такое же огромное количество старой информации исчезает. Вносятся изменения в уже имеющиеся страницы. Всю эту информацию постоянно обрабатывают поисковые системы. Следовательно, должна совершенствоваться технология поиска, повышаться эффективность и качество поисковых машин.

Раньше такой поиск осуществляли специальные веб-каталоги, которые представляли собой списки ссылок. Данные списки сортировались по темам.
Составление таких списков делалось вручную. Модераторы занимались этой работой добровольно. Чем большее количество ссылок было помещено в список, чем большее количество ссылок реально работало, тем более востребованным у пользователей был такой каталог. Когда появилась надобность в более быстрых, более действенных, более интенсивных поисковых инструментах, родились поисковые системы.

Каждая страничка, каждый документ в сети связаны между собой системой ссылок. Хоть одна ссылка на сайт в Интернете, но существует. Поэтому при движении по разным сайтам сохраняется вся информация этих сайтов. И, следовательно, есть возможность всю изученную, полученную информацию, существующую в сети, вносить для хранения в базу данных.

На этой посылке работали поисковые машины. Специально для этой цели были созданы программы, названные позднее роботами. Именно они искали сайты, передавали их для дальнейшей обработки. И все равно, списки индексации пока еще писались модераторами. Делалось это для облегчения работы роботов, более эффективного поиска особенно важных сайтов. Работа модераторов по составлению списка ссылок скоро стала невостребованной. Это как раз и связано с постоянно меняющейся информацией в сети. Поэтому поиск нужного документа, материала был долгим.

Самой первой поисковой программой была программа «Арчи» (Archie). Ее создали системные администраторы и студенты Монреальского университета. «Арчи» — это предшественник всех современных поисковых систем. Он прогуливался по сети, искал файлы на FTS серверах, создавал общий каталог. И уже в этом каталоге можно было организовать поиск. Для этого требовалась специальная подготовка. Вначале 90-х была создана программа «Голден Гофер», т.е. «старатель». Пользуясь этой программой, уже не обязательно было знать программирование. Достаточно было просто щелкнуть по ссылке и открывался доступ к нужной информации. Возможности данной программы — получать текстовые, графические и музыкальные документы.
В середине 90-х Мэтью Грей создал Web-робота, названного «Вандерер». Это слово переводится с английского как «странник». Он до сих пор является главным роботом-поисковиком. Вслед за ним были созданы первые поисковые машины. Они получили возможность не только с легкостью двигаться по сети, но и сохранять содержимое посещенных страниц. Именно в это время у программистов появился термин «краулер» или паук. И обрушился целый водопад поисковых машин. В 1994 году созданы Lycos и Yahoo. В 1995 году – Infoseek, AltaVista. Оригинальный дизайн последней поисковой системы оказался настолько удачным, что он впоследствии был использован в разных машинах, например, в Gool. Такой удачной вышла эта машина, что группа «Сплин» даже выпустила альбом «Алтависта».
А позднее начала появляться конкурентная борьба среди поисковых машин. И, соответственно, стали разрабатываться совершенно новые способы поиска данных.
Самая популярная на сегодняшний день поисковая машина – Googl. Ее создали в 1998 году.
В 90-х годах поисковые машины начали появляться и в России. В 1997 году пришел Rambler. Некоторое время он был самым популярным поисковым инструментом в Рунете. В том же 1997 году родилась система Yandex. В Рунете она до сих пор является самой популярной.

Добавить комментарий