Что такое поисковые индексы и каталоги

Индекс используется для поиска Web-страниц по ключевым словам, каталог — по разделам, систематизированным по иерархическим рубрикам.

Броузеры имеют встроенные средства поиска документов И NetScape Navigator, и Microsoft Internet Explorer имеют встроенные средства, позволяющие быстро находить нужные страницы.

Поисковая система — мощный инструмент, позволяющий узнавать обо всем на свете: от результатов последних спортивных матчей до ежедневных происшествий. Благодаря правильно организованному средству поиска Web становится неотъемлемой частью повседневной жизни пользователя.

PointCast Client — одна из лучших поисковых систем, позволяющая получать последние новости прямо на рабочий стол компьютера. А главное, она абсолютно бесплатная!

Возможности мощных систем поиска выходят далеко за пределы простого умения находить Web-страницы. Многие из них имеют встроенные средства поиска адресов электронной почты, телефонных номеров и сообщений групп новостей. Некоторые позволяют находить географические карты, например, подробные планы городов.

Индексы

Появление индекса является результатом работы трех элементов программы индексирования. Схема взаимодействия между ними представлена на рис. 1. Собственно поиск по ключевым словам выполняет поисковая система (search engine). Именно к этой части программы индексирования обращается пользователь, задавая условие поиска в строке для ключевых слов. Поиск проходит в организованной программой базе данных. Совокупность найденных ссылок и адресов URL оформляется в виде Web-страницы результатов. Системы различаются своими возможностями. Некоторые из них поддерживают использование ключевых выражениях булевых операторов, позволяя существенно сузить область поиска. Другие, напротив, собирают всё, что содержит по крайней мере одно из заданных ключевых слов.

«Паук» (spider) (иногда называемый также «червем» (worm) или «гусеницей» (crawler)) должен выявить как можно больше Web-страниц. Для этого он «запоминает» все ссылки на открытые им документы. В обнаруженных таким образом новых страницах вновь отыскиваются и запоминаются ссылки. Эта процедура повторяется до тех пор, пока не будут исчерпаны все источники ссылок. Однако очевидно, что подобный метод не может гарантировать всеобъемлющих результатов: попадет ли тот или иной источник в число собран «пауком» страниц, целиком зависит от наличия ссылок на него в других документах Web.

Всякий раз, когда «паук» находит очередную Web-страницу, составитель индекса (indexer) изучает содержимое, занося слова, найденные в ссылках и тексте страниц, в гигантскую базу данных, уплотнить базу и очистить ее от повторяющихся элементов можно с помощью высокоэффективных алгоритмов строения баз данных, заложенных в составитель индекса. Это несложно, ведь в человеческой речи пока не используются уникальные слова. Составитель индекса должен в итоге создать базу, в которой URL адреса были бы соотнесены с наборами встречающихся в них слов.

Если какую-либо Web-страницу не удается найти, это еще не значит, что такой страницы не существует. Многие поисковые системы генерируют списки, в которых родственные темы собраны в разделы, организованные по принципу каталогов (такой принцип заложен, например, в Yahoo!). Если вам не удается найти нужные материалы — скажем, об уходе за йоркширским терьером (grooming Yorkshire Terrier), попробуйте отыскать их по индексу. Вполне возможно, искомая тема обнаружится среди его ссылок.

Чтобы повысить эффективность поиска по индексу, сделайте условие поиска более общим и добавьте ключевое слово «index». Так, условие Grooming AND (Yorkie OR «Yorkshire Terrier») следует изменить на Index AND (Yorkie OR Yorkshire). He исключено, что менее конкретное условие Index AND Terrier даст еще лучшие результаты. Если условие выбрано удачно, поисковая система возвратит один или несколько индексов, ссылающихся на страницы о йоркширской породе и терьерах.

Составители каталогов

На первый взгляд отличить программы индексирования от составителей каталогов трудно. Материя для поиска для обоих инструментов служит содержимое Web-страниц.

Однако, в отличие от программ индексирования, составители каталогов не разыскивают все Web — страницы Internet. Объектом поиска для них являются адреса URL, которые включаются в систематизированный каталог. Поиск по каталогу можно проводить как с помощью броузера, так и вручную, щелкая на названиях разделов и знакомясь с их содержимым.

Тем не менее, несмотря на принципиальные различия в механизмах работы, грань между граммами индексирования и составления каталогов постепенно стирается. Все чаще можно встретить индекс, снабженный средствами построения каталога. Нередко сами Web-страницы в верхней части имеют некое подобие содержания со ссылками на отдельные разделы.