rarelang
Зарегистрирован: 07.04.2004 Сообщения: 42
|
Добавлено: Вс Июн 27 2004 19:59 Заголовок сообщения: Принцип программ индексации сайтов поисковыми системами |
|
|
Всем привет,
Подскажите мне пожалуйста по какому принципу поисковые системы индексируют сайты в интернете. Насколько я знаю есть специальные программы которые каким-то образом пропарсивают сайты (или только тег META) и составляют базу данных с которой в свою очередь и работают поисковые системы.
Таким образом меня интересует следующий вопрос,- как с точки зрения программиста-системщика (C/C++) реализованы системы индексации сайтов, не используются ли там какие-то особые технологии поиска сайтов или специальные протоколы (если да то дайте мне пожалуйста ссылку на соответствующий RFC).
Заранее спасибо.
PS: Отдельное огромное спасибо за ссылки и примеры псевдо-кода |
|