Архив форумов ЦИТФорума

[rarelang]

Всем привет,

Подскажите мне пожалуйста по какому принципу поисковые системы индексируют сайты в интернете. Насколько я знаю есть специальные программы которые каким-то образом пропарсивают сайты (или только тег META) и составляют базу данных с которой в свою очередь и работают поисковые системы.

Таким образом меня интересует следующий вопрос,- как с точки зрения программиста-системщика (C/C++) реализованы системы индексации сайтов, не используются ли там какие-то особые технологии поиска сайтов или специальные протоколы (если да то дайте мне пожалуйста ссылку на соответствующий RFC).

Заранее спасибо.

PS: Отдельное огромное спасибо за ссылки и примеры псевдо-кода

[GREA]

Частотный словарь. Чем чаще встречается заданное слово, тем выше пага в топе.
Однако, там где частота очень высока, многие поисковики подозревают флуд.
Еще, крайне важно правильно заполнить тег META (ключевые слова), таким образом, чтобы они достаточно часто встречались и в самом тексте.

[wildwind]

www.searchengines.ru