Архив форумов ЦИТФорума

[argo]

Проблема в следущем: Есть скрипт на перле который парсит все страницы, ищет строку с неким номером и заменяет ее на строку соответствующего номера из большого текстового файла.
Все это сильно грузит проц, т.к. обращений очень много.
Понятно, что лучше текстовик заменить на DBF, не в этом вопрос.
Вопрос, как оптимизировать процесс? Слышал, что перл по разному может прикручиваться к серваку. Будет ли выигрыш? Или может на PHP написать? Или на C/C++?

Поделитесь опытом, если такой есть. Кроме указанной проблемы интересует вообще оптимизация скриптов.

[and3008]

-

[argo]

Чуда и не ожидается. Даже небольшая выгода будет полезна.

[Dmitry.Karpov http://www.]

-

[argo]

Главное - снизить потребляемые ресурсы. А именно, загрузку процессора, поскольку провайдер ограничивает ресурс. Загрузка файла в память с нумерацией строк - идея хорошая, но реализуемая ли для веб-сервера? Т.е. заходит один человек, запускает скрипт, который загружает файл в память, использует его и все? Другой посетитель запустит опять скрипт, который опять загрузит файл и т.д. И смысл в загрузке файла теряется. Или я не прав?

[Subfire]

На PHP одна фигня будет...
А вот на C++ будет ЗАМЕТНЫЙ ПРИРОСТ БЫСТРОДЕЙСТВИЯ, с чем спорить абсолютно бессмысленно. Если конечно написана программа будет не криво. Можно вааще на асме пивать, тока не думаю, что это необходимо =)
А так, смело пиши на сихе...однако будет ли провайдер не против того, что ты загружаешь на их сервак это чудо - вопрос к нему.

[Dmitry.Karpov http://www.]

Можно держать данные как попало и при необходимости найти нужное или что-то поправить долго и нудно лазать по данным. А можно заранее правильно организовать хранение данных, тратить некоторое количество сил на поддержание порядка, но зато быстро находить искомое. Пример: можно держать данные в неупорядоченном файле, а можно - в ьинарном дереве или в hash-таблице.
Короче, отказывайся ты от Plain-текста, переходи на SQL-DataBase!
И напиши подробнее, что ты там у себя крутишь - может, посоветуем более конкретно. А еще есть Российская Хостинговая компания http://www.rhk.ru - там при необходимости докупят более мощный процессор, да и MySQL входит в комплекс услуг.

А что касается нескольких копий файла, то есть мапирование файла в память - тогда все копии файла в адресном пространстве разных процессов в реальности занимают память один раз.

[Subfire]

Все-таки недостаточно данных для того чтобы советовать что-то.
Dmitry.Karpov абсолютно прав советуя использовать SQL СУБД, но если действительно характер твоих данных позволяет структурировать их и привести к виду нормальной реляционной БД.
Если идет просто вопрос о индексировании и поиски строк - проще пользоваться хешами...СУБД тоже хэширует, но зачем нам лишний процесс?: ))
Ну и если идет вопрос о поиске подстрок в строках - используй C++ и оптимизируй алгоритмы поиска - их много, например алгоритм Бойля-Мура, который достаточно мощный и простой в реализации..
Так что думай вот, или конкретезируй, какие стоят задачи и какие наборы данных.
Удачи.