Вниз
Скачать: CL | DM;

Подскажите алгоритм.   Найти похожие ветки 

← →
DenKop ©   (2002-06-13 20:17) [0]

Подскажите пожалуйста алгоритм работы программ по сбору Email адресов.

Попробовал по следующему алгоритму:
1) Закачивается страничка, заданная пользователем;
2) Написал функции по извлечению Email адресов и ссылок из строки;
3) Из HTML кода построкового читаю строки и вытаскиваю все ссылки и Email;
4) Ссылки помещаются в TStringList, для последующего перебора
4) Затем беру первый из полученных ранее URL(TStringList) и сохраняю его в файл на диск;
5) Анализирую HTML код полученного файла и опять же собираю в нём все ссылки и Email;

Цикл работает до тех пор пока пользователь не остановит его. Все найденные ссылки
хранятся в TStringList. Производится проверка на повтор, чтобы не кувыркать одни и
те же странички по несколько раз. Из списка ссылки выбираются поочерёдно.
Самый главный недостаток этого алгоритма состоит в очень низкой производительности.
Уж больно много времени уходит на сохранение файлов, в этом и заключается проблема.


← →
DenKop ©   (2002-06-13 20:18) [1]

Возник попутный вопрос: Будет ли быстрее происходить процесс сканирования если
использовать функции из модуля Wininet (кажется InternetReadFile), а точнее
функций блочного чтения данных с файла хранящегося на сервере.



Страницы: 1 вся ветка

Скачать: CL | DM;



Память: 0.45 MB
Время: 0.016 c
3-84895
Dry
2002-08-06 12:09
2002.08.26
PReport


1-84999
ArhAngel2
2002-08-15 21:48
2002.08.26
Как сделать ссылку на массив


3-84861
Ильдар
2002-08-01 15:36
2002.08.26
ошибка: не могу открыть в эксклюзивном режиме


4-85287
Igit
2002-06-20 15:36
2002.08.26
Ипользование потоков


1-85104
I__am
2002-08-14 18:22
2002.08.26
Вопрос по созданию каталогов и Дельфей




   Наверх