Вниз
Скачать: CL | DM;

Определение изменения Web-страницы   Найти похожие ветки 

← →
Sergey18   (2004-11-09 13:18) [0]

Суть проблемы:
Есть программа, которая закачивает себе содержимое страниц с разнообразных сайтов в БД. Если страничка осталась неизменной, то она пропускается. Если изменилась, то она снова заносится в базу. Это я в общем плане, но суть не в этом. Проблема в определении изменения страницы:
* Возможно ли определить изменилась ли страница или нет, не загружая ее целиком? По содержимому страницы определять новизну невозможно по двум причинам:
1) База планируется большая. Запросы для сравнения будут выполняться очень долго.
2) Для экономии трафика. Чтобы каждый раз не заходить на одну и ту же страницу.

Возможно, это можно определять каким-либо образом по дате изменения или размеру страницы? Возможно ли получить каким-то образом эти данные от Web-сервера?

Спасибо.

p.s. Ведь как-то это делают различные Web-Downloader"ы...


← →
panov ©   (2004-11-09 13:35) [1]

Использовать метод HEAD для получения заголовка страницы.


← →
Sergey18   (2004-11-10 00:00) [2]

Чем мне может помочь метод HEAD? Ведь возможно, что в странице был изменен текст, а TITLE остался прежним?..



Страницы: 1 вся ветка

Скачать: CL | DM;



Память: 0.44 MB
Время: 0.026 c
1-1105744103
pika
2005-01-15 02:08
2005.01.30
delay ?


6-1099048614
leonidus
2004-10-29 15:16
2005.01.30
idHTTP и работа с куками


3-1103787737
mordsit
2004-12-23 10:42
2005.01.30
Установка фильтра (where ... and ...)


14-1105364312
vecna
2005-01-10 16:38
2005.01.30
как перевести


1-1105891604
Drey
2005-01-16 19:06
2005.01.30
Файлы которые хранят несколько значений (используеться record)




   Наверх