403 Forbidden при массовых запросах к сайту. Как обойти?

← →
Радуга (2010-08-15 21:01) [0]

Добрый вечер!

Ситуация такая - есть моя программа, которая подключается к определенной странице в интернете (по заданому списку) и выдергивает оттуда необходимые данные.
Адресов в списке более 2х тысяч. Но где-то на 150й-160й позиции (адресе) я получаю ответ от сервера "403 Forbidden". Уже пробовал ставить задержку между запросами до 3х секунд, но безрезультатно. Не нравится моя программа серверу =)

Что можно сделать чтобы избежать такого бана? Есть какие-нибудь не очень сложные решения? Связываться с проксями совсем не хочется, тем более, что на других сайтах программа все отрабатывает полностью. Даже по 3к страниц за раз...

Заранее спасибо

← →
Радуга (2010-08-15 21:19) [1]

Все, вроде разобрался сам. Оказалось, что программа останавливается на одном и том же файле, который и через браузер выдает 403 ошибку.
Займусь добавлением в программу анализа ответов сервера =)

403 Forbidden при массовых запросах к сайту. Как обойти? Найти похожие ветки