Форум: "Начинающим";
Текущий архив: 2010.11.07;
Скачать: [xml.tar.bz2];
Вниз
403 Forbidden при массовых запросах к сайту. Как обойти? Найти похожие ветки
← →
Радуга (2010-08-15 21:01) [0]Добрый вечер!
Ситуация такая - есть моя программа, которая подключается к определенной странице в интернете (по заданому списку) и выдергивает оттуда необходимые данные.
Адресов в списке более 2х тысяч. Но где-то на 150й-160й позиции (адресе) я получаю ответ от сервера "403 Forbidden". Уже пробовал ставить задержку между запросами до 3х секунд, но безрезультатно. Не нравится моя программа серверу =)
Что можно сделать чтобы избежать такого бана? Есть какие-нибудь не очень сложные решения? Связываться с проксями совсем не хочется, тем более, что на других сайтах программа все отрабатывает полностью. Даже по 3к страниц за раз...
Заранее спасибо
← →
Радуга (2010-08-15 21:19) [1]Все, вроде разобрался сам. Оказалось, что программа останавливается на одном и том же файле, который и через браузер выдает 403 ошибку.
Займусь добавлением в программу анализа ответов сервера =)
Страницы: 1 вся ветка
Форум: "Начинающим";
Текущий архив: 2010.11.07;
Скачать: [xml.tar.bz2];
Память: 0.44 MB
Время: 0.003 c
