запрос несуществующей странички

← →
картман © (2011-02-08 00:57) [0]

если я десяток-другой раз в секунду спрошу страничку:

http://SomeExsistingSite.com/NotExsistingPage

это не будет расценено, как что-нть плохое - ругаться не будут?

← →
clickmaker © (2011-02-08 01:01) [1]

> ругаться не будут?

да нет. По айпишнику определят адрес и вышлют наряд, всего и делов

← →
картман © (2011-02-08 01:05) [2]

т.е. это будет расценено как какая-нибудь dos-атака?

← →
clickmaker © (2011-02-08 01:06) [3]

а зачем это нужно-то еще, если не для дос-атаки? )

← →
картман © (2011-02-08 01:10) [4]

есть некие объявления. После создания объявления, проходит некоторое время, прежде чем оно будет доступно через поиск - но физически данные уже присутствуют в системе. Задача вытащить по идентификатору сии странички, пока их еще нет в поиске...
Собсна, если там автоинкремент, то гуд, но я пока не уверен...

← →
картман © (2011-02-08 01:10) [5]

← →
antonn © (2011-02-08 01:22) [6]

> это не будет расценено, как что-нть плохое - ругаться не
> будут?

нет, не будут, с чего бы это? :) интернет общий, делай что хочешь, им мешает - пусть думают как выйти из ситуации

← →
картман © (2011-02-08 01:26) [7]

> им мешает - пусть думают как выйти из ситуации

т.е. 10 запросов/сек для высоконагруженного сайта - ситуация, требующая вмешательства? Т.е. это много? Сервер ляжет?

← →
KilkennyCat © (2011-02-08 01:29) [8]

> Сервер ляжет?

ага, со смеху.

← →
KilkennyCat © (2011-02-08 01:31) [9]

сделал обновление этой страницы раз 30 за пару секунд. работает.

← →
картман © (2011-02-08 01:36) [10]

> KilkennyCat © (08.02.11 01:29) [8]

а если 1кГц? 10? Как определить, что еще не мешаю? Я пока не знаю, насколько часто нужно просматривать...

← →
antonn © (2011-02-08 01:39) [11]

> т.е. 10 запросов/сек для высоконагруженного сайта - ситуация,
> требующая вмешательства? Т.е. это много? Сервер ляжет?

это ерунда

← →
Германн © (2011-02-08 01:40) [12]

> Я пока не знаю, насколько часто нужно просматривать...

Ты робот или человек? В чем вопрос?

← →
картман © (2011-02-08 01:51) [13]

> Германн © (08.02.11 01:40) [12]
>
>
> > Я пока не знаю, насколько часто нужно просматривать...
>
>
> Ты робот или человек? В чем вопрос?

как в чем? Адрес странички вида:
DDDD-DDD, какой заранее я не могу знать, и пока не знаю, независимо ли друг от друга меняются первые четыре или только по достижении тыщи во-второй части? поэтому буду перебирать от какого-то последнего значения, до какого-то вперед - если не найду - опять с мин по мин + дельта. Хочу узнать, сколько раз в секунду могу так шариться невозбранно.
А что, в [0] непонятно спросил?

-Ты запомнила номер?
-Да.
-Какой?
-Буква-буква, цифра-цифра, цифра-цифра, буква-буква.
-Да, но какие именно?
-Не знаю, я же еще в школу не хожу
(с)

← →
Германн © (2011-02-08 02:06) [14]

> Хочу узнать, сколько раз в секунду могу так шариться невозбранно.
>

Если ты человек, то миллисекунды тебя не должны волновать.

← →
KilkennyCat © (2011-02-08 02:34) [15]

а чей поисковик имеется ввиду?

← →
картман © (2011-02-08 02:42) [16]

> Если ты человек, то миллисекунды тебя не должны волновать.

ну... гляди, есть адрес 90909-1234.хтмл - какой адрес будет назначен следующей страничке я не знаю, может 90909-1235, а может и 90910-1234, а мож еще как, соответственно, чтобы не пропустить вновь создаваемые страницы, мне надо будет перебрать кучу - насколько большую пока не знаю - адресов методом ненаучного тыка. При этом, предположим, что адрес новой страницы будет старыйЦЦЦЦЦ-старыйЦЦЦЦ+1, если вторая часть больше 9999, ну, эт понятно. А если чел, подающий объявление, по какой-то причине отказался от публикации или удалил свою объяву, номер синкрементился, а выловить его при такой продолжительности существования я его не успел - стал быть я должен просматривать не только следующий(е) адрес(а), но и плюс сколько-то номеров вперед. Если проверяемых номеров я насчитаю пять штук - все оки, а если 10к? - на 10Гц проверка уже будет 15 минут итти, пока терпимо - вроде как... Но не надоест ли и такое малое кол-во перманентных кривых запросов владельцу(админу или кому там это щекочет) сайта? Нет? Значит шикарно:)

Вот и поинтересовался, сколько запросов можно делать "легально".

← →
картман © (2011-02-08 02:45) [17]

> а чей поисковик имеется ввиду?

не поисковик - на сайт даются объявления, искать их по параметрам, но сразу после дачи его в поиске не видно - мож модераторы проверяют, мож еще что, но физически инфа уже существует - если знать адрес, то можно прочесть.

← →
Германн © (2011-02-08 03:22) [18]

>
> не поисковик - на сайт даются объявления, искать их по параметрам,
> но сразу после дачи его в поиске не видно - мож модераторы
> проверяют, мож еще что, но физически инфа уже существует
> - если знать адрес, то можно прочесть.

Если ты робот, то сможешь прочесть максимально быстро. Если нет, то не стоит так спешить. ИМХО.

← →
картман © (2011-02-08 03:46) [19]

Удалено модератором

← →
Плохиш © (2011-02-08 09:43) [20]

Хм, каких только задач не высосут...

← →
TUser © (2011-02-08 09:55) [21]

Удалено модератором

← →
KilkennyCat © (2011-02-08 10:24) [22]

Удалено модератором

← →
RWolf © (2011-02-08 10:41) [23]

при ддосе с сервера качается трафик в десятки и сотни мегабайт в секунду. Если сабж по порядку величины не подходит к этим цифрам, не о чем беспокоиться.
Некоторые хитро сделанные сайты, впрочем, практикуют ограничение числа запросов с айпишника и прочую ерунду.

← →
KSergey © (2011-02-08 11:09) [24]

Я понял в чем вопрос.
Узнать волнует это кого-то или нет можно только после того, как тебя забанят за какое-либо число обращений (это не наезд, это констатация).

Причем тут явно не только частота запросов важна: если, например, админы сайта с какой-то целью мониторят 404 ответы сервера (это бывает полезно для разных нужд, в том числе и выявления подобных роботов конкурентов, да и просто выявления "вдруг какая-то поелзная страница сломалась) - то нужна не такая уж и большая частота повторяющихся по виду запросов (последовательный перебор id вокруг текущего макс. значения), чтобы забанили по IP (а другого ничего и не сделать).

С другой стороны, запустить робота с другого IP - не проблема, а если это шаредный IP какого-то провайдера - то, возможно, отключать по IP админам не захочется - это ж много клиентов сразу забанишь...

В общем частота запросов (если сайт действительно высоконагружен) врятли критична, а вот постоянная долбежка в 404-й ответ - может быть замечена.

Но врятли заранее можно предсказать реакцию админов и вообще ее наличие.

> тобы забанили по IP (а другого ничего и не сделать).

ну почему же.
ситуацию можно развить дальше, теоретически.
например, они могут заявить, что эти действия нарушают работу их системы и направлены на подрыв их экономической деятельности.
на основе этого заявления начнет крутится некий правовой механизм.
если он хорошо закрутится, то автора найдут.

Это, конечно, маловероятно. Но скидывать со счетов нельзя. Потому что за фигню чаще всего по башке дают.
Скажем, седня утром наш главный домоуправ вызывает на ковер самого супер-пупер-антихакера страны и говорит ему, что мы живем в отсталой стране и раскрываемость компьютерных преступлений у нас на нуле и пора бы опять громко заявить, что мы бдим и успешно ловим хакеров, злостных нарушителей виндолицензий, поклонников халявных фильмов и т.д.
Самый супер-пупер-антихакер в свою очередь спускает ц.у. пупер-антихакерам. Начинается бдение.

И тут картман со своей синглоддосовской атакой...

да, кстати, нас тоже возьмут, как соучастников.

> KilkennyCat © (08.02.11 23:26) [27]
>
> да, кстати, нас тоже возьмут, как соучастников.

обещаю сотрудничать с органами

> да, кстати, нас тоже возьмут, как соучастников.

Не всех, а только тех кто не осудил.
На всякий случай контрольная фраза: Ты так больше не делай, не хорошо.

> На всякий случай контрольная фраза: Ты так больше не делай,
> не хорошо.

это пойдет по статье "Введение следствия в заблуждение")))

> Не всех, а только тех кто не осудил.

Этого бородатого взять первым. Ибо он первый упомянул миллион в вопросе о письмах.

> KilkennyCat © (08.02.11 23:25) [26]

Я понимаю, что это было "придиркой" и "больше ничего не сделаешь".
Но в данном случае разницы особой не вижу: автору важно, чтобы его робот стабильно работал.
А как именно будут робота выключать - техническими мерами или силовыми - не так важно.

Удалено модератором

> KSergey (09.02.2011 11:15:32) [32]

А больно не будет?

> Anatoly Podgoretsky © (09.02.11 13:30) [34]

Сильно подозреваю, что всем будет пофигу.
Понятно 403 мониторить придирчиво, или там 500
Если ресурс реально высоконагружен и админов некоторая нехватка (а это как правило так и есть) - то всем должно быть пофигу на эту фигню, других дел должно хватать.

запрос несуществующей странички Найти похожие ветки