Клиентописателям. Просьба зайти сюда на минутку.

← →
McSimm © (2005-02-16 12:16) [0]

Вопрос об одновременном открытии большого количества коннектов.

Я сейчас не помню какой именно клиент, но помню попадался как-то - открывал несколько десятков, если посетитель того желал.

Просьба отписать сюда сколько коннектов ваши клиенты могут открывать параллельно. Есть ли ограничение.

Если у кого-то нет ограничений, то будем переделывать.
Предлагаю максимум 4 потока.

Версии клиентов, позволяющие себе лишнее со временем будут отсекаться скриптом.

← →
Alexander Panov © (2005-02-16 12:25) [1]

Вижу, что MF создает количество потоков по числу конференций.

← →
vecna © (2005-02-16 12:27) [2]

Не совсем ясно. архитектура? коннектов к чему? БД? какой? TIL?
Или уже все научились читать мысли? =)

← →
miwa © (2005-02-16 12:31) [3]

> Не совсем ясно. архитектура?

Чего архитектура?

коннектов к чему?
Да к сайту. К форуму тоесть.
БД? какой?
> TIL?
> Или уже все научились читать мысли? =)

Нет. Просто кто-то не понял контекста.

← →
Alexander Panov © (2005-02-16 12:42) [4]

McSimm © (16.02.05 12:16)
Предлагаю максимум 4 потока

Да вроде и в четырех смысла нет.
Два потока достаточно.
-----------------------------
По результатам опроса только небольшой процент пользуется программами-клиентами, поэтому на общую нагрузку они, думаю, не влияют.

Если появилась какая-то статистика - поделись, пожалуйста.

← →
McSimm © (2005-02-16 13:03) [5]

> vecna © (16.02.05 12:27) [2]

Речь о программах-клиентах к этому форуму, а коннекты разумеется TCP.

> какая-то статистика - поделись

Там.

← →
kaZaNoVa © (2005-02-16 13:18) [6]

имхо много потоков из-за большого числа пользователей с медленным инетом, и почти все современные браузеры грузят графику в несколько потоков ...

← →
Marser © (2005-02-16 13:22) [7]

Правильное решение. Но только временное. Во-первых, сложно помешать открывать сто окон в браузере, а во-вторых - хостера всё равно нужно менять.

← →
McSimm © (2005-02-16 13:29) [8]

почти все современные броузеры графику берут из кэш, кроме того это копеечные запросы.

сто окон броузера открыть можно, но сложно. Одновременно.
Кроме того, это возможность теоретическая, а клиенты работают практически.

← →
Reindeer Moss Eater © (2005-02-16 13:33) [9]

Сто окон браузера открыть не сложно.
Но сложно жамкать в них рефрешь так же часто как это может делать автоматом самописный клиент.

← →
Anatoly Podgoretsky © (2005-02-16 14:07) [10]

McSimm © (16.02.05 13:29) [8]
Давить в зародыше.

← →
Knight © (2005-02-16 14:21) [11]

> Reindeer Moss Eater © (16.02.05 13:33) [9]
> рефрешь так же часто как это может делать автоматом самописный клиент.

Я такую мысль давно уже высказывал... но тогда её почему-то проигнорировали... но лучше поздно, чем никогда :)

> McSimm © (16.02.05 12:16)

Если в скрипт будут вноситься изменения, то не плохо-бы, заодно, расширить его функции...

← →
Alexander Panov © (2005-02-16 14:28) [12]

Мда...
Неприятная ситуация...
Предлагаю всем, использующим клинетские программы категорически отключить автообновление.
Фишка очень удобная, я понимаю. Но либо 500, либо без этой фишки.

← →
Reindeer Moss Eater © (2005-02-16 14:32) [13]

Всем клиентописателям - по два года условно!
:)
И отрубить нафих.

← →
Knight © (2005-02-16 14:39) [14]

> Reindeer Moss Eater © (16.02.05 14:32) [13]
> И отрубить нафих.

+ обязательная регистрация, с выдачей бесплатного ключа на чтение и платного на постинг :)))

← →
kaZaNoVa © (2005-02-16 15:29) [15]

Knight © (16.02.05 14:39) [14]

> с выдачей бесплатного ключа на чтение и платного на
> постинг

ага, и проверка на IP в платном)))

← →
Knight © (2005-02-16 15:37) [16]

> kaZaNoVa © (16.02.05 15:29) [15]
> ага, и проверка на IP в платном)))

Авторизации в начале и пары (ключ-ник) в дальнейшем, вполне достаточно... :)

← →
kaZaNoVa © (2005-02-16 15:50) [17]

Knight © (16.02.05 15:37) [16]
а, если ещё ник учитывать, то да ..
хотя, желательно и User-Agent проверять ...)

← →
Knight © (2005-02-16 16:51) [18]

> kaZaNoVa © (16.02.05 15:50) [17]
> а, если ещё ник учитывать, то да ..
> хотя, желательно и User-Agent проверять ...)

Ну это естественно... Ключ выдаёться нику, на клиент... если, что-то не совпало... инка под зад... :)

← →
kaZaNoVa © (2005-02-16 18:06) [19]

Knight © (16.02.05 16:51) [18]

> если, что-то не совпало... инка под зад... :)

не, ну зачем так круто .. для начала можно просто закрывать сокет .. а в будующем либо перенаправление на сайт с баннерами, либо на сайт спонсора))

← →
Piter © (2005-02-16 20:29) [20]

McSimm © (16.02.05 12:16)
Предлагаю максимум 4 потока

предлагаю найти нормального хостера

Alexander Panov © (16.02.05 14:28) [12]
Предлагаю всем, использующим клинетские программы категорически отключить автообновление

предлагаю посмотреть как работает автообновление

Alexander Panov © (16.02.05 14:28) [12]
Мда...
Неприятная ситуация...

ну конечно, из-за клиентов (а их используют человек 100 максимум) падает сервер...
Если есть статистика, показывающая обратное - прошу предоставить

P.S. Проверка на количество потоков еще более замедлит выполнение скрипта, отчего ошибка 500 будет появляться еще чаще.

← →
kaZaNoVa © (2005-02-16 20:38) [21]

Piter © (16.02.05 20:29) [20]
сам написал DDoS"ящий клиент .. а теперь сваливаешь "вину"? - НЕ ОДИН нормальных хостер НЕ ПОЗВОЛИТ держать на нормальном тарифном плане более 30-90 открытых коннектов ..
представь, что твой клиент открывает их по 5-10 ..
а пользователей на форуме .. много))

← →
Knight © (2005-02-16 20:52) [22]

> [20] Piter © (16.02.05 20:29)
> ну конечно, из-за клиентов (а их используют человек 100
> максимум) падает сервер...

Мастаки, разве, на выделеном сервере? Сомневаюсь...

← →
kaZaNoVa © (2005-02-16 21:00) [23]

Piter © (16.02.05 20:29) [20]

> предлагаю посмотреть как работает автообновление

так-так ..
ФАКТЫ:
Клиент Magic Forum 1.2.3b
Наблюдал - Фаерволл OutPost
Поставил, в качестве эксперимента, обновлять конференции по таймеру, в 30 сек - через 30 секунд в логе активности фаерволла появилось одновременно 10 исходящих независымых соединений, GET-запросов.

Имхо, если 100 человек пользуется твоим клиентом, то фактически одновременно может быть 100-500 коннектов только от тех, кто активно пользуется функцией автообновления веток твоего клиента .. )

← →
Verg © (2005-02-16 21:05) [24]

Комбайны под землю, или землю под комбайны?

Ну такая уж у нас "земля"... такой сервер...
Что ж из того, что под нее кобайн не может кто-то сделать? Даже при том, что этот "кто-то" сам вызвался его делать, назвав себя мастером по кобайнам?

← →
Knight © (2005-02-16 21:06) [25]

Нафих, вообще, делать больше чем один коннект?

← →
kaZaNoVa © (2005-02-16 21:08) [26]

Knight © (16.02.05 21:06) [25]
Питеру видно так проще оформить было, да и торопился он, когда клиента то писал .. ))

← →
Verg © (2005-02-16 21:09) [27]

> Knight © (16.02.05 21:06) [25]
> Нафих, вообще, делать больше чем один коннект?

Как нафих?! - чтобы крута!

← →
Alexander Panov © (2005-02-16 21:23) [28]

Verg © (16.02.05 21:09) [27]
Как нафих?! - чтобы крута!

Да ни при чем это, конечно.
Думаю, что никто не будет спорить, что данные через несколько подключений можно получить быстрее...

Будь такой сайт на моем личном сервере, выделенном под это, я бы конечно разрешил большое количество подключений, но, так как сайт находится у хостера на виртуальном сервере, то хостер - естественно, - ограничивает количество одновременных подключений, дабы оградить себя от атак...

А

← →
kaZaNoVa © (2005-02-16 21:28) [29]

Alexander Panov © (16.02.05 21:23) [28]

> виртуальном сервере

имхо .. насколько я знаю хостинг, в среднем на выделенном сервере можно до 1024-4000 подключений одновременно . (больше либо памяти для обработки не хватит, либо апач не выдержит), а на виртуальных хостингах в среднем 50 коннектом .. мало(

← →
Knight © (2005-02-16 21:30) [30]

А вот вопрос... нельзя ли эту проблему решить средствами самого ресурса? Ну типа, очереди запросов и т.п.

← →
Verg © (2005-02-16 21:31) [31]

> Alexander Panov © (16.02.05 21:23) [28]

Конечно, две доярки выдоят корову быстрее, а четыре доярки и того быстрее.... добавить туда еще пару мясников с комбината, и в пятнадцать минут от той же коровы можно получит и молоко и мясо...
А если про этом еще пинать ее в живот ногами....

← →
kaZaNoVa © (2005-02-16 21:35) [32]

Knight © (16.02.05 21:30) [30]
не .. коннекты если держать в очереди .. только больше будет ..
имхо только если сразу "левые" отсекать, не обрабатывая ..

> А если про этом еще пинать ее в живот ногами....

ну .. до такого, надеюсь .. не дойдём . ))

← →
Knight © (2005-02-16 21:36) [33]

> [31] Verg © (16.02.05 21:31)
> Конечно, две доярки выдоят корову быстрее, а четыре доярки
> и того быстрее.... добавить туда еще пару мясников с комбината,

Правильный пример... доярок не может быть больше чем сосков у коровы... :)

← →
Anatoly Podgoretsky © (2005-02-16 21:36) [34]

kaZaNoVa © (16.02.05 21:35) [32]
И не расчитывай, дай только средство.

← →
kaZaNoVa © (2005-02-16 21:43) [35]

Knight © (16.02.05 21:36) [33]

> доярок не может быть больше чем сосков у коровы

почему? посменная работа))

← →
Knight © (2005-02-16 21:49) [36]

> [35] kaZaNoVa © (16.02.05 21:43)
> почему? посменная работа))

Вопрос в том, чтобы выдоить быстрее то, что есть... т.к. больше ведра из неё всё-равно не выйдет... остальные смены будут получать копытом в глаз и рогами в бок... :)

← →
Knight © (2005-02-16 21:50) [37]

> [32] kaZaNoVa © (16.02.05 21:35)
> не .. коннекты если держать в очереди .. только больше будет

А таймаут на что? А вдруг успеют... но если уж нет, то нет... :)

← →
Piter © (2005-02-17 00:41) [38]

kaZaNoVa © (16.02.05 20:38) [21]
сам написал DDoS"ящий клиент

угу, сидел, писал DDoS"ящий клиент. Все думал - как бы сделать его поddos"нее

kaZaNoVa © (16.02.05 21:00) [23]
Поставил, в качестве эксперимента, обновлять конференции по таймеру, в 30 сек - через 30 секунд в логе активности фаерволла появилось одновременно 10 исходящих независымых соединений, GET-запросов

значит, у тебя 10 конференций на обновление стоит

Verg © (16.02.05 21:05) [24]
Даже при том, что этот "кто-то" сам вызвался его делать, назвав себя мастером по кобайнам?

я себя мастером никогда не называл. Тем более по комбайнам

Verg © (16.02.05 21:31) [31]
Конечно, две доярки выдоят корову быстрее, а четыре доярки и того быстрее

нужно увеличивать количество коров

← →
Knight © (2005-02-17 00:49) [39]

> [38] Piter © (17.02.05 00:41)
> нужно увеличивать количество коров

Корова не лягушка... Есть предложения о больших финансовых вливаниях с твоей стороны? Или можешь предоставить бесплатно выделенный сервер? :)

← →
cyborg © (2005-02-17 08:59) [40]

Сдаётся мне, что браузеры гораздо больше влияют на 500-ую ошибку, чем клиенты. Клиент получил новые данные и отрубился, а, вот, некоторые товарищи, с неограниченым интернетом, по их признанию, вместо использования клиента, полюзуются браузерами, и постоянно грузят страницы, чтобы почитиать пару новых ответов.
Так что не туда смотрим!?

← →
Reindeer Moss Eater © (2005-02-17 09:36) [41]

cyborg ©

Ты умеешь тыкать рефрешь в браузере быстрее, чем процессор респавнит вторичные потоки?

Может и умеешь, если ты киборг. Но большинство-то здесь просто люди.

← →
cyborg © (2005-02-17 09:56) [42]

> [41] Reindeer Moss Eater © (17.02.05 09:36)

Я утром запустил клиент, загрузил интересуемые новые сообщения, затем сижу читаю часа два :), потом посмотрел чего нового, загрузил сообщений 50 к примеру, если например взять размер сообщения 1 кб. то получится около 50 килобайт. В то время, когда через браузер получается сотнями килобайт, а-то и мегабайтами. Поэтому причина не в клиентах.

← →
Reindeer Moss Eater © (2005-02-17 10:09) [43]

Прочитай выше пост в котором были приведены факты о методах работы одного такого клиента.
10 соединений с сервером одновременно.

Поэтому причина не в клиентах.
У тебя есть аргументы? Приводи их.

← →
Knight © (2005-02-17 10:10) [44]

> cyborg © (17.02.05 09:56) [42]

Глючит не утром и не вечером... а днём. Когда у каждого в клиенте открыто до десятка и больше тем... потом идёт авто-обновление... сколько коннектов, сам понимаешь...

← →
Reindeer Moss Eater © (2005-02-17 10:13) [45]

В то время, когда через браузер получается сотнями килобайт, а-то и мегабайтами.

Какая нафик разница сколько там гигабайт тянет браузер?!
Проблема то не в канале, а в ресурсах компьютера на котором хостинг живет.

Один коннект выкачивающий 100 байт - это далеко не одно и то же что сто коннектов, сосущих по одному байту.

← →
Alexander Panov © (2005-02-17 10:29) [46]

Вобчем, я всё понял.

Основная вина ложится на мобераторов, потому что они чаще других обновляют ветки в браузере, тыкая на рефрешь и переходя поконфам в 2-3 раза чаще других!

Модераторов нафих!

← →
cyborg © (2005-02-17 10:45) [47]

> Прочитай выше пост в котором были приведены факты о методах
> работы одного такого клиента.
> 10 соединений с сервером одновременно.

И что? Я в Опере тоже гружу сразу много страниц одновременно, пока почту проверяю, например на gamedev.ru, вроде, нет клиента, приходится браузером. Вот запущу на открытие страниц 10-20, коннектов при этом, думаю, соединений гораздо больше десяти, так, как ещё и графика, баннеры, счётчики и всякая муть грузится. Пользователей клиентов тут гораздо меньше, чем пользователей различных браузеров, и я уверен они так же открывают по много страниц одновременно.

И не надо тут ля ля.

> Глючит не утром и не вечером... а днём.

Это всего лишь говорит о том, что в это время форум просматривают люди с работы, где инет для них бесплатный, поэтому их не волнует, сколько и чего они грузят. Одну ветку могут по 10 раз в минуту обновлять, только потому, что там появилось одно сообщение.

> Один коннект выкачивающий 100 байт - это далеко не одно
> и то же что сто коннектов, сосущих по одному байту.

При том, что я эти сто байт по байту гружу один раз за пару часов, в то время, как другой сто байт грузит каждые две минуты.

> [46] Alexander Panov © (17.02.05 10:29)

Не туда вы поняли ;)

Клиенты тут не виноваты. Причина в сервере на котором находится сайт.

← →
Reindeer Moss Eater © (2005-02-17 10:52) [48]

И не надо тут ля ля.

Еще раз для тех кто.
Ты мышкой быстрее клацаешь чем проц создает потоки?
Нет?
Тогда сойди с педали.

← →
Игорь Шевченко © (2005-02-17 10:53) [49]

Такая вот мысль - если народ, пользующийся клиентами, мешает остальным, то почему эти остальные должны мучиться ?

Тот, кто предлагает сменить хостинг, пусть его сначала найдет.

← →
Reindeer Moss Eater © (2005-02-17 10:55) [50]

так, как ещё и графика, баннеры, счётчики и всякая муть

Баннеры счетчики и "всякая муть" сосется не с мастаков, а с других хостов и на хостинг мастаков влияет меньше всего.

← →
Kerk © (2005-02-17 10:59) [51]

> Такая вот мысль - если народ, пользующийся клиентами, мешает
> остальным, то почему эти остальные должны мучиться ?

Ты покажи ЧЕМ мещает?

← →
BiN © (2005-02-17 11:01) [52]

для справки:
в таком браузере, как Opera, имеется возможность автообновления страниц и мультипотоковая загрузка.

имхо, все дело в сознательности посетителей, в их доброй воле.

← →
Reindeer Moss Eater © (2005-02-17 11:03) [53]

в таком браузере, как Opera, имеется возможность автообновления страниц и мультипотоковая загрузка.

Интересно было бы еще узнать процент здешних посетителей с оперой от общего числа.
А после этого процент пользующихся этой фичей оперы от юзеров оперы вообще.

← →
Reindeer Moss Eater © (2005-02-17 11:04) [54]

В свое время у меня был написан клиент для одного форума.
Писался по просьбе одной знакомой, желающей уменьшить потребление трафика.

Помимо частичного выкачивания (только обновленного контента) в нем была реализована адаптивная подстройка периода авторефреша, которая зависела от активности на форуме.
То есть начиналось все с периода X секунд. Если в течение N рефрешей с периодичностью X ничего нового не появлялось, период увеличивался (вроде бы даже логарифмически). И так далее. До верхней границы установленной для периода. Если же находился новый постинг, то период сбрасывался а начальное значение.

У здешних клиентов как с этим?

← →
Игорь Шевченко © (2005-02-17 11:08) [55]

> Ты покажи ЧЕМ мещает?

А в предыдущих постах не показано ?

← →
cyborg © (2005-02-17 11:08) [56]

> [48] Reindeer Moss Eater © (17.02.05 10:52)

Я не понял, ты что, нашёл врага в моём лице?
Позволь спросить тебя, а потоки в браузере не процессор создаёт?
Попробуй посмотреть сколько коннектов создаёт браузер, тогда уже и сравнивай кто чего больше грузит!

> [49] Игорь Шевченко © (17.02.05 10:53)
> Такая вот мысль - если народ, пользующийся клиентами, мешает
> остальным, то почему эти остальные должны мучиться ?

Как говорил небезизвестный Арнольд Шварценеггер - Какие ваши доказательства?
Давайте-ка для примера посмотрите сколько потоков создают браузеры, а потом уже будем обвинять!?

← →
Reindeer Moss Eater © (2005-02-17 11:11) [57]

Попробуй посмотреть сколько коннектов создаёт браузер, тогда уже и сравнивай кто чего больше грузит!

Он создает больше одного коннекта при выкачивании одной страницы.
Но он не выкачивает 10 страниц одновременно.

← →
cyborg © (2005-02-17 11:13) [58]

Только что посмотрел через нортон интернетсекурити. Для примера через Оперу посмотрел свою анкету без загрузки графики!
До загрузки было 47 коннектов, во время загрузки стало 54.
И это только одна маленькая анкета без графики.
Ку?

← →
cyborg © (2005-02-17 11:15) [59]

> Но он не выкачивает 10 страниц одновременно.

Всё он выкачивает одновреммено, стоит открыть 10 веток, будет тебе 10 страниц.

← →
Reindeer Moss Eater © (2005-02-17 11:16) [60]

И что дальше?
А теперь попробуй мышкой открыть десять таких анкет.
Сколько времени уйдет на запуск окон?

А теперь посчитай сколько времени уйдет у программы на то же самое действие. Не на скачивание а на открытие соединений.

До сих пор не понял?

← →
Reindeer Moss Eater © (2005-02-17 11:17) [61]

Всё он выкачивает одновреммено, стоит открыть 10 веток, будет тебе 10 страниц.

Мальчик, что бы сделать это надо сначала 10 раз мышкой клацнуть.

← →
cyborg © (2005-02-17 11:19) [62]

> [60] Reindeer Moss Eater © (17.02.05 11:16)
> И что дальше?
> А теперь попробуй мышкой открыть десять таких анкет.
> Сколько времени уйдет на запуск окон?
>
> А теперь посчитай сколько времени уйдет у программы на то
> же самое действие. Не на скачивание а на открытие соединений.
>
> До сих пор не понял?

Ты хоть сам понимаешь чего говоришь?
Времений уйдёт много, соответственно коннекты продержатся дольше.
У программы на открытие, т.е. нажатие на ветки, уйдёт столько же времени, только загрузка пройдёт гораздо быстрее, так, как грузятся только новые сообщения.

← →
Reindeer Moss Eater © (2005-02-17 11:20) [63]

Сами коннекты будут разнесены по времени.
В случае же с клиентом они будут почти подряд.

← →
cyborg © (2005-02-17 11:21) [64]

> Мальчик, что бы сделать это надо сначала 10 раз мышкой клацнуть.

А в клиенте не надо, да?

К примеру обновив в клиенте эту ветку, создалось одно соединение, по показаниям того же Нортон Интернет секурити.

← →
Danilka © (2005-02-17 11:23) [65]

[54] Reindeer Moss Eater © (17.02.05 11:04)
В том, под которым хожу я есть только кнопка рефреша, никакого автообновления, а зачем? :)
Есть перерывчик небольшой, запрос суровый выполняется, запустил клиента, гланул чего нового, загрузил интересующую ветку, почитал и вырубил клиента, нафига автообновление вообще? :)

← →
Reindeer Moss Eater © (2005-02-17 11:24) [66]

А в клиенте не надо, да?

Прочитай все же пост выше.
Кажется Казановы.

← →
Reindeer Moss Eater © (2005-02-17 11:25) [67]

Danilka ©
Я не пртив клиентов, тем более, что IE это то же клиент.

← →
Knight © (2005-02-17 11:27) [68]

Так мы ни до чего не договоримся... есть радикальное предложение... надо на пару дней блокировать все клиенты с 10-ти утра до 5-ти вечера... и посмотреть, что измениться... :)

← →
WondeRu © (2005-02-17 11:27) [69]

Игорь Шевченко © (17.02.05 10:53) [49]
пользующийся клиентами, мешает остальным, то почему эти остальные должны мучиться ?

докажите сначала, что клиенты виноваты! Думаю Вы сможете это сделать, у Вас есть доступ к апачу.

Вообще приедложение есть: запретить на день (будний желательно) скрипт client.pl и посмотреть как поведет себя сайт... Если дело в клиентах, то я больше никогда не появлюсь на сайте, т.к. плачу по 6 р. за Мб...

ЗЫ Спасибо Piter"у за клиент...

И вообще уберите с форума картинку с дельфином... какого черта она должна жрать трафик?!!

← →
cyborg © (2005-02-17 11:28) [70]

Так ужь и быть, потратил я свой драгоценный траффик и загрузил свою анкету через ИЕ с графикой.

При этом соединения активно скакалив теччении секунд пяти, точнот не знаю, и так максимальное число соелдинений с 47 достигло до 63, это за одно показание только 16 коннектов, а этих коннектов в течении пяти секунд было гораздо больше.

А по поводу:

> [61] Reindeer Moss Eater © (17.02.05 11:17)
> Мальчик,

неплохо бы уважать своего собеседника, а не разглагольствовать без оснований! Если не умеешь основательно оспорить, то лучше помолчать!

← →
cyborg © (2005-02-17 11:32) [71]

> т.к. плачу по 6 р. за Мб...

я ещё больше, где-то 7,50

← →
Reindeer Moss Eater © (2005-02-17 11:34) [72]

Если дело в клиентах, то я больше никогда не появлюсь на сайте, т.к. плачу по 6 р. за Мб...

Дело не в клиентах, а в открываемых соединениях.

← →
Polevi © (2005-02-17 11:35) [73]

автообновление - дурной тон, в любом клиенте - для форума или ERP системы

← →
Reindeer Moss Eater © (2005-02-17 11:36) [74]

И вообще уберите с форума картинку с дельфином... какого черта она должна жрать трафик?!!

Графику можно отключить в своем браузере, а мне например дельфин не мешает

← →
WondeRu © (2005-02-17 11:45) [75]

Reindeer Moss Eater © (17.02.05 11:36) [74]
Графику можно отключить в своем браузере, а мне например дельфин не мешает

чтоб эту умную рыбу не качали те кто графику не отключает!

← →
Reindeer Moss Eater © (2005-02-17 11:49) [76]

Кто не отключает графику - тому дельфин не мешает.

← →
McSimm © (2005-02-17 12:47) [77]

> Поэтому причина не в клиентах.

Не только в клиентах.

Поймите о чем речь. Два скрипта на сайте самые ресурсоемкие.
Это client.pl и forum.pl

Время отдачи у них относительно велико, хотя я всячески свожу его к минимуму.

Время отдачи статики (картинки) очень мало. Кроме того это все обычно кешируется.

Хостер допускает всего 30 соединений !

Есть клиенты, которые запрашивают информацию всегда при навигации внутри его данных. Есть клиенты, создающие десятки запросов. При относительно высоком временени отдачи client.pl это создает дефицит для других запросов.

Разумеется, виноват во всем этом хостер.
Однако, другого пока нет.

forum.pl, кроме прочего, умеет при отсутствии изменений отдавать заранее подготовленный текст, что тоже уменьшает его время.

Сильно увеличивает время отдачи наличие в форуме огромных веток.

Хостер позволяет одновременно только

← →
Reindeer Moss Eater © (2005-02-17 12:49) [78]

Хостер допускает всего 30 соединений !

Елы-палы! О чем мы тут спорим, имея клиента с десятью коннектами?

← →
kaZaNoVa © (2005-02-17 13:19) [79]

BiN © (17.02.05 11:01) [52]

> в таком браузере, как Opera, имеется возможность
> автообновления страниц и мультипотоковая загрузка

да, и настроить можно хоть через 1 секунду обновлять ... но траффик будет .. . ))

cyborg © (17.02.05 11:13) [58]
> До загрузки было 47 коннектов, во время загрузки стало 54.
а куда именно шли эти коннекты - смотрел ..
OutPost например показывает, куда идут коннекты, и сколько данных и с какой скоростью запрашивают ..
может у тя iframe или счётчики грузились .. ?

← →
Nous Mellon © (2005-02-17 13:29) [80]

Надеюсь ДМКлиент нормальный в плане ресурсов? Никаких автообновлений у меня не стоит.

← →
cyborg © (2005-02-17 14:42) [81]

> [79] kaZaNoVa © (17.02.05 13:19)
> а куда именно шли эти коннекты - смотрел ..

Не знаю. Там в сети опенконнектионс показывает. Факт в том, что при использовании ДМклиента там всего одно соединение получается, а при проверочной загрузки через браузеры я написал выше чего получилось. Отсюда делаем выводы кто создаёт по дестять коннектов.

← →
Reindeer Moss Eater © (2005-02-17 15:20) [82]

В 23 посте сказано кто создает десять коннектов.

← →
cyborg © (2005-02-17 15:25) [83]

> [82] Reindeer Moss Eater © (17.02.05 15:20)

У тебя что, пластинку заело?

Читай

> [70] cyborg © (17.02.05 11:28)

К тому же покажи, кто клиентом Магикфорум пользуется? Я к примеру ДМКлиентом пользуюсь и не нужно тут клиентские скрипты отрубать. Наоборот нужно активно предлагать пользоваться данным клиентом, от этого все только выиграют.

← →
Reindeer Moss Eater © (2005-02-17 16:13) [84]

Я к примеру ДМКлиентом пользуюсь и не нужно тут клиентские скрипты отрубать.

Ты вообще с чего решил что речь про тебя идет.
Тема ветки с тобой никак не связана.

← →
Knight © (2005-02-17 23:34) [85]

Одновременных подключений к БД -50
Количество одновременно запущенных CGI-скриптов - 25
Ограничения по времени для скриптов:
из браузера - 30 cекунд (perl,php - неважно)

← →
Piter © (2005-02-17 23:36) [86]

Игорь Шевченко © (17.02.05 10:53) [49]
если народ, пользующийся клиентами, мешает остальным, то почему эти остальные должны мучиться ?

не согласен. Если народ, пользующийся браузером, мешает остальным, то почему эти остальные должны мучаться?

Игорь Шевченко © (17.02.05 11:08) [55]
А в предыдущих постах не показано ?

а что, показано?
Может, вы где-то увидели статистику, как грузят сервер КЛИЕНТЫи как грузят сервер БРАУЗЕРЫ?
Подскажите, плиз, номер поста, а то я искал, искал, да так и не нашел

Reindeer Moss Eater © (17.02.05 11:16) [60]
А теперь попробуй мышкой открыть десять таких анкет.

а ни один клиент не открывает анкеты десятками. Некоторые клиенты вообще просмотр анкеты не поддерживают.

До сих пор не понял?

а ты?

Reindeer Moss Eater © (17.02.05 11:17) [61]
Мальчик, что бы сделать это надо сначала 10 раз мышкой клацнуть

Во-первых, если ты так разговариваешь, то мальчик - это ты.

Во-вторых, таже самая опера может открывать окна, сохранившееся с предыдущего сеанса. Если ты не пользуешься этой фишкой - то это ни о чем не говорит.
К тому же, можешь посмотреть статистику - сколько раз средний пользователь клацает по мышке в день. Будешь удивлен.
Так что 10 нажатий на мышку - небольшая беда.

Reindeer Moss Eater © (17.02.05 11:20) [63]
Сами коннекты будут разнесены по времени.
В случае же с клиентом они будут почти подряд

Ну ну, математик ты фигов. Если бы на свете существовал всего лишь 1 человек, который пользовался этим форумом, то твоя логика была верна.
Но пользователей сотни и даже тысячи.

Соответственно, в пик нагрузки твои запросы всегда пересекаются с запросами другихпользователей.

И какая разница - запросишь ты много, но отработаешь БЫСТРО или будешь запрашивать медленней, но грузить сервер ДОЛЬШЕ по времени. Клиенты грузят много, отчего повышаются шансы отказа сервера. Зато браузеры грузят долго, отчего также повышаются шансы отказа сервера вследствии наложения твоих запросов на запросы других пользователей. Другими словами, чем дольше по времени пользователи нагружают сервер, тем больше шансов, что их запросы пересекутся друг с другом инаберется критическая масса коннектов.

А если учесть, что как оказалось, пользователей клиентов дай бог 1/50 часть от всех пользователей форума, то обвинения клиентов в чем то просто смешны.

Хотите пользоваться браузером? Пользуйтесь, ваше право.
Но не мешайте пользователям клиентов работать комфортно.

Reindeer Moss Eater © (17.02.05 12:49) [78]
Хостер допускает всего 30 соединений !

Елы-палы! О чем мы тут спорим, имея клиента с десятью коннектами?

Елы-палы! О чем мы тут спорим, имея один из самых популярных форумов по Delphi в рунете, если хостер позволяет всего 30 коннектов?

McSimm © (17.02.05 12:47) [77]
Поймите о чем речь. Два скрипта на сайте самые ресурсоемкие.
Это client.pl и forum.pl

а давай во избежание споров ты хотя бы пару дней померяешь нагрузку, создаваемую forum.pl и client.pl и сравним?

← →
kaZaNoVa © (2005-02-17 23:40) [87]

Knight © (17.02.05 23:34) [85]
откуда инфа?

← →
Knight © (2005-02-18 00:02) [88]

> [86] Piter © (17.02.05 23:36)

Надо мерять не просто нагрузку, а распределение её во времени... чтоб заткнуть пальцами 30 отверстий, достаточно 3 человек...

Надо собрать данные: Агент (браузер - клиенты, каждый из которых, в соответствии с правилами их написания, должен сообщать о себе), IP, начало коннекта, длительность... можно даже график построить. Каждому агенту назначить цвет... и построить нормированную диаграмму в которой будет видно какую долю занимает каждый агент в общей сумме коннектов в каждый момент времени. Отсортировать те участки где сумма коннектов максимальна и сообщить проценты сюда... согласен, несколько заморочно... но это довольно полезная инфа для данного спора, а может быть даже покажет пути решения проблемы...

← →
Knight © (2005-02-18 00:04) [89]

> [87] kaZaNoVa © (17.02.05 23:40)
> Knight © (17.02.05 23:34) [85]
> откуда инфа?

От суппортов валуехвостов... :)

← →
Piter © (2005-02-18 00:25) [90]

Knight © (18.02.05 0:02) [88]
Надо мерять не просто нагрузку, а распределение её во времени

согласен, давайте. Вот и посмотрим.

Knight © (18.02.05 0:02) [88]
чтоб заткнуть пальцами 30 отверстий, достаточно 3 человек

или одного человека с программой, написанной за 5 минут

← →
Knight © (2005-02-18 00:42) [91]

> [90] Piter © (18.02.05 00:25)
> или одного человека с программой, написанной за 5 минут

Ну... отверстия программой заткнуть сложно... а вот лимит коннектов исчерпать - это запросто :)

---
Кстати, ведь php - это ведь не CGI... т.е. если перейти на него, то можно расширить горлышко до 50-ти коннектов к базе... а если заюзать, что-то типа кэша, т.е. сохранянть популярные запросы в статичном виде не требующих обращения к базе... то... мечты-мечты... :)

← →
Petr V. Abramov © (2005-02-18 01:03) [92]

> , некоторые товарищи, с неограниченым интернетом, по их
> признанию, вместо использования клиента, полюзуются
> браузерами, и постоянно грузят страницы, чтобы почитиать пару
> новых ответов.
Некоторым товарищам на диалапе тоже пофигу, у них оплата не в кубах, а в часах. "Часы" на загрузку даже большой ветки, если ее не грузить всю - "копейки". когда я сидел на ограничении трафика "по совести", тое сидел целыми днями и обновлял бессовестно - совесть не лопнула (ниче другое тоже :)

> Хостер допускает всего 30 соединений !
С этого надо было и начинать. "Правильное решение" - написать процитированную фразу в caption главного окна любого клиента. Если не поможет (что вряд ли) - применить администраитивные меры (учитывая, что они тоже будут чего-то стоить с точки зрения загрузки)

← →
kaZaNoVa © (2005-02-18 01:06) [93]

Knight © (18.02.05 0:42) [91]
я всегда php юзаю))

← →
Petr V. Abramov © (2005-02-18 01:09) [94]

Это все не из-за политики, не из-за пенсионеров, губернаторов и укринцев. Это все из-за эстонцев :))))))))
http://delphimaster.net/view/14-1108331268/

← →
KSergey © (2005-02-18 11:13) [95]

> Reindeer Moss Eater © (17.02.05 16:13)

Че наезжаешь-то?

Была ветка, где выснили, что клиентами пользуются жутко мало народу.
Ах да, выяснили, что одним клиентом создается 10 конектов... А сколько его штук? А у кого из них автообновление? У тебя есть такая статистика? Нету? Тогда какого х.. ты тут вы...ся??!

Так, народ, быстренько отключили автообновление. Я отключил (его и не было, кроме F5, ее вы у меня не заберете).

Интересно, что-то изменится? Очччень сильно сомневаюсь.

← →
KSergey © (2005-02-18 11:15) [96]

Теперь момент номер 2

Кто-то мне может сказать требования к хостингу, где все это должно крутиться? Интересует необходимый объем.

← →
Alexander Panov © (2005-02-18 11:37) [97]

KSergey © (18.02.05 11:15) [96]
Кто-то мне может сказать требования к хостингу, где все это должно крутиться? Интересует необходимый объем.

Это должен быть Unix-хостинг :Р,
места около 1Гб
Perl, Cron, FTP, Mail

Должен быть не очень дорогим, быстро отвечающим в России, и, наконец, лучше текущего :)
(c) McSimm

От себя дополню - трафик ~2Гб в месяц.

← →
McSimm © (2005-02-18 11:48) [98]

Блииииин (с).

При чем здесь обвинения ?
Кому понадобилось устаривать соревнования между браузерами и клиентами?

Ну, вы, блин, даете.

Поставить ограничение в клиенте на 4-5 максимальных соединений, это что смертельно? Это вызывает жуткий дискомфорт?

Короче. Я все понял.
Считаю для себя тему закрытой.

> а давай во избежание споров ты хотя бы пару дней померяешь
> нагрузку, создаваемую forum.pl и client.pl и сравним?

Урра, наши победили!

Во-избежание споров надо не спорить.
А то, что нагрузка в любом случае складывается, не зависит от отношения между слагаемыми. И уменьшение обоих слагаемых разными путями приводит к уменьшению суммы.

Все. Пишите как хотите.
Буду искать другие методы.

← →
Alexander Panov © (2005-02-18 11:52) [99]

McSimm © (18.02.05 11:48) [98]
Все. Пишите как хотите.
Буду искать другие методы.

Тоже верно.
Но на страничке, описывающей клиентский скрипт, все же не мешало бы написать некоторые рекомендации по этому поводу, как то:
- Желательно не использовать одновременное подключение более 4-5 потоков.
- Желательно функции автообновления ораничить снизу интервалом времени не менее 4-5 минут.

← →
KSergey © (2005-02-18 12:00) [100]

> [97] Alexander Panov © (18.02.05 11:37)
> Это должен быть Unix-хостинг :Р,
> места около 1Гб

С учетом архивов, я правильно понял?

> Perl, Cron, FTP, Mail

Выделенное слово мне не понятно, хотя припоминаю, что это вроде запускалка по расписанию...

> От себя дополню - трафик ~2Гб в месяц.

Это исходящий? А че так мало? Помнится под браузером я один метров 60 сжирал в месяц с этого сайта (если верить прокси)...

Интересно, найдется ли здесь кто-нибудь, кто согласен платить например 50...10 руб в месяц на оплату хостинга?

Просто сегодня случайно попалась реклама agava - 500 МБ, Трафик: неограниченный, из перечисленного - нет только cron, 9у.е./мес (ну грубо 260 руб). Т.е. всего 5 человек по 50 руб - и все клево (ну, возможно я ошибаюсь?)... Или я что-то недопонимаю?

KSergey © (18.02.05 12:00) [100]

Обсуждали уже как-то. Так ни до чего и не договорились.

для начала можно ссылки на хостинг...
мало ли что хостер говорит. valuehost тоже пальцы веером по всему рунету, а качество - никакое.

http://www.vline.ru/index.html?id=1000

http://www.borland.ru/ :)

На Агаве есть план Pro, полностью устраивающий потребности.

Этот вариант уже рассматривается, но есть некоторый скептицизм относительно их качества.

McSimm © (18.02.05 12:25) [105]
Этот вариант уже рассматривается, но есть некоторый скептицизм относительно их качества.

Да, и это самый весомый аргумент.
Если искать, то уже по наводке тех, кто имеет опыт использования предлагаемого хостинга - рлюсы и минусы...

Ответ от суппорта на VLine... время реакции ~10 минут...
---

Здравствуйте,

В основном мы не ограничиваем по кол-ву подключений, конечно в
пределах разумного.

Благодарим Вас за обращение в нашу компанию!
--
Служба поддержки хостинга VLine Telecom, контактная информация:
E-mail: support@vline.ru
Phone Perm: +7(3422) 469-533
Phone Moscow: +7(095) 922-16-79
http://www.vline.ru/

Knight © (18.02.05 12:22) [104]
http://www.vline.ru/index.html?id=1000

Интересный тарифный план....
И даже есть тестовый период...

Удалено модератором
Примечание: Дубль.

> [105] McSimm © (18.02.05 12:25)
> На Агаве есть план Pro, полностью устраивающий потребности.

Там бабок больше ;)
Опять же архивы можно хранить на другом хостинге, пусть плохом, но - дешевле (это если 1Г - был все же с архивами).

> но есть некоторый скептицизм относительно их качества.

Тут не скажу ничего... Однако, пока все, что видел на их хостинге (softodrom, joblist) - очень так шустренько... Надеюсь, что по памяти не ошибаюсь по поводу хостера. Явно указания сейчас не нашел.

KSergey © (18.02.05 12:00) [100]

> Просто сегодня случайно попалась реклама agava - 500
> МБ, Трафик: неограниченный, из перечисленного - нет
> только cron

крон есть на агаве (по крайней мере должен быть)
а вот количество коннектов тоже ограничено и вдобавок агава не любит очень посещаемые сайты ..

у меня друг на Агаве хостится - говорит так себе- например у них MySQL может лежать до 3-х часов (

Knight © (18.02.05 12:45) [107]

> В основном мы не ограничиваем по кол-ву подключений,
>конечно в
> пределах разумного.

некоторые и вправду не ограничивают явно, но например если сайт за сутки будет потреблять более 5-11% ресурсов сервера, то сайт просто отключат((

KSergey © (18.02.05 13:08) [110]

> softodrom, joblist

думаю эти их проекты расположены на выделенных серверах ..

Здравствуйте,

Да, мы согласны взять Ваш ресурс и разместить его на отдельном
незагруженном сервере.

Сергей Сапаров,
Благодарим Вас за обращение в нашу компанию!
--
Служба поддержки хостинга VLine Telecom, контактная информация:
E-mail: support@vline.ru
Phone Perm: +7(3422) 469-533
Phone Moscow: +7(095) 922-16-79
http://www.vline.ru/

В качестве домысла (я все про старое):
А что если сервер вешают не посетители этого сайта, а посетителе других сайтов расположенных на этом же сервере?

Knight © (18.02.05 15:03) [114]
по поводу хостинга VLine- лично я с ним не работал, но цены у него, мягко говоря, не самые низкие .. (100 Мб за ~4$, когда обычно 2,5-3)
Сервера скорее всего действительно неплохие ...

будет время, гляньте http://hostobzor.ru/db/news.php?id=931

то что они дают тест на 5 дней, мало ..
Арбатек например даёт полнофункциональный хостинг 25 Мб места на месяц (!) для тестирования . .)))

но Арбатек сразу, без предупреждений (!) останавливает сайты при нагрузке на их серверы более 6%

2all
если кому интересно, по поводу выбора хостига:
http://hostobzor.ru - поиск и сравнение хостеров
там на форуме много разных "слухов" о хостерах ..

ещё ресурс интересный ..
http://hostinfo.ru/forum/

я сам юзаю hcenter.info (5 мб за 0,35$) и po-hosting.net (альтернативная кладовка) - 100 мб за 2,5$ в месяц))

>>McSimm © (17.02.05 12:47) [77]

>Сильно увеличивает время отдачи наличие в форуме огромных веток.

Может тогда сделать, чтобы по умолчанию грузилась не вся ветка, а первая или последняя страница? А отдельно вывести ссылку "показать все".

P.S.
Кстати, насчет больших веток:
http://itc.ua/forum/index.php?action=them_view&them_id=11939&forum_id=8

Ссылка на всю ветку (>10000 сообщений):
http://itc.ua/forum/index.php?action=them_view&them_id=11939&forum_id=8&order_rev=desc&show_all=1

И ничё так, штрыкает вовсю.

P.P.S.
Кстати текущий движок у ITC"шного форума мне в общем импонирует: не очень навороченный, как phpBB и иже с ним, но и не аскетичный.

>>cyborg © (17.02.05 11:13) [58]

Preferences | Network:
"Max connections to a server" и "Max total connections"
У меня стоит 8 и 32 соответственно.

2Piter
DMC создает всего 1(одно) мгновенное подключение, когда я открываю новую ветку или жму "обновить". и все работает оч. быстро.

А кистате, исчерпание каких connections имеется в виду ошибкой 500? А то вот бывало в юности я соединения _с_базой_данных_ в перловом коде не закрывал явно (потом уже в молодости научился, в секции __END__) - тоже всё падало...

VMcL © (18.02.05 21:37) [122]

>Preferences | Network:
> "Max connections to a server" и "Max total
>connections"
> У меня стоит 8 и 32 соответственно.

у меня в Опере стоит 128 и 128 - очень помогает при загрузке сотни страниц одновременно)))
но для просмотра этого форума пока юзаю клиент Piter"а (автообновление отключено) =)

>В качестве домысла (я все про старое):
> А что если сервер вешают не посетители этого сайта, а
> посетителе других сайтов расположенных на этом же
> сервере?

У меня тоже есть такие предположения появились по поводу дремучих. Периодически вылазит mysql_connect(): Too many connections. Мы переделали скрипты, чтоб отказаться от постоянных сединений, ошибка стала появлятся значительно реже, но всё же появляется, в частности, сейчас. :( Видимо, другие сайты на сервере юзают постоянные соединения. Может и у мастаков дело не только в мастаках.

> Может тогда сделать, чтобы по умолчанию грузилась не
> вся ветка, а первая или последняя страница? А отдельно
> вывести ссылку "показать все".

Угу, вот на дремучих так и сделано. И не только на дремучих, на многих форумах я видел именно так.

З.Ы. для мастаков юзаю клиент Питера, автообновлением никогда не пользовался.

З.Ы. уже заработали дремучие

Перечисли весь список сайтов, которые заработали.

Ну если бы ты зашел с вопросом "почему не работают Дремучие", то это бы было можно понять, а вот оповещение об восстановлении оно как то лишнее, к тому же в совсем посторонней ветке.

VMcL © (19.02.05 12:46) [126]

> Зачем Вам сотни страниц одновременно?

ситуация .. диалап .. времени очень мало, а траффик неограничен))

захожу на какой-нить форум (где в основном IPB или phpBB стоит) и открываю в отдельном окне Оперы по 5-10 форумов и потом быстро "открыть на новой странице" раз 50-150 .. ))) каждая в среднем 30-100 кб, получаем 5 МБ траффика за 15 мин всё постепенно загружается . .)))

правда, я заметил, что иногда некоторые сервера глючить начинают . .(

Есть такая мысль: Ограничить число одновременных конектов клиентом с одного хоста например до двух, но вместе с тем доработать скрипт и клиенты чтобы тот контент что скачивается несколькими конектами можно было скачать за один конект.
Например юзеру нужны несколько веток. Он выбирает что ему нужно и потом конектиться, скрипт должен за один конект передавать все что требуется, а клиент потом резать на отдельные составляющие...

Кстати контент не мешало бы сжимать гзипом на сервере а в клиентах разжимать. Это экономило бы трафик и время передачи контента, т.е. меньше было бы время существования конекта....

> SergP © (19.02.05 22:58) [136]

Спорный вопрос. Не будет ли архивирование отнимать слишком много ресурсов? У меня тоже были такие мысли, но до сих пор не реализовывал, т.к. не решил, стоит ли овчинка выделки.

использование gzip для клиентов, скорее всего, сделаю.
Кстати, для браузеров он используется (если не отключил для разгрузки, не помню сейчас :)

VictorT © (20.02.05 13:26) [139]
имхо сервер сжимает GZIP"ом данные со скоростью 5-20 Мб/сек, если страница 50-250кб, то времени на сжатие уйдёт совсем не много, а экономия траффика и сокращение времени коннеккта большое))

>>kaZaNoVa © (19.02.05 14:33) [132]

Знакомо, сам так делал. Но не совсем так. Всё-таки не сотню страниц. Максимум 20..25.

марсианин © (18.02.05 23:36) [123]
DMC создает всего 1(одно) мгновенное подключение, когда я открываю новую ветку или жму "обновить". и все работает оч. быстро

или давай говорить предметно, или не будем демонстрировать незнание других клиентов. Magic Forum, по твоему, при загрузке одной ветки открывают пару-другую сотен подключений?

McSimm © (20.02.05 13:21) [138]
использование gzip для клиентов, скорее всего, сделаю

тогда невозможно будет отображать прогресс загрузки ветки, видимо. Мне кажется, над этим тоже стоит подумать...

Клиентописателям. Просьба зайти сюда на минутку. Найти похожие ветки