Броузер для экономии трафика

← →
Piter © (2005-08-23 19:26) [40]

programania, ну в общем понятно. Задумка в общем неплохая, для своих. Но это не перспектвная программа :)

Потому что чем больше будет пользователей - тем хуже.

Ну и, конечно, никто не даст гарантию что ты не собираешь приватные данные :(

Так что... о перспктивах я сказал :(

Понимаю, что слышать это неприятно, но согласись - это ведь так. Если допустим у твоей программы сейчас появятся тысяча пользователей хотя бы - то программа просто перестанет работать...

← →
Anatoly Podgoretsky © (2005-08-23 19:41) [41]

programania © (23.08.05 18:52) [39]
>Кстати никогда не рискну использовать, что то не проверенное,
так проверьте чем хотите
и вообще опишите как вы проверяете, что проверили и какие результаты

Ты меня за начинающего принимаешь?
Я уже встречал сайты, где внешне все нормально, только вот в определеный момент времени отдается совсем другой контент. При том разово, в следующий раз опять все нормально.

← →
VictorT © (2005-08-23 19:57) [42]

Ничего не сказано о принципе сжатия. Где жмётся трафик? На каком-то серваке в инете? На каком?

← →
Piter © (2005-08-23 20:09) [43]

VictorT © (23.08.05 19:57) [42]

на его собственном, на programania.com

Типа интеллектуального прокси там.

← →
имя (2005-08-23 20:18) [44]

Удалено модератором

← →
Anatoly Podgoretsky © (2005-08-23 20:59) [45]

VictorT © (23.08.05 19:57) [42]
Вот, вот и ты спрашиваешь, а потом человек удивляется почему у него бабки с большой скоростью за трафик побежали.

← →
Defunct © (2005-08-23 21:06) [46]

> Anatoly Podgoretsky

В [44] человек удивлялся что ли?

← →
Джо © (2005-08-23 21:07) [47]

> [46] Defunct © (23.08.05 21:06)
> В [44] человек удивлялся что ли?

Он не удивлялся. Он давал совет 8-)

← →
Defunct © (2005-08-23 21:12) [48]

> Джо

Понял ;>

← →
Anatoly Podgoretsky © (2005-08-23 21:13) [49]

Defunct © (23.08.05 21:06) [46]
Не знаю, но красный.

← →
programania © (2005-08-23 21:57) [50]

Piter © (23.08.05 19:26) [40]
>Потому что чем больше будет пользователей - тем хуже.

а раз хуже, тем меньше пользователей - отрицательная обратная связь однако ведет к стабилизации

>Ну и, конечно, никто не даст гарантию что ты не собираешь приватные данные :(

Кто кому когда дал такую гарантию и кто в нее поверил?
Однако все пользуются кучей программ

>Если допустим у твоей программы сейчас появятся тысяча пользователей хотя бы - то программа просто перестанет работать...

Она не перестанет работать никогда
Просто сократит трафик до 2мб в час и будет сообщать когда продолжит работу
Но до этого не дойдет потому что многим это надоест раньше.

>Anatoly Podgoretsky © (23.08.05 19:41) [41]
>Ты меня за начинающего принимаешь?

С чего вы взяли?

>Я уже встречал сайты, где внешне все нормально,
>только вот в определеный момент времени отдается совсем другой контент. При том разово, в следующий раз опять все нормально.

Может это для прикола
Я тоже так хочу сделать менять цвета и некоторые слова при каждой загрузке
будет весело

>VictorT © (23.08.05 19:57) [42]
>Ничего не сказано о принципе сжатия. Где жмётся трафик? На каком-то серваке в инете? На каком?

Похоже тема стала необозримой повторю
Трафик жмется на programania.com
точнее скриптом /php/si.php
еще точнее оператором $s=gzencode($s,9);
это типа ZIP но в Linux

>Anatoly Podgoretsky © (23.08.05 21:13) [49]
>Не знаю, но красный.

Так знайте что цвет программы может быть любым и красным тоже

← →
Piter © (2005-08-23 22:45) [51]

programania © (23.08.05 21:57) [50]
это типа ZIP но в Linux

ну я например и так трафик GZIP получаю.
ПРавда, на серверах, которые этот трафик так отдавать умеют :)

← →
Gero © (2005-08-24 00:04) [52]

> это типа ZIP но в Linux

Несерьезно. Если сжимать, то уже в 7z.

← →
Piter © (2005-08-24 00:09) [53]

Gero © (24.08.05 0:04) [52]

ага, реализуй сначала алгоритм 7z на PHP :)

← →
VictorT © (2005-08-24 01:20) [54]

Благодаря всему этому экономия получается больше чем при использовании
сжатия по протоколу http1.1

← →
VictorT © (2005-08-24 01:22) [55]

>Трафик жмется на programania.com
>точнее скриптом /php/si.php
>еще точнее оператором $s=gzencode($s,9);
> это типа ZIP но в Linux

Это же позволяет http-протокол, и большинство броузеров это поддерживают.
Почему же у тебя написано это?
Благодаря всему этому экономия получается больше чем при использовании
сжатия по протоколу http1.1

← →
Piter © (2005-08-24 01:41) [56]

VictorT © (24.08.05 1:22) [55]

потом что его прокси еще и анализирует изменения, произошедшие в HTML файле. И если изменилась только часть - то и высылается только изменившеяся часть странички, еще и упакованная.
Имхо, так.

← →
programania © (2005-08-24 03:04) [57]

>Gero © (24.08.05 00:04) [52]
>Несерьезно. Если сжимать, то уже в 7z.

К сожалению linux не поддерживает 7z а windows стоит втрое дороже
Однако все преимущество 7z и прочих это лишь несколько процентов или сотни байт,
которые никто не заметит и это несерьезно.
Чтоб получить серьезную экономию нужно сделать специализированный
архиватор нацеленный на сжатие html и тогда можно обогнать любой универсальный
например закодировать все ключевые слова html по словарю который можно не передавать
и уже потом сжать как обычно

>VictorT © (24.08.05 01:22) [55]
>Это же позволяет http-протокол, и большинство броузеров это поддерживают.

Поддержки броузером недостаточно главное чтобы сервер был настроен
а это мало кто делает

>Почему же у тебя написано это?
>Благодаря всему этому экономия получается больше чем при использовании
>сжатия по протоколу http1.1

Написано потому что выше перечислено все это благодаря чему
перечислю еще раз:
не грузятся не изменившиеся части страниц или вся страница
если нужно передать несколько файлов они передаются как 1 непрерывный архив
а это экономия и на передаче и на сжатии
можно выбрать на сервере и загрузить только нужные части страницы
тут экономия может быть в десятки раз
Часть тегов мета и коментарии удаляются уже на сервере
реклама и счетчики подавляются
Картинки можно передавать в уменьшеном до указаной величины размере
Все это протокол http 1.1 не делает и никогда не будет делать
а картинки так он вообще не сжимает

← →
VictorT © (2005-08-24 03:46) [58]

> Поддержки броузером недостаточно главное чтобы сервер
>был настроен
> а это мало кто делает

Ну так сделал бы свой сервер сжимающим прокси, чтобы каждый пользовался броузером, который ему нравится.

> не грузятся не изменившиеся части страниц или вся
> страница

Получается, на сервере хранится кеш всех страниц, причём свой для каждого пользователя?

← →
Skyle © (2005-08-24 07:18) [59]

> >Skyle © (23.08.05 12:51) [30]
> >Не думаю, что такой стиль общения программы шибко хорош.
>
> Удивительно как легко очеловечивают программу и даже обижаются
> на нее
> Постараюсь учесть это и сделать 2 варианта одушевленный
> и обезличенный
> как уже сделал для другой программы на которую еще никто
> не обиделся
>

Пользователь общается с компьютером на "Вы", программист - на "ты", хакер - на "ты козёл".
Я с компьютером, а не компьютер со мной.
По мне так есть разница, и вообще, такие запанибратские программы отдают журналом "Хакер".... Удивительно, что нигде там не написано слово "супермегарулез" или чего-нибудь подобное...

> >Не окажется ли так, что админ поглядит на большущий трафик
> с этого адреса и забанит его нафик?
>
> Нет, потому что трафик платный и оплачен, он просто спишет
> с моего счета за перерасход

Здесь под "админ" понимается админ моей конторы, в которой я пользуюсь служебным интернетом. Он ничего не спишет, он просто забанит адрес, с которого идёт неимоверный трафик от всея конторы. Логи не обрабатываются глазками, на них натравливают некие программки, которые просто выдают
хост - мегабайты
Таким образом, такая система хоронит все полезные начинания.

> >Кстати, удалось только что получить AV....
>
> Пожалуста сообщите
> Какая windows, IE, в какой момент, как запустили, откуда,
> что нажимали

XP SP1, IE 6.0.
Скачал, запустил прямо из винзипа, зашёл (автоматом) на programania, поматерился по этому поводу, зашёл на delphimaster, зашёл на корпоративный сайт(1), закрыл программу, в %Temp% удалил каталог Sites, запустил ещё раз прямо из WinZip"а, послушал маты на тему того, что нифига по адресам не найдено (оно мне зачем-то все окна оставила открытыми и очень хотело всё это мне обратно показать). Зачем я просто начал всё подряд закрывать и на закрытие последнего окна получаю AV. Последнее окно естественно не закрывается. Ошибка устойчивая.
Если нужно конкретнее - контакты в анкете.

Теперь по поводу (1).
Мне удивительно, почему ускоритель интернета открывает мой корпоративный сайт (который находится у меня под боком) в течение 6 секунд, шляясь где-то с интересующим меня контентом. Может сделать что-нибудь типа "не использовать фичу для локальных адресов"? (это типа предложение).

← →
Gero © (2005-08-24 07:44) [60]

> К сожалению linux не поддерживает 7z а windows стоит втрое
> дороже

У 7z исходники открыты.

> Однако все преимущество 7z и прочих это лишь несколько процентов
> или сотни байт,
> которые никто не заметит и это несерьезно.

Только что сжал папку с html на 1.5 Мб. В zip ~650, в 7z ~500 Кб.
По-моему, разница все же есть.

← →
programania © (2005-08-24 12:40) [61]

VictorT © (24.08.05 03:46) [58]
>Ну так сделал бы свой сервер сжимающим прокси, чтобы каждый пользовался броузером, который ему нравится.

Тогда многие возможности не удалось бы сделать тем более для любого броузера
Я пока не могу переделать любой броузер по своему вкусу
а это меня никак не устраивает
Однако напишите что хорошего есть в броузере который вам нравится
и я лучше попытаюсь добавить это в свою программу

>Получается, на сервере хранится кеш всех страниц, причём свой для каждого пользователя?

Нет страницы на сервере не хранятся это не реально тем более для каждого пользователя

>Skyle © (24.08.05 07:18) [59]

>такие запанибратские программы отдают журналом "Хакер"....

никогда не видел наверно мне туда тоже надо написать

>Таким образом, такая система хоронит все полезные начинания.

Как же я скажу про вашего админа я его не знаю и порядков в вашей конторе тоже
Но думаю служебный интернет у вас бесплатный так что моя программа вам и не нужна

>Скачал, запустил прямо из винзипа,

Нужно распаковать в папку и оттуда запустить об этом написано в readme
иначе последствия непредсказуемые
Программа создает папки sites images для хранения сайтов и картинок
и в архиве создать не смогла и создала в %temp%

>удалил каталог Sites
>послушал маты на тему того, что нифига по адресам не найдено

так она в sites и хранит страницы для повторного показа

>Мне удивительно, почему ускоритель интернета открывает мой корпоративный сайт
>(который находится у меня под боком) в течение 6 секунд,

Это не ускоритель интернета а броузер для экономии трафика
и при быстром интернете может и наоборот замедлить

>Может сделать что-нибудь типа "не использовать фичу для локальных адресов"?

Если ввести в поле адреса адрес локального html
например так d:\sites\site.htm и нажать enter
то программа быстро откроет его с диска
занесет в список, сохранит в свой архив и
будет показывать из него пока не нажать обнови
а какой ваш локальный адрес?
может на него не расчитана
сообщите я добавлю правильную их обработку

>Gero © (24.08.05 07:44) [60]
>У 7z исходники открыты.

Так что же переделывать их в PHP?

>По-моему, разница все же есть.

Я и не говорил что нет
Однако gz все же посильнее zip и страниц в 1.5мб не бывает
на на обычных размерах 10-50кб разница будет меньше

← →
Skyle © (2005-08-24 12:54) [62]

> >Таким образом, такая система хоронит все полезные начинания.
>
> Как же я скажу про вашего админа я его не знаю и порядков
> в вашей конторе тоже

А я и не просил.... Я о другом совсем....

> Но думаю служебный интернет у вас бесплатный так что моя
> программа вам и не нужна

Ситуации - они ведь разные бывают. И админы разные. И вообще, кому она в таком случае нужна? Диалапщикам? Что-то мне сомнительно....
Им и так не сладко, так ещё и зависимостей добавляется..

> >Скачал, запустил прямо из винзипа,
>
> Нужно распаковать в папку и оттуда запустить об этом написано
> в readme

Какая разница? WinZip перед запуском распаковывает в %Temp%, так что всё выполнено....

> иначе последствия непредсказуемые

Ну это знаете ли как-то странно слышать.... Короче, без комментариев.

> Программа создает папки sites images для хранения сайтов
> и картинок
> и в архиве создать не смогла и создала в %temp%

Ну я догадался... Чай не форум домработниц...

> >удалил каталог Sites
> >послушал маты на тему того, что нифига по адресам не найдено

> так она в sites и хранит страницы для повторного показа

Повторный показ, как оказывается, вещь неоднозначное.
Я понимаю, если бы она при повторном запросе повторно показывала... А то, что она при старте грузит всё, что я у неё когда-нибудь спрашивал, мне не нравится...

> >Мне удивительно, почему ускоритель интернета открывает
> мой корпоративный сайт
> >(который находится у меня под боком) в течение 6 секунд,
>
> Это не ускоритель интернета а броузер для экономии трафика
> и при быстром интернете может и наоборот замедлить
>
> >Может сделать что-нибудь типа "не использовать фичу для
> локальных адресов"?
>
> Если ввести в поле адреса адрес локального html
> например так d:\sites\site.htm и нажать enter
> то программа быстро откроет его с диска
> занесет в список, сохранит в свой архив и
> будет показывать из него пока не нажать обнови
> а какой ваш локальный адрес?
> может на него не расчитана
> сообщите я добавлю правильную их обработку

Такая локальность меня не интересует совершенно (но и на том спасибо, что мои локальные файлики через свой сервер тянуть не будет). Меня интересуют локальные адреса в смысле IE (адресов внутренней сети).
Достаточно логично не таскать всё подряд через сервер.

Простой пример. У меня дома 2 компутера объединены в локальную сеть. Адреса 192.168.0.1/2. Допустим на машине 1 я соединился с инетом, запустил SI и иду на http://192.168.0.2/MyFavoriteDocs
Я пойду через сервер, nicht war?

← →
Piter © (2005-08-24 13:02) [63]

Gero © (24.08.05 7:44) [60]
У 7z исходники открыты

Янис, перепишешь на PHP? :)))

К тому же сжимаемость здесь не единственный показатель. Что толку от твеого 7z, если сервак на сжатии повиснет нафиг

← →
programania © (2005-08-24 13:34) [64]

>Skyle © (24.08.05 12:54) [62]
>И вообще, кому она в таком случае нужна?

У кого дорогой трафик и нет вредных админов

>Какая разница? WinZip перед запуском распаковывает в %Temp%, так что всё выполнено....

Действительно попробовал все и так работает и из winzip и из wcmd и без AV
но все же зря вы удалили sites
я еще буду пробовать разные ситуации

>А то, что она при старте грузит всё, что я у неё когда-нибудь спрашивал, мне не нравится...

При старте грузится только список из si_ini.gz и последняя страница это быстро
далее при переходе грузится с диска из sites если есть

>Я пойду через сервер, nicht war?

Да по такому адресу не разобрать что это не интернет
придется ввести их список в настройки
или может можно назначить сетевой диск
чтобы не было http:// в начале

← →
Джо © (2005-08-24 14:14) [65]

>
> или может можно назначить сетевой диск

Причем здесь какой-то там "диск"? Это http-пртокол все-таки...

← →
programania © (2005-08-24 14:41) [66]

>Джо © (24.08.05 14:14) [65]
>Причем здесь какой-то там "диск"? Это http-пртокол все-таки...

Однако для внутренней сети
а в ней можно подключить сетевой диск
для сокращения пути и многие так и делают
так что дисков штук 20 бывает

>Skyle ©
>послушал маты на тему того, что нифига по адресам не найдено
>Зачем я просто начал всё подряд закрывать и на закрытие последнего окна получаю AV.

Похоже вы не окна стали закрывать а удалять страницы с диска и списка которых и так нет
там кнопки с крестиками похожи и рядом
Я тоже удалил sites и только тогда при удалении страницы которой нет получил AV
врядли кто так будет делать однако
исправил и обновил до v0.1 уже beta благодаря всем написавшим

спасибо всем

← →
DeadMeat © (2005-08-24 15:14) [67]

programania © (24.08.05 14:41) [66]

>Джо © (24.08.05 14:14) [65]
>Причем здесь какой-то там "диск"? Это http-пртокол все-таки...

Однако для внутренней сети
а в ней можно подключить сетевой диск
для сокращения пути и многие так и делают
так что дисков штук 20 бывает

Скорее всего дело в том, что в организации (или дома) стоит свой веб сервер.. Для своих каких то нужд.. не важно. Он есть и им могут пользоваться как люди извне так и люди с локалки. Для локальных естественно преимущество (в большинстве случаев) - оно бесплатно и быстро. Поэтому нет нужды ходить туда через ваш браузер. Так что я поддерживаю идею с локальными адресами.
Два варианта:
1. Список адресов, на которые надо заходить напрямую.
2. Определять по подсети, т.е. к примеру все, что имеет адрес 192.168.100.ххх уже с локалки. Ну конечно это не 100 процентов гарантии. Но тоже как вариантов, т.к. и таких много. Просто пример.
ИМХО самый надежный вариант - список.

← →
Skyle © (2005-08-25 06:27) [68]

> [67] DeadMeat © (24.08.05 15:14)
Вообще непонятно....
Вроде речь идёт о http-протоколе, принципах работы прокси-сервера и прочих достаточно умных вещах и здесь же, рядом.....мне предлагается подключить веб-сервер как сетевой диск.....

Неясно....

> Скорее всего дело в том, что в организации (или дома) стоит
> свой веб сервер

Именно так. Папка тут не при чём (или SI мне сможет asp корректно отработать? %-)))).

> Похоже вы не окна стали закрывать а удалять страницы с диска
> и списка которых и так нет
> там кнопки с крестиками похожи и рядом

В данном случае я не вижу разницы между "закрывать окна" и "удалять страницы". Если у меня есть подчинённый крестик и программа открывает окна, то я считаю, что я закрыл окно. А что при этом произойдёт - дело десятое.

Теперь о другом. Я правильно понял, что при нажатии на этот маленький крестик (который я, кстати, увидел далеко не сразу), страница удаляется из локального кэша? Если это так, то это ....хм... неправильно ни разу...

Короче всё ясно...

> Что толку от твеого 7z, если сервак на сжатии повиснет нафиг

А на gz не повиснет?

>DeadMeat © (24.08.05 15:14) [67]
>ИМХО самый надежный вариант - список.

Да я тоже так думаю и уже сделал список начал адресов
для загрузки напрямую но надо испытывать некоторое время
хотя тогда возможности сжатия пропадают
но быстрее и независимо от моего сервера
и остаются список поиск, оффлайновый просмотр и др.

>Skyle © (25.08.05 06:27) [68]
>Вообще непонятно....
>мне предлагается подключить веб-сервер как сетевой диск.....

Придется обьяснить
Протокол по которому получаются данные определяет драйвер диска
это такая программа которая всегда в памяти и
транслирует стандартные команды обращения к диску в
команды протокола который понимает конкретное устройство
это было уже в MSDOS для независимости от устройств
а устройство может быть любым: флеш, диск другого компьютера
соединенного по com порту или по интернету неважно
если для него есть драйвер диска все будут видеть его
как обычный диск и моя программа тоже

>Если у меня есть подчинённый крестик и программа открывает окна, то я считаю, что я закрыл окно

Пожалуй лучше вообще уберу эту кнопку чтоб не путать

>страница удаляется из локального кэша? Если это так, то это ....хм... неправильно ни
разу...

Вернее из папки sites и списка
Но как же тогда правильно удалять ненужное?

>Gero © (25.08.05 08:15) [69]
>А на gz не повиснет?

gz и расчитано на работу с сервером апач
и работает практически мгновенно и для 100-200кб

веселая ветка, особенно понравилось про "отрицательную обратную связь"

> Придется обьяснить
Остальное поскипано за ненадобностью.

Т.е. я правильно понял, что для того, чтобы работать с нужными веб-серверами БЕЗ участия сервера SI я должен их подцеплять как диски, потому что в противном случае они не будут считаться локальными и ходить к ним надо будет через этот самый жмущий сервер?

> Пожалуй лучше вообще уберу эту кнопку чтоб не путать
А что она делает-то?

> Нет страницы на сервере не хранятся это не реально тем
> более для каждого пользователя

Каким же образом определятся, какая часть страницы изменилась? Броузер определяет?

Gero © (25.08.05 8:15) [69]
А на gz не повиснет?

уверен, что gz требует для сжатия куда меньше ресурсов. Забьемся? :)

VictorT © (25.08.05 15:44) [73]
Каким же образом определятся, какая часть страницы изменилась?

хм, если прокси не хранит страницы - то мне тоже интересно. Как это он может определить что изменилось, если не имеет предыдущей версии.

Одна догадка - клиент высылает ему СТАРУЮ версию страницы, логично.

Тогда экономим входящий трафик в ущерб исходящему.

>Skyle © (25.08.05 10:56) [72]
>Т.е. я правильно понял,

Да правильно пока так, но скоро будет возможность задать
список начал адресов для прямого доступа
в текстовом файле si_direct_url.txt
хотя она есть со вчерашнего дня но совершенно не проверена

>А что она делает-то?

Удаляет страницы из папки sites и списка навсегда но сначала предупреждает

>VictorT © (25.08.05 15:44) [73]
>Каким же образом определятся, какая часть страницы изменилась? Броузер определяет?
>Piter © (25.08.05 16:52) [74]
>мне тоже интересно. Как это он может определить что изменилось, если не имеет предыдущей версии.
>Одна догадка - клиент высылает ему СТАРУЮ версию страницы, логично.

Не угадали
Однако конечно броузер что-то посылает для сравнения но всего примерно 160 байт
и что изменилось определяет сервер
По моему интересная задача
Тут вот кто-то задавал задачки совершенно бесполезные но сейчас что-то не видно
Так я задам еще одну четверговую имеющую практическую пользу:

Как узнать какие части новой страницы изменились если старая страница недоступна,
причем на PHP который в 100 раз медленее Delphi так что вложенные циклы невозможны,
и все нужно проделать менее чем за 5 сек иначе сервер не выдержит и снимет
По моему решение уже очевидно но может кто найдет другое?

← →
имя (2005-08-25 20:16) [76]

Удалено модератором

> [76] ! Han ! © (25.08.05 20:16)
> Win rar лучше чем зип! И это факт.

Тогда нужно спросить определение "лучшести". Итак: ...?

Звучит прикольней...

---
...Death Is Only The Begining...

← →
Gero_ (2005-08-26 00:37) [79]

> верен, что gz требует для сжатия куда меньше ресурсов. Забьемся? :)

Да чего тут забиваться, это и так понятно.
Но это не значит, что из-за него сервер не может повиснуть. Не значит это так же и то, что он повиснет из-за 7z.

Gero_ (26.08.05 0:37) [79]

все верно. Я просто хотел сказать, что не только конечный объем материала важен здесь, важна также скорость сжатия на лету.

То есть, выбрав алгоритм с максимальной компрессией - это не означает выбрать лучшее.

Броузер для экономии трафика Найти похожие ветки