Упаковка (сжатие) исполняемых файлов

← →
TIF © (2009-09-05 19:53) [0]

Интересует всё по сабжу: плюсы, минусы, хвалебные речи, критика и т.д. Чем больше, тем лучше. В целях самообразования :)

В частности, хорошо бы всё то же самое, но в рамках UPX (http://upx.sourceforge.net)

PS
на данный момент знаю следующие ситуации, когда паковка принесёт вред:
* Сжатие DLL - недопустимо
* Сжатие больших exe - бессмысленно
* Использование упакованных exe на слабых ПК - бесполезная трата времени
* Идентификация упакованных exe как опасных троянов некоторыми антивирусами

Плюсы перечислены в вики:
http://ru.wikipedia.org/wiki/UPX
* Упаковка исполняемого файла позволяет уменьшить занимаемое программным обеспечением место (что может быть критично в случае передачи через сети или выпуске ПО на носителе ограниченной ёмкости).
* Поэтому нельзя не оценить эффект, возникающий при системном применении упаковщиков исполняемых файлов, таких, как UPX. Вычислительная система затрачивает на порядок меньше времени на считывание и распаковку сжатого файла в оперативной памяти, нежели на простое считывание этого же, неупакованного файла (при считывании с внешнего накопителя время, затрачиваемое на операцию исчисляется милисекундами, время, затрачиваемое на обработку данных в оперативной памяти исчисляется микро и нано секундами).

Плюсы ли это? Минусы ли это? Нужно ли растреливать всякого, кто пакует своё творение? :)

← →
TUser © (2009-09-05 19:56) [1]

> Нужно ли растреливать всякого, кто пакует своё творение?

Не надо, эти слишком мягкое наказание ))

Собственно, упаковщики приводят к расходу оперативы, что плохо, а мегабайты на диске и в траффике никому сегодня не вредят.

← →
DrPass © (2009-09-05 20:00) [2]

> TIF © (05.09.09 19:53)

Ты в общем-то уже все сам написал. И не так уж сложно и дальше решить, стоит ли потенциальный геморрой сотни-другой сэкономленных килобайт, при нынешних-то мощностях и скоростях.

← →
Игорь Шевченко © (2009-09-05 20:02) [3]

расстреливать нужно всех, а флудеров - дважды

← →
Кто б сомневался © (2009-09-05 20:09) [4]

Вобще паковать надо, если проект небольшой - какая то утилита, типа тотал коммандера (раньше он паковался до 2009 года UPX). Нужно это для того чтобы быстрее скачать, у некоторых до сих пор слабый инет - модем, да и в целом это хороший показатель для пользователя - мол программа небольшая (по функционлу) а размер раздутый, тут что то не то, может кодеры писали не отпимизированный код ну вобщем в этом плане - еще года 4 назад опрашивали юзеров на каком то форуме, они так отвечали примерно - пруфлинк не могу найти - ветку наверное удалили.
Есть одно НО. Некоторые антивирусы, у которых плохая поддержка пакеров, - а таких сейчас много (ввсе хотят сделать свой антивирус пофиг что базы обновляются фэйком.. :) ) часто видят трояна\вирус в упакованных файлах. Вот только это одно но. Даже в UPX - только поэтому автор тотала не стал паковать программу свою..

← →
Кто б сомневался © (2009-09-05 20:11) [5]

> Использование упакованных exe на слабых ПК - бесполезная
> трата времени

Слабый ПК это в данном случае четверка (486), т.к. UPX очень быстро распаковывает.

← →
boriskb © (2009-09-05 20:11) [6]

> Игорь Шевченко © (05.09.09 20:02) [3]
> расстреливать нужно всех, а флудеров - дважды

А второй раз когда? :))

← →
DVM © (2009-09-05 20:17) [7]

> * Использование упакованных exe на слабых ПК - бесполезная
> трата времени

Это на 286 что ли? Даже на 486 разницу уже не увидишь (увидят только маньяки). Так что не аргумент.

← →
Кто б сомневался © (2009-09-05 20:20) [8]

Кстати лучше всего поддержка пакеров у Касперски (Gold Packers Support). http://www.anti-malware.ru/node/142

← →
TIF © (2009-09-05 20:21) [9]

> Ты в общем-то уже все сам написал.

Не верю :) Разве что в общих словах... И неужели в википедии написали что-то достоверное? )
В области принципов работы всяких упаковщиков с ОЗУ я полный чайник.

Ну вот как работает UPX с памятью и свопом - это откровенная порнография, или ещё более-менее, лёгкая эротика?

UPX-komprimierte Programmdateien haben zudem größere Auswirkungen auf die Systemresourcen. Das Betriebssystem kann kein dekomprimiertes Abbild direkt vom Datenträger lesen (siehe Virtuelle Speicherverwaltung), wie es das im Falle von unkomprimierten ausführbaren Dateien macht. Stattdessen reserviert der UPX-Dekompressor einen Speicherbereich für die entpackten Daten, der zugeordnet wird, solange die Programmdatei geladen bleibt – ob sie verwendet wird oder nicht. Dies verhindert auch das Wiederverwenden der Ressourcen, wenn mehrere Instanzen desselben UPX-komprimierten Programms geladen sind.
С грехом пополам перевёл гуглом:
UPX-сжатые файлы программ также имеют большое влияние на системные ресурсы. Операционная система не может читать без сжатия изображения непосредственно с диска (см. виртуальной памяти), как это происходит в случае несжатый исполняемые файлы. Вместо этого, оставляем за собой декомпрессор UPX хранения данных для извлечения данных, которые будут выделены, пока программа загрузки файла - если они используются или нет. Это также предотвращает повторное использование ресурсов при загрузке нескольких экземпляров одной и той же программы сжатые UPX.
Это большой минус значит... Особенно когда запускается несколько экземпляров и для каждого из них выполняется одна и та же работа? %-\
Если экземпляр один - ещё более-менее

← →
TIF © (2009-09-05 20:25) [10]

> Кстати лучше всего поддержка пакеров у Касперски

Слава богу что речь про Kaspersky

А то вот ещё статья Криса-крыса Касперски:
http://api.farmanager.com/ru/articles/bonus/www_programme_ru_102001_1.htm
Грамотно ли написана? У меня лично к творениям этого "хакера всех времён и народов" только отрицательное отношение, и сочувствие к самому автору...

← →
Игорь Шевченко © (2009-09-05 20:28) [11]

TIF © (05.09.09 20:21) [9]

Тебе настолько скучно и нечем заняться ?

← →
Ruzzz (2009-09-05 20:40) [12]

А не достаточно 7z для распространения в инете?

← →
Кто б сомневался © (2009-09-05 21:00) [13]

> А не достаточно 7z для распространения в инете?

Мнение среденго юзера - маленькая программа с крутым функционалом (uTorrent как пример - ~200 kb (автор паковал UPX), а весит под мегабайт если распаковать) - это программа написанная профессионалом. Ну в какой то мере это правда.

← →
KilkennyCat © (2009-09-05 21:32) [14]

Мнение среднего юзера лично я не знаю. Это все из той оперы, что опрос пользователей интернета показал, что его используют 100% пользователей, или как там в оригинале...
В свое время, программеры из одной очень серъезной конторы объяснили мне на мои жалобы, что мои проги млохо продаются, хотя лучше конкурентов, маленькие и функциональные и ничего лишнего, что именно поэтому. А была бы большая и навороченная - значит, серъезный продукт, денег стоит...

← →
DVM © (2009-09-05 21:35) [15]

> В свое время, программеры из одной очень серъезной конторы
> объяснили мне на мои жалобы, что мои проги млохо продаются,
> хотя лучше конкурентов, маленькие и функциональные и ничего
> лишнего, что именно поэтому. А была бы большая и навороченная
> - значит, серъезный продукт, денег стоит...

+100. Из двух программ с одинаковым функционалом покупают ту, что больше.

← →
Кто б сомневался © (2009-09-05 21:35) [16]

> маленькие и функциональные и ничего лишнего, что именно
> поэтому.

Ну глупость сморозил, сам то подумал? Сколько маленьких популярных программ продается.
Т.е. юзер скачал - запустил ага прога маленькая, все удаляю.. Ну ни бред ли? Может дело в в другом?

← →
Кто б сомневался © (2009-09-05 21:37) [17]

> DVM © (05.09.09 21:35) [15]

Не народ, вы ошибаетесь.. На размер игр смотрят, на размер прог не смотрят (всмысле крутая или не крутая - судя по размеру).

← →
DVM © (2009-09-05 21:38) [18]

> Кто б сомневался © (05.09.09 21:35) [16]

> Ну глупость сморозил, сам то подумал?

Это не глупость, это парадокс. Не раз был свидетелем того, что в дистрибутив плохо продающейся программы, включали кучу ненужной фигни, типа PDF, Acrobat Reader, и т.д. и, о чудо, она начинала продаваться.

← →
Кто б сомневался © (2009-09-05 21:39) [19]

Наоборот жалуются. Вспомните Nero - все говорили зачем выпускать такого монстра - реакция Ahead - выпустили Nero Micro (ну или как там). Стали появлятся другие программы для записи, меньшего размера (1-2 мб по сравнению - с 200-600 Nero) - и они стали популярны, люди выбирают их а не Nero .

← →
DVM © (2009-09-05 21:39) [20]

> Кто б сомневался ©

Я даже не знаю чем объяснить сей феномен. Работает не в 100% случаев, но очень часто, особенно если программа юзеру незнакома.

← →
DVM © (2009-09-05 21:42) [21]

> Кто б сомневался © (05.09.09 21:39) [19]

> Вспомните Nero

Вот... Только я хотел написать, а ты сам сказал. Пока программа малораскручена принцип больше программа - больше продажи работает, но с ростом популярности он перестает работать так же эффективно.

← →
KilkennyCat © (2009-09-05 21:43) [22]

> DVM © (05.09.09 21:38) [18]

Именно так я и сделал. И екзешник искусственно раздул, в инсталлер таймер добавил, чтоб минут пять прогрессбаром ворочал... Продажи действительно выросли. Хотя чувствовал себя я омерзительно.

← →
Кто б сомневался © (2009-09-05 21:44) [23]

Далее, намного больше народа юзает uTorrent хотя есть BitTorrent (между прочим родоначальник) - все тоже самое, один в один, но размеры разные - здесь 200 кb, а там больше 2-3 mb.

← →
DVM © (2009-09-05 21:50) [24]

> Кто б сомневался © (05.09.09 21:44) [23]

Может все же там есть более существенные отличия кроме размера?

Особенно падки на размер программ разного рода корпоративные заказчики. Если ты ему говоришь, что мол ща я могу выслать демку нашей программы по почте, он кривится, а если говоришь, что могу прислать курьера с дюжиной DVD - то наоборот.

Я не хочу сказать, что так бывает всегда, но так бывает.

← →
TIF © (2009-09-05 21:52) [25]

> Игорь Шевченко © (05.09.09 20:28) [11]
> Тебе настолько скучно и нечем заняться ?

Заняться есть чем, только сначала надо понять: стоит ли этим заниматься?

Насчёт мнений о связи между функционалом и размером... По-моему, если программа не очень "серьёзная", то большой размер явно станет помехой. Проще говоря, ожидания пользователей не оправдаются

> А не достаточно 7z для распространения в инете?

UPX + 7z - ещё лучше :)

Гм. Ещё вопрос: имеет ли смысл упаковывать инсталляторы?

← →
KilkennyCat © (2009-09-05 21:53) [26]

И цена тоже влияет. Меня просили взломать обработку 1С. Я смотрю, автор просит за нее 300 рублей. Не так уж много, учитывая объемы той конторы - ваще копейки. Говорю - зачем взламывать, купите, все-таки честно... А они в ответ, что как-то мутно, куда-то такую мелочь отправлять, мож развод... А вот стоила бы 3000 руб, да еще с расчетным счетом от юрлица - купили бы.

← →
Кто б сомневался © (2009-09-05 21:57) [27]

> > Кто б сомневался © (05.09.09 21:44) [23]
>
> Может все же там есть более существенные отличия кроме размера?
>

Нет, один в один, даже интерфес и цвета те же. все настройки те же, расположение чекбоксов и подписи те же.
BitTorrent даже какбы лучше, т.к. имеет некую BDA (Bittorrent Download Accelerator) - висит какая то BDA.exe в процессах. Что с ней что без нее, скорость одна.
Я ж сначал BT поставил, потом узнал что есть uTorrent - его даже инсталить не надо, там всего один exe файл в отличии от BitTorrenta с россыпью файлов.

← →
DVM © (2009-09-05 21:59) [28]

> KilkennyCat © (05.09.09 21:53) [26]

> И цена тоже влияет.

Тоже верно. Поэтому шереварщикам советуют не ставить слишком низкие цены на программы - отпугивает покупателей точно также как отпугивает дешевый китайский ширпотреб.

← →
Кто б сомневался © (2009-09-05 22:03) [29]

> Тоже верно. Поэтому шереварщикам советуют не ставить слишком
> низкие цены на программы - отпугивает покупателей точно
> также как отпугивает дешевый китайский ширпотреб.

ну на западе это я точно знаю что цены делятся по классам программ, до 20$ - простенькие утилитки, совсем простые - трэшевый сегмент.

А вот если программа для своих (СНГ) - то думаю продавать небольшую программку для обычных юзеров по 18 грн (100 руб) - имхо это вполне. Если будет больше никто брать не будет, все будут крэки искать.

← →
turbouser © (2009-09-05 22:06) [30]

один плюс - меньше размер. есть ситуации, когда это очень важно, например распространить новую версию программы среди юзеров с разным инетом как можно быстрей и с меньшим количеством мата в сторону разработчиков. А новые версии выходят часто... Так и живем..

← →
Кто б сомневался © (2009-09-05 22:06) [31]

> по 18 грн (100 руб) -

Эм, даже меньше - 80 руб (давно курс не смотрел).
Как думаете?

← →
DVM © (2009-09-05 22:10) [32]

> Кто б сомневался © (05.09.09 22:06) [31]

> Как думаете?

Что она делает то?

← →
turbouser © (2009-09-05 22:20) [33]

> TIF © (05.09.09 21:52) [25]

Инсталляторы разные бывают. Вот InnoSetup например, умеет в 7z жать :)

← →
TUser © (2009-09-05 22:30) [34]

> А второй раз когда? :))

Мой трудовик в первой школе в особо тяжких случаях присуждал "семь лет расстрела без суда и следствия". Так что все возможно.

← →
Kerk © (2009-09-05 22:34) [35]

> TIF © (05.09.09 20:25) [10]
>
> А то вот ещё статья Криса-крыса Касперски:
> http://api.farmanager.com/ru/articles/bonus/www_programme_ru_102001_1.
> htm
> Грамотно ли написана? У меня лично к творениям этого "хакера
> всех времён и народов" только отрицательное отношение, и
> сочувствие к самому автору...

Может ты до него просто не дорос? Я серьезно. Я по его статьям учился маш.коды читать. Он классик практически :)

А по теме - придумай хоть один плюс использования упаковщиков, потом можно будет продолжить :)

← →
turbouser © (2009-09-05 22:38) [36]

> Kerk © (05.09.09 22:34) [35]

я привел + в [30]. И придумывать не надо. Не достаточно?

← →
TIF © (2009-09-05 23:02) [37]

> Я серьезно. Я по его статьям учился маш.коды читать. Он
> классик практически :)

У меня отрицательное отношение началось сразу после прочтения статьи насчёт исследования программы WebMoney Keeper. Не разобравшись, зачем "киперу" нужен низкоуровневый доступ к жёсткому диску, к примеру, был сделан неправильный вывод. А общий вывод статьи так ещё интереснее: сия программулина - троян и сборщик личной информации.

Photoshop 10 тоже с диском махинации проворачивает, чуть ли не в загрузочный сектор зашивает информацию о лицензии. Тоже троян?

Конечно, полезная информация в статьях Криса есть. Но меня убивает, что почти всегда на её основе делается поворот на 180 градусов и совершенно неправильный вывод. Если память не изменяет, про Firefox тоже статья в таком ключе написана, что мозилла сливает гуглу конфиденциальную информацию. Сливать-то сливает, но только сатистику посещений сайтов, по договорённости.

> придумай хоть один плюс использования упаковщиков, потом
> можно будет продолжить :)

Небольшая программа, которая очень часто дорабатывается, совершенствуется, обновляется. Желательно всех пользователей держать на самой последней версии. Если придётся каждый раз выкачивать exe по 5 МБ, вместо 1 МБ в упакованном виде, сомневаюсь что процент тех, кто захочет не обновляться, будет маленьким.
То бишь, махнут рукой. И не обновятся.
(ну и как уже сказали, интернет ещё не у всех скоростной да безлимитный... так что надо подстраиваться под любую аудиторию)

> Инсталляторы разные бывают. Вот InnoSetup например, умеет
> в 7z жать :)

По-моему уже все умеют :)
Я сейчас пытаюсь своим мозгом понять, упаковка установщиков, это вред или нет.
1) Пусть имеется Setup.exe, у него в ресурсах файлы программы, которые нужно установить (в виде 7зип-архива). Если сжать Setup.exe UPX-ом, это бред или нет. По-моему, бред (если у меня нет ошибки в рассуждениях), ведь при запуске всё будет распаковано в ОЗУ... Лишние выкрутасы.
2) Если такой расклад: Setup.exe не содержит ничего, упакован UPX-ом, а все файлы для установки лежат рядом в Setup.7z. Распаковываться будет только установщик, а выигрыш в размере тот же самый :) Уже лучше.
3) Тоже Setup.exe, Setup.7z, а внутри 7z-архива Program.exe, тоже упакованная UPX-ом. При установке достаём Program.exe из архива, а потом распаковываем UPX-ом. Получаем программу, которая занимает больше места на винчестере, но зато не жрёт лишнюю память и не заставляет Windows лишний раз обращаться к винчестеру
В этом случае правда придётся таскать с собой UPX-распаковщик (ну или внедрить его код в установщик). Но если программа обновляется часто, то можно заставлять людей качать только в самый первый раз Setup.exe, а потом лишь Setup.7z с обновлениями.

Вроде идеальный вариант.

← →
Kerk © (2009-09-05 23:06) [38]

> TIF © (05.09.09 23:02) [37]
> Photoshop 10 тоже с диском махинации проворачивает, чуть
> ли не в загрузочный сектор зашивает информацию о лицензии.
> Тоже троян?

Если правда в системные области пишет, то ну его нахрен. Конечно, троян.

> Небольшая программа, которая очень часто дорабатывается,
> совершенствуется, обновляется. Желательно всех пользователей
> держать на самой последней версии. Если придётся каждый
> раз выкачивать exe по 5 МБ, вместо 1 МБ в упакованном виде,
> сомневаюсь что процент тех, кто захочет не обновляться,
> будет маленьким.

Для таких случаев zip придумали :)

← →
KilkennyCat © (2009-09-05 23:10) [39]

> Небольшая программа, которая очень часто дорабатывается,
> совершенствуется, обновляется. Желательно всех пользователей
> держать на самой последней версии. Если придётся каждый
> раз выкачивать exe по 5 МБ, вместо 1 МБ

В этих случаях имеет смыслне лепить одним екзешником. обновлять можно только то, что нужно.

← →
TIF © (2009-09-05 23:15) [40]

> Для таких случаев zip придумали :)

zip уже малоэффективен. Лучше уж тогда cab, а ещё лучше 7z

← →
Игорь Шевченко © (2009-09-05 23:20) [41]

Иногда я жалею, что вычислительная техника перестала быть уделом избранных :)

← →
Кто б сомневался © (2009-09-05 23:21) [42]

> По-моему, бред (если у меня нет ошибки в рассуждениях),
> ведь при запуске всё будет распаковано в ОЗУ... Лишние
> выкрутасы.

Народ, вы забыли что при старте exe или dll проецируется в память, что есть практически то же самое - сейчас памяти у большинства от 2 ГБ.
На средние системы ставят уже 4 ГБ. Почему бы не уменьшить размер, если это никак не повлияет на производительность (какие то миллисекунды).

← →
KilkennyCat © (2009-09-05 23:25) [43]

> Игорь Шевченко © (05.09.09 23:20) [41]

и ремонт телевизоров!

← →
turbouser © (2009-09-05 23:27) [44]

> Игорь Шевченко © (05.09.09 23:20) [41]

Иногда все об этом жалеют..

← →
Kerk © (2009-09-05 23:37) [45]

> TIF © (05.09.09 23:15) [40]
>
> > Для таких случаев zip придумали :)
>
> zip уже малоэффективен. Лучше уж тогда cab, а ещё лучше 7z

Что значит "уже малоэффективен"? И чем ты на среднестатистической машине собрался распаковывать 7z?

← →
sniknik © (2009-09-05 23:54) [46]

насчет uTorrent-а и упаковщиков, личный опыт так сказать
http://delphimaster.net/view/3-1164735877/

← →
sniknik © (2009-09-06 00:00) [47]

p.s. после этого у них была еще одна известная проблема с упаковщиком, они его меняли, уже с NOD32. (и это даже не вторая и не последняя. просто одна из известных)

← →
TIF © (2009-09-06 00:05) [48]

> Что значит "уже малоэффективен"?

Появились более совершенные алгоритмы сжатия данных
В принципе, zip тоже неплох, если упаковка шла через 7-zip:
Для форматов ZIP и GZIP, архиватор 7-Zip предлагает сжатие которое в 2-10 % лучше чем сжатие предоставляемое архиваторами PKZip и WinZip

> И чем ты на среднестатистической машине собрался распаковывать
> 7z?

Среднестатистическая - это какая?
Если
> сейчас памяти у большинства от 2 ГБ
> На средние системы ставят уже 4 ГБ.

то при установке программы не грех выделить для распаковки 7z-архива:
66 МБ при ультра-сжатии
34 МБ - максимальном //Золотая середина
18 МБ - нормальном
3 МБ - быстром или скоростном

Для распаковки обычного zip надо 2 МБ :)

Embarcadero (Codegear), Adobe (адобе плохой пример, у них системные требования выше) и многие другие уже давно используют 7-zip. Пользователи вроде не жалуются. Хотя черт его знает, может для кого-то выделение лишних 34 МБ для установки Photoshop - нормальное явление, а для установки маленькой программки - нонсенс... Однако ОЧЕНЬ сомневаюсь, что кто-то устанавливает софт в моменты, когда 90% оперативной памяти уже занято, поэтому проблем с применением 7z быть не должно

← →
Kerk © (2009-09-06 00:10) [49]

> TIF © (06.09.09 00:05) [48]
> Среднестатистическая - это какая?

Среднестатистическая - это чей владелец про 7zip даже не слышал, зато распаковка zip у него поддерживается на уровне ОС.

← →
KilkennyCat © (2009-09-06 00:14) [50]

> Kerk © (06.09.09 00:10) [49]

Абсолютно согласен.

← →
KilkennyCat © (2009-09-06 00:15) [51]

Добавлю, что даже pdf далеко не все могут (знают как) прочитать.

← →
Хитрий Лис (2009-09-06 00:19) [52]

> Кто б сомневался © (05.09.09 23:21) [42]
> сейчас памяти у большинства от 2 ГБ. На средние системы ставят уже 4 ГБ.

Покорнейше простите - но у меня несколько другая статистика...

На нашем предприятии несколько сотен компьютеров, из них больше половины старше 5-ти лет, т.е. на этих машинах стоит 256МВ памяти и очень редко 512МВ. Клиенских машин с памятью больше 1024МВ практически нет. Если не считать два сервера, на которых 16Гиг, но там никто софт вручную не запускает :)

Не знаю по поводу Москвы, но в провинции ситуация не такая радужная, причем не только по предприятиям, но и по домашние компам...

← →
TIF © (2009-09-06 00:25) [53]

> чей владелец про 7zip даже не слышал

Самое главное не написал :)
Функционал для распаковки естественно таскается с собой. Это оправданно* для распаковки больших архивов, или же для ситуации, которую уже описал выше: частые обновления программы

*Оправданно = размер кода, используемого для извлечения файлов из архива, окупается с избытком размером сэкономленных при сжатии байтов

← →
Kerk © (2009-09-06 00:29) [54]

> TIF © (06.09.09 00:25) [53]

Ты самое главное таки забыл.
Подобная упаковка не имеет ничего общего с сжатием исполняемых файлов тулзами типа UPX, с которого ты начал этот топик :)

← →
Игорь Шевченко © (2009-09-06 00:34) [55]

Кстате о 7-zip-е - надыть бы запаковать файл порциями по 4,6х Гб, дабы на болванки его пописать. Размер файла 283 гига. Цель - уложить файл на наименьшее количество болванок за приемлемое время (не больше 16 часов)

Имеется 7-zip file manager 4.65
Что бы лучше выбрать в качестве метода сжатия, уровня сжатия (как оно по времени соответствует), размера словаря, размера слова, размера блока, числа потоков ?

Inter core duo 2.33 ГГц, 2 Гб памяти

← →
TIF © (2009-09-06 00:43) [56]

> Подобная упаковка не имеет ничего общего с сжатием исполняемых
> файлов тулзами типа UPX, с которого ты начал этот топик
> :)

Ну так тема постепенно перетекла в другое русло, где-то вот здесь:
Kerk © (05.09.09 23:06) [38]
> > Небольшая программа, которая очень часто дорабатывается,
> > совершенствуется, обновляется. Желательно всех пользователей
> > держать на самой последней версии. Если придётся каждый
> > раз выкачивать exe по 5 МБ, вместо 1 МБ в упакованном виде,
> > сомневаюсь что процент тех, кто захочет не обновляться,
> > будет маленьким.
>
> Для таких случаев zip придумали :)

Это скорее не потеря нити, а наоборот правильный ход мыслей: UPX (и прочие) в чистом виде - не панацея, однако в примеси с другими способами (тот же 7z) уже полезная штука
Точнее даже так, получается: UPX - это яд, но в малых дозах - лекарство :)

← →
Kerk © (2009-09-06 00:48) [57]

> TIF © (06.09.09 00:43) [56]
> Это скорее не потеря нити, а наоборот правильный ход мыслей:
> UPX (и прочие) в чистом виде - не панацея, однако в примеси
> с другими способами (тот же 7z) уже полезная штука

Начал за здравие, кончил за упокой :)
Действительно. Zip и прочие нужно использовать вместо UPX и подобных. Самому же UPX место на свалке, потому что никаких плюсов он не дает, а минусы имеет.

← →
Кто б сомневался © (2009-09-06 01:05) [58]

> Имеется 7-zip file manager 4.65
> Что бы лучше выбрать в качестве метода сжатия, уровня сжатия
> (как оно по времени соответствует), размера словаря, размера
> слова, размера блока, числа потоков ?

Метод сжатия lzma - дает лучшие результаты в большинстве случаев.
Для вас лучше поставить размер словаря - 8 мб (между Fast и Normal). Потоки по дефолту (2 на двухядерный) . Либо можно поставить на сжатие и посмотреть примерное время до окончания.
Solid Block Size - если в будущем не надо будет залезать в архив чтобы вытащить один файл, тогда максимум - 64gb - сжатие будет лучше. Но если залезть в архив - тогда будет распакован блок размеров 64 гига, чтобы вытащить те файлы что указаны.
Иначе 4 или 2 - но сжатие раза в 1,5 -2 упадет.

7z дольше пакует чем тот же rar. Но это еще зависит от типа файлов. Фильм будет дольше паковатся чем текст.

← →
Игорь Шевченко © (2009-09-06 01:19) [59]

Кто б сомневался © (06.09.09 01:05) [58]

Спасибо, поставил значения LZMA, 16Mb словарь, 64GB размер блока (у меня в архиве один файл), говорит, 31 час будет думать.

Файл у меня ближе к текстовому, чем к фильму, gzip его сжимал до 58 гиг (из 283), я надеюсь, что 7-zip мне пожмет получше.

Попробовал поставить метод сжатия bzip2, пишет, что степень сжатия 14% (против 8% у LZMA), но думать обещает 27 часов.

← →
TIF © (2009-09-06 01:35) [60]

Скорость сжатия в среднем будет примерно такая (для текстовых файлов будет по минимальному значению или даже меньше):
Ультра:12-20 минут на гигабайт // 56 часов для 283 ГБ
Нормальный: 7-15 минут на гигабайт // 33 часа
Скоростной: 5-8 минут на гигабайт // 24 часа

7-12 минут - со словарём в ~12 МБ

Парадокс: быстрое сжатие медленнее нормального (в два раза). По крайней мере у меня так, хотя у меня и 7-zip 9.07 beta, может причина в этом

← →
Германн © (2009-09-06 01:52) [61]

> Упаковка (сжатие) исполняемых файлов - за и против

Радикально против.

← →
KilkennyCat © (2009-09-06 01:57) [62]

> Кстате о 7-zip-е - надыть бы запаковать файл порциями по
> 4,6х Гб, дабы на болванки его пописать. Размер файла 283
> гига. Цель - уложить файл на наименьшее количество болванок
> за приемлемое время (не больше 16 часов)

может, имеет смысл вычислить среднюю степень сжатия, после чего разбить файл на куски, и сжимать каждый в отдельности (или по нескольку сразу, смотря скока ресурсов)?

← →
Кто б сомневался © (2009-09-06 02:18) [63]

> Спасибо, поставил значения LZMA, 16Mb словарь, 64GB размер
> блока

Там кстати можно поставить Solid - архив будет цельным блоком, это еще лучше.

← →
Игорь Шевченко © (2009-09-06 02:30) [64]

KilkennyCat © (06.09.09 01:57) [62]

> может, имеет смысл вычислить среднюю степень сжатия, после
> чего разбить файл на куски, и сжимать каждый в отдельности
> (или по нескольку сразу, смотря скока ресурсов)?

Разбить на куски я его могу tar-ом, пропустив вход для него через gzip/bzip2, но хочется под виндой. А распараллеливать нет смысла - диск для подобных манипуляций у меня один, дергать головами особого смысла не вижу. Я даже не могу назначить архив на другой диск - места нету :)

Завтра с утра запущу 7-zip, если за день не отмучается, буду дальше думать.

← →
Кто б сомневался © (2009-09-06 02:36) [65]

ДА разбить его можно и Тотал коммандером (наверное и фаром) - File > Split File

← →
KilkennyCat © (2009-09-06 02:39) [66]

> А распараллеливать нет смысла

ну, я тож так думаю... но вдруг? :) я обычно пробую экспериментально.

← →
Кто б сомневался © (2009-09-06 02:41) [67]

НО смысла разбивать не вижу (если только для проверки), т.к. архив получится меньше раза в 2, а так ровно под диск DVD.

← →
Игорь Шевченко © (2009-09-06 02:46) [68]

Кто б сомневался © (06.09.09 02:36) [65]

> ДА разбить его можно и Тотал коммандером (наверное и фаром)
> - File > Split File

Глупый вопросы -
1. зачем ?
2. сколько это займет времени - переписывание 283 гиг покусочно?

И еще - у меня собственно нет лишних 283 гиг под куски. У меня на всех 14 логических дисках хорошо, если в сумме 200 гиг свободно.

← →
KilkennyCat © (2009-09-06 02:46) [69]

> Кто б сомневался © (06.09.09 02:41) [67]

я имел ввиду потом куски сжать. возможно, в два потока. либо меньший объем архиватору легче будет сторить словарь или что-то еще... смутно представляю себе его работу. Т.е. мое предложение с целью минимизировать общее время. Учитывая такое количество, даже если 10% экономии - уже существенно.

← →
KilkennyCat © (2009-09-06 02:47) [70]

> 2. сколько это займет времени - переписывание 283 гиг покусочно?

написать утилиту, которая разобъет не переписывая :)
Вообщем, да. глупое предложение вышло.

← →
KilkennyCat © (2009-09-06 02:52) [71]

А вот интересно: винды поддерживают сжатые диски. Можно ли скопировать файл с сжатого диска в его сжатом виде?

← →
TIF © (2009-09-06 04:05) [72]

> Кто б сомневался © (05.09.09 20:09) [4]
> Есть одно НО. Некоторые антивирусы, у которых плохая
> поддержка пакеров, - а таких сейчас много (ввсе хотят сделать
> свой антивирус пофиг что базы обновляются фэйком.. :) )
> часто видят трояна\вирус в упакованных файлах. Вот только
> это одно но.

Поставил эксперимент по уменьшению этого НО :)
Обычно все упакованные UPX-ом программы на вирустотале детектируют по базам два антивируса. Оказывается, можно снизить это число аж до одного...

Опция --all-filters
http://tinyurl.com/upx-all-filters
1/41

Опция --all-methods
http://tinyurl.com/upx-all-methods
Опции --all-filters --all-methods
http://tinyurl.com/upx-all-filters-all-methods
2/41

eSafe ругается в любом случае, зато McAfee-GW-Edition уже не ругается

← →
Германн © (2009-09-06 04:14) [73]

Пока так и не услышал ничего о полезности "упаковки" исполняемых файлов.
Кроме "передачи" их по И-нету. С чем zip и иже с ним справляется вполне нормально.
Имхо.

← →
Игорь Шевченко © (2009-09-06 11:25) [74]

KilkennyCat © (06.09.09 02:52) [71]

> А вот интересно: винды поддерживают сжатые диски. Можно
> ли скопировать файл с сжатого диска в его сжатом виде?

Можно, из другой операционной системы

← →
McSimm © (2009-09-06 12:17) [75]

> Можно, из другой операционной системы

а распаковать потом можно?

← →
sniknik © (2009-09-06 12:31) [76]

Кто б сомневался © (06.09.09 02:18) [63]
> Там кстати можно поставить Solid - архив будет цельным блоком, это еще лучше.
насколько понимаю, солид лучше для кучи файлов, за счет неудобного после "разжатия" т.к. он считает всю цепочку файлов за один.
а для одного это будет без разницы.

Игорь Шевченко ©
да возьми ты rar, при хорошем сжатии (по умолчанию) у него время сжатия не пример меньше. чего именно в 7z упираться?

← →
12 © (2009-09-06 13:27) [77]

7z бесплатен, много форматов
но скорость сильно падает при увеличении степень сжатия.
Каждый день архивирую около 30ГБ(БД mssql), командной строкой, -mx6, в формат zip
6.2 / 6.3 ГБ в результате
за 3 часа примерно.
Ставил больше - -mx7, 8 .. чуть не в 2 раза время увеличивалось
а результат не очень..

← →
Игорь Шевченко © (2009-09-06 13:59) [78]

sniknik © (06.09.09 12:31) [76]

ты гарантируешь, что rar сожмет лучше и быстрее ?

← →
vrem (2009-09-06 14:00) [79]

>283 гигабайта
я бы купил винчестер. 16 часов резать, прожигать по 20 минут на болванку это себя не уважать. 30$ цена.
ну или выкрутил бы диск где лежит сейчас этот файл.

> я бы купил винчестер.

А на самом деле, Игорь.
Не расскажешь ли конечную цель своего предприятия?

> ты гарантируешь, что rar сожмет лучше и быстрее ?
лучше нет, но приблизительно тоже самое, а вот быстрее это да. сам проверь на файле поменьше, в пару гигов например.

для примера базу взял 364мг, 7z с дефаултными установками сжимает 1мин 30сек, rar 1мин 5 сек, размер получившихся архивов соответственно 3,99мг и 4.61мг.

впрочем тест разовый без набора статистики, не особо точен. счас поставил максимальную степень сжатия в rar-е, так он за 58сек отработал, а архив получился 4,44мг.

vrem (06.09.09 14:00) [79]

> 30$ цена.

за что такая цена ? (ЗЫ: У меня уже четыре винта установлено, места под лишний не видно)

> лучше нет, но приблизительно тоже самое, а вот быстрее это
> да. сам проверь на файле поменьше, в пару гигов например.
>

на пару гигов проверять бессмысленно - я когда распаковывал это чудо, перепробовал кучу утилит, все ломаются на больших объемах.

boriskb © (06.09.09 14:38) [80]

> Не расскажешь ли конечную цель своего предприятия?

Конечная цель - резервная копия.

> на пару гигов проверять бессмысленно
ну, сравнение времени приблизительное даст.

> все ломаются на больших объемах.
а вот это другое дело, если rar такой объем просто не "берет", тогда ничего не поделаешь... но этого я не знаю, я максимум, что сжимал это как раз те самые 2 гига примерно (правда ни с чем другим тогда не сравнивал, цели не стояло).

sniknik © (06.09.09 15:31) [86]

Ради интереса запустил - пишет, что ему надо будет 30 часов на максимальном сжатии. Детальной информации не выдает (в отличие от 7-zip), поэтому определить степень сжатия не могу. Отменено.

> Конечная цель - резервная копия.

Тогда это не разовоя предприятие?

Больно муторно каждый раз такой геморой испытывать.

rar у меня делает архив на 93 гига (несжатое - несколько сот) за 30-35 часов примерно

← →
AntiZOG (2009-09-06 17:40) [91]

> TIF © (05.09.09 19:53)

Основная цель упаковщиков обфускация кода и усложнение взлома программы.

Тоесть для взлома нужно иметь "рабочий" дамп программы и его загрузчик.

← →
AntiZOG (2009-09-06 17:48) [92]

> Игорь Шевченко © (05.09.09 23:20) [41]
>
> Иногда я жалею, что вычислительная техника перестала быть
> уделом избранных :)

"...время идет, и за компьютеры садятся те, кто разбирается в них все меньше и меньше..." (с) Э. Таненбаум

← →
vrem (2009-09-06 18:35) [93]

за время пути.. ошибся в 2 раза.
в районе 60$ обычный sata2 диск. 500 гигабайт. подключить, написать, отключить. если бэкап понадобится, то это будет происшествие, и лучше маленький технологичный девайс чем 50-60 кружков с номерами :) быстрее, удобнее, повод пыль в компьютере проверить.

> Основная цель упаковщиков обфускация кода и усложнение взлома программы.
вернемся к uTorrent-у (sniknik © (05.09.09 23:54) [46]), что-бы не говорить "общими фразами", какая "основная цель" в нем достигается? и какой ней смысл если после упомянутых проблем они начали выкладывать не сжатые версии, правда их надо поискать в форуме, но тем не менее. т.е. хочешь ломать (чего правда, в бесплатной программе?) вот тебе несжатая копия.

бред это, имхо, популяризация продукта надуманными областями применения.

и кстати термин "обфускация" разве не к скриптовым языкам применяется, чего "обфускировать" в бинарном файле? или решил "рисанутся" умным словом?

Хотя обфускация помогает сделать распределённую систему более безопасной, не стоит ограничиваться только ею. Обфускация — это «безопасно, потому что засекречено» (en:security through obscurity, см. также Принцип Керкгоффса). Ни один из существующих обфускаторов не гарантирует сложности декомпиляции и не обеспечивает безопасности на уровне современных криптографических схем; вполне вероятно, что эффективная защита невозможна.

из википедии.

vrem (06.09.09 18:35) [93]

"Винчестер - не средство для хранения данных" (с)

К тому же стоимость 10 болванок - $3 максимум, почувствуйте разницу

Я паковал AsPack, когда выкладывал для запуска с сервера (побыстрей грузится/качается по сети).
В остальных случаях это бессмысленно. Есть zip в XP чего еще?

"Винчестер - не средство для хранения данных" (с)

Имхо, из доступного обычному человеку - самое удобное в смысле надежности. Несколько винтов, raid 1, внт для рбекапа. Деньги, конечно, но оно того стоит.

> Игорь Шевченко © (06.09.09 15:22) [85]
> Конечная цель - резервная копия.

Если у тебя это привычка, то я тебе завидую

Нет, конечно и я свои наиболее важные данные храню в нескольких местах.
Но вот что касается таких объемных данных...
Мне либо не везет, либо я "не умею их готовить" :))
Почему то всегда, когда я делаю такой объемный архив, то либо он мне так и не понадобится, либо я не смогу с него восстановить ничего

Вот на работе ежедневный дамп скулёвой базы делается, архив порядка 30гиг.
Делается в течении 5 лет (сколько там работаю) повторюсь - еженочно.
Так вот за это время архив мне реально понадобился 3 раза, из них два мне не помогли
:(

boriskb © (06.09.09 19:36) [99]

Привычка, что поделать. Я стараюсь сделать так, чтобы данные можно было восстановить, пусть это будет долго, но восстановимо. Другое дело, что иногда, бывает, носители не читаются, в этом случае данные переводятся в разряд неважных и благополучно забываются :)

> Игорь Шевченко © (06.09.09 15:22) [85]
> Конечная цель - резервная копия.

Хм, чтот я сильно сомневаюсь что хоть 5% инфы понадобится. Ну многовато просто 200 с чем то гигов.. Что туда можно влить? Фильмы - игры?

← →
AntiZOG (2009-09-07 01:06) [102]

Фильмы - игры?

А зачем фильмы и игры? Это если только инета быстрого нет, а так торент, две ночи и всё снова есть.

Бекапить нужно только информацию представляющую ценность.

Кто б сомневался © (07.09.09 01:04) [101]

На свете кроме фильмов, игр, музыки и порно^B^B^B^B^Bфотографий существуют и другие данные. Советую помедитировать над этим.

← →
Хитрий Лис (2009-09-07 03:16) [104]

> Игорь Шевченко © (07.09.09 01:13) [103]
> На свете кроме фильмов... существуют и другие данные. Советую помедитировать над этим.

И самое странное, эти данные настолько ценны, что вы их оцениваете в целых три доллара :)

← →
Омлет (2009-09-07 03:59) [105]

> TIF

Почему сжатие DLL недопустимо?

> Почему сжатие DLL недопустимо?

Скрипя сердцем, снова дам ссылку на статью Криса Касперски :)
Потому что к этой статье у меня претензий практически нет... да и аналогичные мнения я слышал и от других людей )
http://api.farmanager.com/ru/articles/bonus/www_programme_ru_102001_1.htm

Еще большие накладные расходы влечет за собой сжатие динамических библиотек. Для экономии памяти страницы, занятые динамической библиотекой совместно используются всеми процессами, загрузившими эту DLL. Но как только один из процессов пытается что-то записать в память, занятую DLL, система мгновенно создает копию модифицируемой страницы и предоставляет ее в "монопольное" распоряжение процесса-писателя. Поскольку распаковка динамической библиотеки происходит в контексте процесса, загрузившего ее, система вынуждена многократно дублировать все страницы памяти, выделенные библиотеке, фактически предоставляя каждому процессору свой собственный экземпляр DLL. Предположим, одна DLL размером в мегабайт, была загружена десятью процессами - посчитайте: сколько памяти напрасно потеряется, если она сжата! Динамические библиотеки вообще не следует паковать, ибо это ведет к чудовищному расходу и физической, и виртуальной памяти и извращает саму концепцию DLL - один модуль - всем процессам. Кстати, о динамических библиотеках: не стремитесь кромсать свое приложение на множество DLL - страницы исполняемого файла не требуют физической памяти до тех пор, пока к ним не происходит обращений. Поэтому - смело помещайте весь код программы в один файл.

AntiZOG (06.09.09 17:40) [91]
> Основная цель упаковщиков обфускация кода и усложнение взлома
> программы.

Не-не-не. Фу-фу-фу, свят-свят-свят. Бред-бред-бред, точнее :)
Ибо это никак не основная цель. Это побочное явление из-за неправильного применения упаковщиков. В частности, вирусописателями. Так они убивали одним выстрелом двух зайцев: и размер вредоносного таракана уменьшали, и распознавание его антивирусами затрудняли (правда антивирусы быстро адаптировались)

Для обфускации использовать упаковщик бред. Во-первых, то что упаковано, можно распаковать ))) Подразумевается распаковать не в память, а обратно к первоначальным размерам. Во-вторых, для предотвращения распаковки используют "скрэмблеры" (утилита для превращения упакованного exe в неудобоваримый для распаковки). Пока искал информацию про UPX и прочее, нашёл штук десять статей с заголовками "ручками распаковываем упакованную программу", где разжёвывалось, какие байты нужно поправить, как извлечь блок с данными и т.д. То бишь и скрэмблеры не помогут.

> AntiZOG (06.09.09 17:48) [92]
> > Игорь Шевченко © (05.09.09 23:20) [41]
> > Иногда я жалею, что вычислительная техника
> > перестала быть уделом избранных
> "...время идет, и за компьютеры садятся те, кто разбирается
> в них все меньше и меньше..." (с) Э. Таненбаум

Компьютер - в каждый дом! © Билл Гейтс :)))

Как же потум будет "приятно", когда бэкап на 15 двд болванках понадобится, но одна из болванок к тому времени захерится и не прочитается :)

> TIF (07.09.2009 07:00:46) [106]

Просто некоторые думают, если файл 300 мб, то и оперативки нужно 300 мб свободных.

← →
vrem (2009-09-07 10:57) [111]

Как добавлять "избыточную информацию" в файл, как рар умеет?
Подскажите ссылку.

> Как добавлять "избыточную информацию" в файл, как рар умеет?

Если вопрос был именно про .rar, а не свою реализацию (меня смущают слова "как рар умеет?"...), тогда как квалифицированный специалист по работе с продуктом WinRar, получивший об этом сертификат :D, отвечаю: при создании rar-архива надо
1) Либо добавить информацию для восстановления (от 1 до 10%, будет внедрена в сам архив)
http://win-rar.ru/study/part2/security.php
2) Либо (но только при создании многотомных архивов) создать тома для восстановления. С помощью каждого тома для восстановления можно воссоздать один любой отсутствующий архивный том. Общее количество обычных томов и томов для восстановления не может превышать 255, а томов для восстановления должно быть меньше, чем томов RAR-архива.
http://win-rar.ru/study/part2/remake.php

К вопросу о 7-Zip и компактности :)

Брависсимо, скомпилировал-таки под Visual Studio (хотя долго плевался и разбирался с makefile-ом...) урезанный вариант 7-Zip DLL (только с функционалом для распаковки, и только 7-Zip архивов).
Весит всего 79,5 КБ

Отлично, в UPX надобность отпадает полностью

Упаковка (сжатие) исполняемых файлов - за и против Найти похожие ветки