Упаковка (сжатие) исполняемых файлов

← →
boriskb © (2009-09-06 14:38) [80]

> я бы купил винчестер.

А на самом деле, Игорь.
Не расскажешь ли конечную цель своего предприятия?

← →
sniknik © (2009-09-06 14:43) [81]

> ты гарантируешь, что rar сожмет лучше и быстрее ?
лучше нет, но приблизительно тоже самое, а вот быстрее это да. сам проверь на файле поменьше, в пару гигов например.

← →
sniknik © (2009-09-06 14:56) [82]

для примера базу взял 364мг, 7z с дефаултными установками сжимает 1мин 30сек, rar 1мин 5 сек, размер получившихся архивов соответственно 3,99мг и 4.61мг.

← →
sniknik © (2009-09-06 15:00) [83]

впрочем тест разовый без набора статистики, не особо точен. счас поставил максимальную степень сжатия в rar-е, так он за 58сек отработал, а архив получился 4,44мг.

← →
Игорь Шевченко © (2009-09-06 15:20) [84]

vrem (06.09.09 14:00) [79]

> 30$ цена.

за что такая цена ? (ЗЫ: У меня уже четыре винта установлено, места под лишний не видно)

← →
Игорь Шевченко © (2009-09-06 15:22) [85]

> лучше нет, но приблизительно тоже самое, а вот быстрее это
> да. сам проверь на файле поменьше, в пару гигов например.
>

на пару гигов проверять бессмысленно - я когда распаковывал это чудо, перепробовал кучу утилит, все ломаются на больших объемах.

boriskb © (06.09.09 14:38) [80]

> Не расскажешь ли конечную цель своего предприятия?

Конечная цель - резервная копия.

← →
sniknik © (2009-09-06 15:31) [86]

> на пару гигов проверять бессмысленно
ну, сравнение времени приблизительное даст.

> все ломаются на больших объемах.
а вот это другое дело, если rar такой объем просто не "берет", тогда ничего не поделаешь... но этого я не знаю, я максимум, что сжимал это как раз те самые 2 гига примерно (правда ни с чем другим тогда не сравнивал, цели не стояло).

← →
Игорь Шевченко © (2009-09-06 15:37) [87]

sniknik © (06.09.09 15:31) [86]

Ради интереса запустил - пишет, что ему надо будет 30 часов на максимальном сжатии. Детальной информации не выдает (в отличие от 7-zip), поэтому определить степень сжатия не могу. Отменено.

← →
boriskb © (2009-09-06 16:11) [88]

> Конечная цель - резервная копия.

Тогда это не разовоя предприятие?

Больно муторно каждый раз такой геморой испытывать.

← →
Игорь Шевченко © (2009-09-06 16:44) [89]

boriskb © (06.09.09 16:11) [88]

Как раз разовое мероприятие. Хочется сохранить данные (привычка такая у меня)

← →
TUser © (2009-09-06 17:34) [90]

rar у меня делает архив на 93 гига (несжатое - несколько сот) за 30-35 часов примерно

← →
AntiZOG (2009-09-06 17:40) [91]

> TIF © (05.09.09 19:53)

Основная цель упаковщиков обфускация кода и усложнение взлома программы.

Тоесть для взлома нужно иметь "рабочий" дамп программы и его загрузчик.

← →
AntiZOG (2009-09-06 17:48) [92]

> Игорь Шевченко © (05.09.09 23:20) [41]
>
> Иногда я жалею, что вычислительная техника перестала быть
> уделом избранных :)

"...время идет, и за компьютеры садятся те, кто разбирается в них все меньше и меньше..." (с) Э. Таненбаум

← →
vrem (2009-09-06 18:35) [93]

за время пути.. ошибся в 2 раза.
в районе 60$ обычный sata2 диск. 500 гигабайт. подключить, написать, отключить. если бэкап понадобится, то это будет происшествие, и лучше маленький технологичный девайс чем 50-60 кружков с номерами :) быстрее, удобнее, повод пыль в компьютере проверить.

← →
sniknik © (2009-09-06 18:42) [94]

> Основная цель упаковщиков обфускация кода и усложнение взлома программы.
вернемся к uTorrent-у (sniknik © (05.09.09 23:54) [46]), что-бы не говорить "общими фразами", какая "основная цель" в нем достигается? и какой ней смысл если после упомянутых проблем они начали выкладывать не сжатые версии, правда их надо поискать в форуме, но тем не менее. т.е. хочешь ломать (чего правда, в бесплатной программе?) вот тебе несжатая копия.

бред это, имхо, популяризация продукта надуманными областями применения.

и кстати термин "обфускация" разве не к скриптовым языкам применяется, чего "обфускировать" в бинарном файле? или решил "рисанутся" умным словом?

← →
KilkennyCat © (2009-09-06 18:48) [95]

Хотя обфускация помогает сделать распределённую систему более безопасной, не стоит ограничиваться только ею. Обфускация — это «безопасно, потому что засекречено» (en:security through obscurity, см. также Принцип Керкгоффса). Ни один из существующих обфускаторов не гарантирует сложности декомпиляции и не обеспечивает безопасности на уровне современных криптографических схем; вполне вероятно, что эффективная защита невозможна.

из википедии.

← →
Игорь Шевченко © (2009-09-06 18:54) [96]

vrem (06.09.09 18:35) [93]

"Винчестер - не средство для хранения данных" (с)

К тому же стоимость 10 болванок - $3 максимум, почувствуйте разницу

← →
blackman © (2009-09-06 19:18) [97]

Я паковал AsPack, когда выкладывал для запуска с сервера (побыстрей грузится/качается по сети).
В остальных случаях это бессмысленно. Есть zip в XP чего еще?

← →
TUser © (2009-09-06 19:27) [98]

"Винчестер - не средство для хранения данных" (с)

Имхо, из доступного обычному человеку - самое удобное в смысле надежности. Несколько винтов, raid 1, внт для рбекапа. Деньги, конечно, но оно того стоит.

← →
boriskb © (2009-09-06 19:36) [99]

> Игорь Шевченко © (06.09.09 15:22) [85]
> Конечная цель - резервная копия.

Если у тебя это привычка, то я тебе завидую

Нет, конечно и я свои наиболее важные данные храню в нескольких местах.
Но вот что касается таких объемных данных...
Мне либо не везет, либо я "не умею их готовить" :))
Почему то всегда, когда я делаю такой объемный архив, то либо он мне так и не понадобится, либо я не смогу с него восстановить ничего

Вот на работе ежедневный дамп скулёвой базы делается, архив порядка 30гиг.
Делается в течении 5 лет (сколько там работаю) повторюсь - еженочно.
Так вот за это время архив мне реально понадобился 3 раза, из них два мне не помогли
:(

← →
Игорь Шевченко © (2009-09-06 20:17) [100]

boriskb © (06.09.09 19:36) [99]

Привычка, что поделать. Я стараюсь сделать так, чтобы данные можно было восстановить, пусть это будет долго, но восстановимо. Другое дело, что иногда, бывает, носители не читаются, в этом случае данные переводятся в разряд неважных и благополучно забываются :)

← →
Кто б сомневался © (2009-09-07 01:04) [101]

> Игорь Шевченко © (06.09.09 15:22) [85]
> Конечная цель - резервная копия.

Хм, чтот я сильно сомневаюсь что хоть 5% инфы понадобится. Ну многовато просто 200 с чем то гигов.. Что туда можно влить? Фильмы - игры?

← →
AntiZOG (2009-09-07 01:06) [102]

Фильмы - игры?

А зачем фильмы и игры? Это если только инета быстрого нет, а так торент, две ночи и всё снова есть.

Бекапить нужно только информацию представляющую ценность.

← →
Игорь Шевченко © (2009-09-07 01:13) [103]

Кто б сомневался © (07.09.09 01:04) [101]

На свете кроме фильмов, игр, музыки и порно^B^B^B^B^Bфотографий существуют и другие данные. Советую помедитировать над этим.

← →
Хитрий Лис (2009-09-07 03:16) [104]

> Игорь Шевченко © (07.09.09 01:13) [103]
> На свете кроме фильмов... существуют и другие данные. Советую помедитировать над этим.

И самое странное, эти данные настолько ценны, что вы их оцениваете в целых три доллара :)

← →
Омлет (2009-09-07 03:59) [105]

> TIF

Почему сжатие DLL недопустимо?

> Почему сжатие DLL недопустимо?

Скрипя сердцем, снова дам ссылку на статью Криса Касперски :)
Потому что к этой статье у меня претензий практически нет... да и аналогичные мнения я слышал и от других людей )
http://api.farmanager.com/ru/articles/bonus/www_programme_ru_102001_1.htm

Еще большие накладные расходы влечет за собой сжатие динамических библиотек. Для экономии памяти страницы, занятые динамической библиотекой совместно используются всеми процессами, загрузившими эту DLL. Но как только один из процессов пытается что-то записать в память, занятую DLL, система мгновенно создает копию модифицируемой страницы и предоставляет ее в "монопольное" распоряжение процесса-писателя. Поскольку распаковка динамической библиотеки происходит в контексте процесса, загрузившего ее, система вынуждена многократно дублировать все страницы памяти, выделенные библиотеке, фактически предоставляя каждому процессору свой собственный экземпляр DLL. Предположим, одна DLL размером в мегабайт, была загружена десятью процессами - посчитайте: сколько памяти напрасно потеряется, если она сжата! Динамические библиотеки вообще не следует паковать, ибо это ведет к чудовищному расходу и физической, и виртуальной памяти и извращает саму концепцию DLL - один модуль - всем процессам. Кстати, о динамических библиотеках: не стремитесь кромсать свое приложение на множество DLL - страницы исполняемого файла не требуют физической памяти до тех пор, пока к ним не происходит обращений. Поэтому - смело помещайте весь код программы в один файл.

AntiZOG (06.09.09 17:40) [91]
> Основная цель упаковщиков обфускация кода и усложнение взлома
> программы.

Не-не-не. Фу-фу-фу, свят-свят-свят. Бред-бред-бред, точнее :)
Ибо это никак не основная цель. Это побочное явление из-за неправильного применения упаковщиков. В частности, вирусописателями. Так они убивали одним выстрелом двух зайцев: и размер вредоносного таракана уменьшали, и распознавание его антивирусами затрудняли (правда антивирусы быстро адаптировались)

Для обфускации использовать упаковщик бред. Во-первых, то что упаковано, можно распаковать ))) Подразумевается распаковать не в память, а обратно к первоначальным размерам. Во-вторых, для предотвращения распаковки используют "скрэмблеры" (утилита для превращения упакованного exe в неудобоваримый для распаковки). Пока искал информацию про UPX и прочее, нашёл штук десять статей с заголовками "ручками распаковываем упакованную программу", где разжёвывалось, какие байты нужно поправить, как извлечь блок с данными и т.д. То бишь и скрэмблеры не помогут.

> AntiZOG (06.09.09 17:48) [92]
> > Игорь Шевченко © (05.09.09 23:20) [41]
> > Иногда я жалею, что вычислительная техника
> > перестала быть уделом избранных
> "...время идет, и за компьютеры садятся те, кто разбирается
> в них все меньше и меньше..." (с) Э. Таненбаум

Компьютер - в каждый дом! © Билл Гейтс :)))

Как же потум будет "приятно", когда бэкап на 15 двд болванках понадобится, но одна из болванок к тому времени захерится и не прочитается :)

> TIF (07.09.2009 07:00:46) [106]

Просто некоторые думают, если файл 300 мб, то и оперативки нужно 300 мб свободных.

← →
vrem (2009-09-07 10:57) [111]

Как добавлять "избыточную информацию" в файл, как рар умеет?
Подскажите ссылку.

> Как добавлять "избыточную информацию" в файл, как рар умеет?

Если вопрос был именно про .rar, а не свою реализацию (меня смущают слова "как рар умеет?"...), тогда как квалифицированный специалист по работе с продуктом WinRar, получивший об этом сертификат :D, отвечаю: при создании rar-архива надо
1) Либо добавить информацию для восстановления (от 1 до 10%, будет внедрена в сам архив)
http://win-rar.ru/study/part2/security.php
2) Либо (но только при создании многотомных архивов) создать тома для восстановления. С помощью каждого тома для восстановления можно воссоздать один любой отсутствующий архивный том. Общее количество обычных томов и томов для восстановления не может превышать 255, а томов для восстановления должно быть меньше, чем томов RAR-архива.
http://win-rar.ru/study/part2/remake.php

К вопросу о 7-Zip и компактности :)

Брависсимо, скомпилировал-таки под Visual Studio (хотя долго плевался и разбирался с makefile-ом...) урезанный вариант 7-Zip DLL (только с функционалом для распаковки, и только 7-Zip архивов).
Весит всего 79,5 КБ

Отлично, в UPX надобность отпадает полностью

Упаковка (сжатие) исполняемых файлов - за и против Найти похожие ветки