Какой алгоритм жмет сильнее?

← →
Andy BitOff © (2006-07-23 17:38) [0]

Мне надо сжать порядка 17Gb (Oбщий paзмep фaйлoв:17 463 255 948 бaйт. Bceгo фaйлoв - 30 991, кaтaлoгoв - 2 893) инфы абсолютно разнородной. У меня в 7zip"е есть 4 варианта, который, по вашему мнению, сожмет лучше?
LZMA
PPMd
BZip2
Deflate
Да, там еще кучка параметров, типа "Dictionary size", "Word size", но у меня нет возможности протестить все варианты из-за огромных размеров исходных данных.
Какие есть мнения?

← →
Andy BitOff © (2006-07-23 17:39) [1]

Или может вообще РАР"ом пожать или ACE"ом

← →
vrem (2006-07-23 17:42) [2]

KGB архиватор, на sourceforge лежит, жмёт сильнее winrar, и это при не максимальных настройках - 512 оперативки не позволили приблизиться к максиумуму:) как он только отличает виртуальную от реальной памяти.

← →
Мефисто (2006-07-23 17:49) [3]

http://www.maximumcompression.com/

← →
nomen (2006-07-23 17:50) [4]

Ну раз инфа однородная, то достаточно просто выяснить это путём эксперимента.

← →
Andy BitOff © (2006-07-23 17:55) [5]

nomen (23.07.06 17:50) [4]

Шутку понял. Смешная.

← →
Мефисто (2006-07-23 17:55) [6]

> Andy BitOff © (23.07.06 17:38)

Кстати по 7Zip, вся инфа об опциях сжатия есть в хелпе. Также там описаны рекомендации. Проверить можешь экперементально, визми инфы разносортной 30-70 Мб и проверяй на ней.

← →
Мефисто (2006-07-23 17:56) [7]

> визми инфы

Точнеей файлов разносортных...

← →
nomen (2006-07-23 18:00) [8]

Andy BitOff © (23.07.06 17:55) [5]
Не шутка и не смешная. Пояснение в [6].

← →
nomen (2006-07-23 18:05) [9]

Andy BitOff © (23.07.06 17:38)
..
абсолютно разнородной
тьфу, извиняюсь, прочитал "однородной"

← →
Мефисто (2006-07-23 18:05) [10]

Для 7Zip:

Лучший метод считается: LZMA
Степень сжатия: Ультра (максимальное)
Размер словоря: зависит от объема пакуемых данных и ОЗУ машины. Если все 17Гб будешь лить в один архив, то размер словаря - чем больше, тем лучше. Чем больше размер словаря, тем больше ОЗУ необходимо для упаковки.
Размер слова: для 32 битного CPU ставь 32, для 64 битного ставь 64.
Если двуядерный проц или процев в системе несколько - поставь галку многопоточность.

← →
Desdechado © (2006-07-23 18:58) [11]

Если инфа разнородная, то различия алгоритмов нивелируются.
Одни лучше тексты жмут, другие - бинарники, третьи все средненько....
И есть большие подозрения, что среди 17гиг как минимум половина это музыка и какие-нибудь игрушки с пожатыми ресурсами. Вряд ли это вообще хоть как-то сожмется.

← →
Andy BitOff © (2006-07-23 19:06) [12]

Desdechado © (23.07.06 18:58) [11]
Ну почему же? РАР дал такой прогноз:

Фaйлoв: 30 676
Пaпoк: 2 799
Apxивoв: 1 490
Oбщий paзмep: 18 809 776 354
Paзмep клacтepoв: 32 768
Зaнимaeмoe фaйлaми мecтo: 19 548 995 584
Пoтepи нa ocтaткax клacтepoв: 739 219 230
----------------
Cтeпeнь cжaтия: 74%
Paзмep в apxивe: 13 941 889 565
Oцeнкa вpeмeни cжaтия: 05:18:17

Жалко я в АСЕ не нашел прогноза.

← →
Desdechado © (2006-07-23 19:17) [13]

> Cтeпeнь cжaтия: 74%
А я что говорил? Толку жать-то?
Заодно и проверишь верность прогноза (+-20%) как по размерам, так и по времени.

← →
Мефисто (2006-07-23 19:21) [14]

> Andy BitOff © (23.07.06 19:06) [12]

Прогноз от действительности может очень сильно разниться. Кстати, по каким критериям идет анализ прогноза зжатия в RAR, тоже есть в справке :)

← →
Мефисто (2006-07-23 19:24) [15]

Присоеденяюсь к:

> Desdechado © (23.07.06 19:17) [13]

Оно и верно может быть так. Поэтому самое лучшее решение. Плохо сжимаемые mp3, jpg и т.п. выложить отдельно. А остальное в архив зажать.

Да по мне так вообще собрать просто все в один файл без сжатия и быстро и 700 метров на кластерах выиграть можно. Вот только чем?

> все в один файл без сжатия и быстро
Тем же раром или 7zip. У них есть соотв. опции.

bzip2
Оптимальный по: времени, уровню сжатия; мультиплатформенный.

Лично я предпочитаю всякой экзотике быстрый ZIP.

Если основной контент - текст, то ppmd, иначе - lzma.

Какой алгоритм жмет сильнее? Найти похожие ветки