Często zachodzi potrzeba szybkiego równoległego skompresowania dużych danych (backupy chociażby). Na jakie narzędzia do kompresji warto zwrócić uwagę - zwłaszcza w kontekście wykorzystania wielu rdzeni procesorów?
Są jakieś kryteria ich wyboru? Np - do kompresji danych binarnych warto zwrócić uwagę na XXX, do danych tekstowych YYY, a jak zależy na najmniejszym możliwym rozmiarze na ZZZ.
Na co dzień używam dwóch programów do kompresji równoległej - pxz i pigz.
Pierwszy -w sytuacji gdy zależy mi na mocnej kompresji. Zazwyczaj używam parametru -2 - który z moich doświadczeń zapewnia optymalny stosunek stosunku kompresji do czasu kompresji. Wyższe stopnie powodują znaczący wzrost czasu kompresji w stosunku do nieznacznego zysku wydajności. Oczywiście - sytuacja mocno zależy od ilości kompresowanych danych - w sytuacji gdy jest ich niewiele a serwer jest mało obciążony - warto użyć wyższego współczynnika kompresji.
W szczególności - xc jest bardzo fajny w sytuacji gdy zależy nam na prędkości rozpakowywania danych - zmiana z bzip2 na lzma - często przy porównywalnym stopniu kompresji powodowała u mnie znaczny zysk jeżeli chodzi o prędkość kompresji, oraz kilkukrotny albo nawet kilkunastokrotny zysk w sytuacji dekompresji.
Natomiast pigz używam w sytuacji gdy z jakiś powodów zależy mi na zgodności z formatem gzip (bo np oprogramowanie które sięga po skompresowane dane nie obsługuje formatu xz).
Czasami robię również myk iż:
W ten sposób skracam do minimum czas robienia np dumpa danych sql (locki!), a w efekcie uzyskuję bardzo mały plik wyjściowy.
