Prečo je Zip schopný skomprimovať jednotlivé súbory lepšie ako viaceré súbory s rovnakým obsahom?

Obsah:

Prečo je Zip schopný skomprimovať jednotlivé súbory lepšie ako viaceré súbory s rovnakým obsahom?
Prečo je Zip schopný skomprimovať jednotlivé súbory lepšie ako viaceré súbory s rovnakým obsahom?

Video: Prečo je Zip schopný skomprimovať jednotlivé súbory lepšie ako viaceré súbory s rovnakým obsahom?

Video: Prečo je Zip schopný skomprimovať jednotlivé súbory lepšie ako viaceré súbory s rovnakým obsahom?
Video: H11 Ultra UPGRADE vs H11 Ultra PLUS - Apple Watch ULTRA Clone Comparison - YouTube 2024, Apríl
Anonim
Byť schopný komprimovať naše súbory, aby ich bolo jednoduchšie zdieľať a / alebo prenášať, môže urobiť náš elektronický život oveľa jednoduchšie, ale niekedy môžeme po stlačení ich výsledkov vidieť divné alebo neočakávané výsledky. Prečo to je? Dnešný príspevok SuperUser Q & A má odpovede na zmätené otázky čitateľa.
Byť schopný komprimovať naše súbory, aby ich bolo jednoduchšie zdieľať a / alebo prenášať, môže urobiť náš elektronický život oveľa jednoduchšie, ale niekedy môžeme po stlačení ich výsledkov vidieť divné alebo neočakávané výsledky. Prečo to je? Dnešný príspevok SuperUser Q & A má odpovede na zmätené otázky čitateľa.

Dnešná relácia otázok a odpovedí sa k nám pridelí zdvorilosťou SuperUser - podskupiny Stack Exchange, skupín webových stránok týkajúcich sa otázok a odpovedí.

Foto s láskavým dovolením Jean-Etienne Minh-Duy Poirrier (Flickr).

Otázka

Čítačka SuperUser šesťdesiatpriestor chce vedieť, prečo je zip schopný komprimovať jednotlivé súbory lepšie ako viac súborov s rovnakým typom obsahu:

Suppose that I have 10,000 XML files and want to send them to a friend. Before sending them, I would like to compress them.

Method 1: Do Not Compress Them

Results:

Image
Image

Method 2: Zip Every File Separately and Send Him 10,000 Zipped XML Files

Command:

Results:
Results:
Image
Image

Method 3: Create a Single Zip File Containing All 10,000 XML Files

Command:

Results:
Results:
Image
Image

Method 4: Concatenate the Files Into a Single File and Zip It

Command:

Results:
Results:
Image
Image

Questions

  • Why do I get such dramatically better results when I am just zipping a single file?
  • I was expecting to get drastically better results using method 3 rather than method 2, but I do not. Why is this?
  • Is this behaviour specific to zip? If I tried using Gzip, would I get different results?

Additional Info

Image
Image

Meta Data

One of the answers given suggests that the difference is the system meta data that is stored in the zip file. I do not believe that this can be the case. To test it, I did the following:

The resulting zip file is 1.4 MB. This means that there is still approximately ten MB of unexplained space.
The resulting zip file is 1.4 MB. This means that there is still approximately ten MB of unexplained space.

Prečo je zip schopný komprimovať jednotlivé súbory lepšie ako viac súborov s rovnakým typom obsahu?

Odpoveď

Prispievatelia SuperUser Alan Shutko a Aganju majú odpoveď pre nás. Po prvé, Alan Shutko:

Zip compression is based on repetitive patterns in the data to be compressed, and the compression gets better the longer the file is, as more and longer patterns can be found and used.

Simplified, if you compress one file, the dictionary that maps (short) codes to (longer) patterns is necessarily contained in each resulting zip file; if you zip one long file, the dictionary is ‘reused’ and grows even more effective across all content.

If your files are even a bit similar (as text always is), reuse of the ‘dictionary’ becomes very efficient and the result is a much smaller total zip file.

Nasledovala odpoveď od Aganju:

In zip, each file is compressed separately. The opposite is solid compression, that is, files are compressed together. 7-zip and Rar use solid compression by default. Gzip and Bzip2 cannot compress multiple files, so Tar is used first, having the same effect as solid compression.

As xml files have similar structure (and probably similar content), if the files are compressed together then the compression will be higher.

For example, if a file contains the string “” and the compressor has already found that string in another file, it will replace it with a small pointer to the previous match. If the compressor does not use solid compression, the first occurrence of the string in the file will be recorded as a literal, which is larger.

Máte niečo doplniť vysvetlenie? Znížte komentáre. Chcete si prečítať viac odpovedí od iných používateľov technológie Stack Exchange? Pozrite sa na celý diskusný príspevok tu.

Odporúča: