LZ4 — fichier .lz4

Le LZ4, publié en 2011 par Yann Collet, privilégie délibérément la vitesse de compression et surtout de décompression sur le taux de compression : il décompresse plusieurs fois plus vite que le gzip, au prix d’archives un peu plus volumineuses. Ce compromis en a fait un choix par défaut dans de nombreux systèmes où la latence compte plus que l’espace disque (systèmes de fichiers, bases de données, journalisation).

Sa signature de trame (“frame magic number”) est fixée par la spécification officielle du format et permet une identification fiable, distincte du format de bloc brut LZ4 (sans en-tête) également utilisé dans certaines intégrations internes.

Le même auteur a ensuite développé le Zstandard (zstd), qui vise un meilleur équilibre entre vitesse et taux de compression tout en restant nettement plus rapide que le gzip — un format aujourd’hui souvent préféré au LZ4 quand une compression un peu plus poussée reste acceptable.

Des systèmes de fichiers compressés à la volée (comme certains systèmes utilisés par Btrfs ou ZFS) et plusieurs bases de données NoSQL exploitent le LZ4 précisément parce que sa vitesse de décompression permet de compresser les données au repos sans pénaliser sensiblement les performances de lecture.

Le noyau Linux l’utilise également comme algorithme par défaut de zram, un périphérique de swap compressé directement en mémoire vive : la rapidité de décompression du LZ4 permet de gagner de la mémoire disponible sur des machines aux ressources limitées sans introduire de latence perceptible lors des échanges avec cette zone de swap virtuelle.

Yann Collet, son créateur, a également conçu xxHash, une fonction de hachage non cryptographique réputée pour sa rapidité et souvent utilisée en complément du LZ4 dans des pipelines de traitement de données où la vérification d’intégrité doit rester aussi peu coûteuse que la compression elle-même.