ZST (Zstandard) : fichier .zst

Le Zstandard (ZST), développé par Facebook et publié en 2016, a été conçu pour offrir un compromis nettement meilleur que le GZIP entre vitesse de compression/décompression et taux de compression obtenu, notamment grâce à un réglage fin possible de ce compromis selon les besoins.

Sa signature de 4 octets est officiellement enregistrée à l’IANA (RFC 8878), un statut que peu de formats de compression concurrents partagent, la plupart d’entre eux (GZIP mis à part) reposant sur des types MIME non officiels.

Adopté rapidement par de grandes infrastructures techniques (le noyau Linux, de nombreuses bases de données, des systèmes de fichiers), le Zstandard s’est imposé en quelques années comme une alternative sérieuse au GZIP pour les usages où la vitesse de traitement compte autant que le taux de compression final.

Une fonctionnalité originale, les “dictionnaires” Zstandard entraînés sur un échantillon représentatif de petits fichiers similaires, permet d’obtenir un excellent taux de compression même sur des fichiers individuellement trop petits pour que l’algorithme puisse repérer seul des répétitions exploitables.

Son échelle de niveaux de compression, bien plus étendue que celle du gzip, permet de choisir précisément entre vitesse maximale et compression maximale selon le contexte, un même algorithme couvrant ainsi des usages qui nécessitaient auparavant des outils différents.

Facebook (aujourd’hui Meta) a développé le Zstandard pour répondre à ses propres besoins internes de compression à très grande échelle (journaux applicatifs, données de stockage distribué) avant de le publier en open source en 2016, un parcours de “dogfooding” à grande échelle qui a directement nourri la maturité du format dès sa sortie publique.