HDF5 — fichier .h5

Le HDF5 organise des jeux de données scientifiques massifs — simulations climatiques, imagerie médicale, relevés de capteurs — dans une structure hiérarchique proche d’un système de fichiers, avec des “groupes” faisant office de dossiers et des “datasets” faisant office de fichiers, chacun pouvant porter ses propres métadonnées.

Sa signature de 8 octets reprend délibérément la construction de celle du PNG (octet non-ASCII, identifiant “HDF”, puis séquence CR/LF/SUB/LF pour détecter une corruption liée à un transfert en mode texte), une conception explicitement citée en référence par les auteurs du format. Il reste la référence dans de nombreux domaines scientifiques où le volume de données dépasse largement ce qu’un format généraliste comme le CSV ou même le Parquet peut gérer efficacement.

Un dataset HDF5 peut être découpé en “chunks” individuellement compressés et indexés, ce qui permet de lire une petite portion d’un fichier de plusieurs téraoctets sans devoir le charger entièrement en mémoire — une capacité déterminante pour l’analyse de simulations ou d’observations à très grande échelle.

Le format sert aussi de base à d’autres normes de fichiers scientifiques plus spécialisées (comme le NetCDF-4 en climatologie ou certains formats bio-informatiques), qui en réutilisent la structure hiérarchique tout en imposant des conventions de nommage propres à leur discipline.

La NASA distribue une grande partie des données de ses missions d’observation de la Terre (comme les instruments MODIS ou VIIRS) directement au format HDF5, exploitant sa capacité à organiser hiérarchiquement des mesures satellite multi-capteurs accumulées sur plusieurs décennies au sein d’archives d’une ampleur difficilement gérable par un format plus simple.