CDF (Common Data Format, NASA) : fichier .cdf

Le CDF (Common Data Format) de la NASA stocke des données scientifiques multidimensionnelles de façon auto-descriptive (dimensions, variables et métadonnées libres accompagnent les données elles-mêmes dans un même fichier). Il a été développé par le Goddard Space Flight Center et reste largement utilisé en physique spatiale, héliophysique et astronomie.

Ce sigle est source d’ambiguïté : il désigne à la fois ce format scientifique de la NASA et, sans aucun rapport technique, le Computable Document Format de Wolfram, un format de document interactif. Seul le contexte du fichier permet de lever l’ambiguïté, l’extension .cdf étant partagée par les deux formats sans lien entre eux.

La NASA recommande ou impose fortement ce format pour l’archivage des données issues des missions spatiales qu’elle finance, notamment via l’infrastructure SPDF (Space Physics Data Facility) qui centralise des décennies de mesures satellitaires. Cette politique institutionnelle explique largement sa prédominance dans ce domaine scientifique précis, plus que ses qualités techniques ne le justifieraient isolément face à des alternatives comme HDF5.

Le format prend en charge la compression native des données (RLE, gzip, Huffman) et gère nativement les fichiers volumineux au-delà de 2 Gio, deux caractéristiques utiles pour des séries temporelles de mesures satellitaires s’étalant sur plusieurs décennies de collecte continue.

Signatures selon la version

Un fichier CDF commence par deux nombres magiques de 4 octets en big-endian. Le premier indique la génération du format : CDF30001 pour CDF 3.0 et suivants, CDF26002 pour les versions 2.6 et 2.7, 0000FFFF avant la 2.6. Le second vaut 0000FFFF pour un fichier normal (y compris si seules certaines variables sont compressées) et CCCC0001 quand le fichier entier est compressé, auquel cas il ne contient plus qu’un enregistrement de données compressées et ses paramètres.

Fichier unique ou multi-fichiers

Un CDF existe sous deux formes. En « single-file », tout tient dans le fichier .cdf. En « multi-file », le .cdf ne garde que les métadonnées et chaque variable est stockée dans un fichier à part, nommé .v0, .v1… pour les rVariables et .z0, .z1… pour les zVariables : copier le seul .cdf d’un tel jeu de données fait perdre toutes les valeurs.

Confusion avec netCDF

L’extension .cdf a aussi servi au netCDF d’Unidata, un autre format scientifique, jusqu’en 1994 : Unidata a alors recommandé .nc justement pour éviter le conflit avec le CDF de la NASA. Un ancien fichier netCDF classique nommé en .cdf se reconnaît à sa signature, les trois caractères « CDF » suivis d’un octet de version (01 ou 02), très différente des nombres magiques du CDF de la NASA.