Avro (Apache) : fichier .avro

L’Avro sérialise des données structurées en encapsulant directement leur schéma (la description des champs et de leurs types) dans le fichier lui-même, en JSON, ce qui lui permet d’être lu correctement même sans connaissance préalable de sa structure, contrairement au Parquet, dont le schéma se trouve dans un footer distinct.

Sa signature “Obj” suivie d’un octet de version (0x01) est stable et identifie le format sans ambiguïté.

Utilisé notamment dans l’écosystème Hadoop et les pipelines de traitement de données en flux (Apache Kafka), l’Avro se distingue par sa capacité à gérer l’évolution du schéma dans le temps : un lecteur peut interpréter correctement des données écrites avec une version antérieure ou postérieure du schéma, une propriété précieuse dans les architectures de données à long terme.

Contrairement au Parquet, orienté colonne et optimisé pour des requêtes analytiques ne portant que sur quelques champs, l’Avro reste orienté ligne, ce qui le rend plus adapté à l’écriture et à la lecture séquentielle complète de flux d’événements qu’à des requêtes analytiques partielles.

Les règles précises de compatibilité de schéma (ajout d’un champ optionnel, suppression d’un champ avec valeur par défaut) sont explicitement définies par la spécification Avro, ce qui en fait un choix fréquent pour les architectures de streaming de données où producteurs et consommateurs évoluent indépendamment dans le temps.

Le Schema Registry de Confluent, un composant central de nombreuses architectures Apache Kafka, s’appuie précisément sur l’Avro comme format par défaut pour centraliser et faire respecter la compatibilité des schémas entre tous les producteurs et consommateurs d’un même flux de données, évitant qu’un changement de schéma mal coordonné ne casse silencieusement un système en aval.