Apache ORC — fichier .orc

L’ORC (Optimized Row Columnar) stocke les données par colonne plutôt que par ligne, comme le Parquet, ce qui accélère considérablement les requêtes analytiques qui ne portent que sur quelques colonnes d’une table très large — un schéma de stockage né dans l’écosystème Hadoop/Hive et aujourd’hui également supporté par Spark et Presto/Trino.

Sa signature textuelle “ORC” ouvre le fichier, qui se termine par ailleurs par un “postscript” décrivant l’emplacement des métadonnées. Il rivalise directement avec le Parquet pour les mêmes usages analytiques, le choix entre les deux dépendant surtout de l’écosystème logiciel déjà en place (Hive et Presto favorisent historiquement l’ORC, l’écosystème Spark/pandas favorise plutôt le Parquet).

Le format intègre des statistiques précalculées par bloc de données (valeurs min/max par colonne, notamment), que le moteur de requête peut consulter pour ignorer entièrement des blocs qui ne peuvent pas contenir de résultat pertinent — une optimisation qui accélère considérablement certains filtres sur de très gros volumes.

Une table ORC ou Parquet reste rarement manipulée directement par un utilisateur final : elle transite le plus souvent via un moteur de requête SQL distribué (Hive, Presto, Spark SQL) qui masque entièrement la structure columnaire sous-jacente derrière une interface relationnelle classique.

Depuis Hive 3, l’ORC est le seul format de stockage pris en charge pour les tables transactionnelles ACID de Hive (insertions, mises à jour et suppressions ligne par ligne) : le Parquet, pourtant très répandu par ailleurs, ne peut pas servir de socle à ce type de table dans cet écosystème précis.

Le format a été développé à l’origine chez Facebook puis Hortonworks pour succéder au RCFile, un précédent format columnaire de l’écosystème Hadoop jugé trop limité, avant de devenir un projet Apache à part entière géré indépendamment de toute entreprise unique.