Doolta

Metarc

Format d'archivage expérimental qui compresse la structure d'un corpus de code avant les octets, avec des gains mesurés sur des dépôts open source réels.

Détails du projet

Problème réelLes compresseurs classiques (gzip, zstd) opèrent au niveau de l’octet et ratent la redondance sémantique entre fichiers d’un même corpus : licences dupliquées, boilerplate, JSON ou logs répétitifs, tokens de code récurrents.
Choix structurantsUne chaîne de transforms réversibles et versionnées (dédoublonnage, normalisation), pilotée par une heuristique coût/gain qui peut explicitement décider de ne rien faire plutôt que de dégrader. Regroupement en blocs zstd par extension de fichier pour exploiter la redondance croisée, avec un catalogue SQLite séparé de la zone de blobs.
Preuve aujourd'huiProjet en développement actif, déjà fonctionnel et testé (CI, couverture, audit continu), avec des gains mesurés et reproductibles sur des dépôts open source réels (Kubernetes, React, Redis, NumPy) : 3 à 9 % vs tar+zstd, jusqu’à 22 % sur un corpus personnel très redondant.
Offre associéeApproche sur mesure. Nous contacter.

Compresser la structure avant les octets : plutôt que de traiter un corpus de fichiers comme un flux d’octets indifférencié, Metarc identifie la redondance entre fichiers avant de passer la main à un compresseur classique, avec des gains mesurés sur des dépôts open source réels plutôt qu’affirmés.

Ce projet démontre une capacité d’exploration algorithmique rigoureuse : chaque optimisation est benchmarkée avant d’être adoptée, et le système sait dire non à une transformation qui ne paie pas.