Datensatz-Versionierung in Blöcken

Zerlegt Textdateien in Blöcke fester Größe, berechnet einen SHA-256-Abdruck je Block und für die ganze Datei, meldet Block- und Unique-Block-Zahlen, die durch Deduplizierung gesparten Bytes und erzeugt ein .dvc-ähnliches Manifest, damit nur die Datenbeschreibung in git landet. Alles wird lokal berechnet, keine Datei wird hochgeladen.

Splits text files into fixed-size blocks, computes a SHA-256 digest per block and per whole file, reports block and unique-block counts, the bytes saved by deduplication and builds a .dvc-like manifest so only the dataset description goes into git. Everything is computed locally and no file is uploaded anywhere.