Версіонування набору даних блоками

Розбиває текстові файли на блоки сталого розміру, рахує відбиток SHA-256 для кожного блоку й для всього файлу, показує кількість блоків і унікальних блоків, економію байтів від дедуплікації та формує маніфест, схожий на .dvc, щоб у git зберігати лише опис даних. Усе рахується локально, файли нікуди не надсилаються.

Splits text files into fixed-size blocks, computes a SHA-256 digest per block and per whole file, reports block and unique-block counts, the bytes saved by deduplication and builds a .dvc-like manifest so only the dataset description goes into git. Everything is computed locally and no file is uploaded anywhere.