Wersjonowanie zbioru danych blokami

Dzieli pliki tekstowe na bloki o stałym rozmiarze, liczy skrót SHA-256 dla każdego bloku i całego pliku, podaje liczbę bloków i bloków unikalnych, oszczędność bajtów z deduplikacji oraz tworzy manifest podobny do .dvc, aby w git trafiał tylko opis danych. Wszystko liczone lokalnie, pliki nigdzie nie są wysyłane.

Splits text files into fixed-size blocks, computes a SHA-256 digest per block and per whole file, reports block and unique-block counts, the bytes saved by deduplication and builds a .dvc-like manifest so only the dataset description goes into git. Everything is computed locally and no file is uploaded anywhere.