Tokenizator BPE

Trenuje byte-pair encoding na twoim tekście i koduje nim ciąg. Pokazuje reguły scalania i weryfikuje dekodowanie.

Trains byte-pair encoding on your text and encodes a string with it. Shows merge rules and verifies the round trip.