BPE-Tokenizer

Trainiert Byte-Pair-Encoding auf Ihrem Text und kodiert damit eine Zeichenkette. Zeigt Merge-Regeln und prüft den Rückweg.

Trains byte-pair encoding on your text and encodes a string with it. Shows merge rules and verifies the round trip.