BPE-Tokenizer

Trainiert Byte-Pair-Encoding auf Ihrem Text und kodiert damit eine Zeichenkette. Zeigt Merge-Regeln und prüft den Rückweg.

Felder ausfüllen, Werkzeug starten und Ergebnis prüfen. Eingaben werden nicht veröffentlicht. Der Lernmodus zeigt Rechenschritte.