Tokenizator BPE
Trenuje byte-pair encoding na twoim tekście i koduje nim ciąg. Pokazuje reguły scalania i weryfikuje dekodowanie.
Wypełnij pola, uruchom narzędzie i sprawdź wynik. Dane nie są publikowane. Tryb nauki pokazuje obliczenia.
Trenuje byte-pair encoding na twoim tekście i koduje nim ciąg. Pokazuje reguły scalania i weryfikuje dekodowanie.
Wypełnij pola, uruchom narzędzie i sprawdź wynik. Dane nie są publikowane. Tryb nauki pokazuje obliczenia.