BPE-токенайзер

Навчає byte-pair encoding на вашому тексті та кодує ним рядок. Показує правила злиття й перевіряє зворотне декодування.

Trains byte-pair encoding on your text and encodes a string with it. Shows merge rules and verifies the round trip.