BPE-токенайзер

Навчає byte-pair encoding на вашому тексті та кодує ним рядок. Показує правила злиття й перевіряє зворотне декодування.

Заповни поля, запусти інструмент і перевір результат. Введене не публікується на окремій сторінці. Навчальний режим показує пояснення обчислень.