Токени — це базові одиниці тексту, які обробляють моделі ШІ. Хоча 1000 токенів — це приблизно 750 слів англійською мовою, це значення варіюється залежно від мови та моделі. Ми використовуємо формулу високоточної оцінки: ~4 символи на токен для англійської та ~2.5 для слов'янських мов.