Токен
Также: Token
Токен — это базовая единица текста, которую ИИ использует для обработки информации, похожая на слог или часть слова.
Токен — это минимальный кусочек данных, на который нейросеть «разрезает» ваш текст перед тем, как его прочитать. В среднем 1000 токенов — это примерно 750 слов. ИИ не видит буквы или слова целиком, он видит последовательности этих числовых кодов.
Представьте, что вы отправляете другу письмо, но почта берет плату за каждый слог. Токен — это как такой слог или короткое слово. Если вы пишете «привет», это может быть один токен, а сложное техническое слово будет разбито на три-четыре части. Модели ограничены в том, сколько таких «слогов» они могут удержать в памяти за один раз.
Зачем это нужно
Для вайбкодера важно понимать токены, чтобы не выходить за рамки контекстного окна модели. Если ваш код или промпт слишком длинный, ИИ начнет забывать начало диалога или просто обрежет ответ, что может привести к ошибкам в работе приложения.