Distillation
Также: Дистилляция
Дистилляция — это процесс обучения маленькой и быстрой модели на основе знаний большой и мощной нейросети.
Дистилляция работает как передача опыта от профессора к студенту. Большая «умная» модель (учитель) уже прочитала всё на свете и умеет отлично рассуждать, но она слишком тяжелая и медленная. Мы берем её ответы и заставляем маленькую, легкую модель (ученика) имитировать этот стиль и точность.
Представьте, что у вас есть огромная кулинарная книга на 10 000 страниц. Вы не будете носить её с собой на кухню — вместо этого вы выписываете из неё самое главное в маленький блокнот. Маленькая модель — это и есть такой блокнот: она работает гораздо быстрее и дешевле, при этом сохраняя суть знаний своего «учителя».
Зачем это нужно
Для вайбкодера дистилляция важна, когда нужно запустить ИИ-функцию прямо в браузере или на слабом сервере. Она позволяет получить высокую скорость отклика и низкие затраты на API, не теряя при этом в качестве ответов, которое было достигнуто на мощных моделях.