Microsoft представил самую компактную модель ИИ Ее обучили на детских книжках

Модель, получившая название Phi-3 Mini, состоит из 3,8 миллиарда параметров и обучается на наборе данных, который меньше по сравнению с массивом, используемым для обучения больших языковых моделей наподобие GPT-4. Она уже доступна на облачной платформе Azure, в Hugging Face и Ollama. Кроме того, Microsoft планирует выпустить модели Phi-3 Small с 7 миллиардами параметров и Phi-3 Medium с 14 миллиардами параметров.

Phi-3 Mini обучена на детских книгах — вернее, на сказках, которые детям обычно читают перед сном. Они отличаются тем, что в них используются более простые слова и упрощенная структура предложений, но при этом в сказках обсуждаются важные темы. Однако существующей детской литературы для тренировки модели все-таки не хватало.

Поэтому разработчики составили список из более чем 3000 тем и попросили ИИ написать еще больше детских книг специально для обучения Phi-3. Новая модель по сути дальше развивает предыдущие итерации — Phi-1 ориентирована на кодирование, Phi-2 учится рассуждать, а Phi-3 лучше справляется и с кодированием, и с рассуждениями. Но, хотя модели семейства Phi-3 и обладают общими знаниями, они не могут превзойти GPT-4 или другие большие языковые модели по широте охвата.

Здесь мы рассказываем, как устроен ChatGPT и как он вообще работает: