Microsoft выводит расширенные модели DeepSeek R1 на компьютеры Copilot+
DeepSeek покорил мобильный мир и теперь распространяется на Windows - при полной поддержке Microsoft, что удивительно. Вчера софтверный гигант добавил модель DeepSeek R1 в свой Azure AI Foundry, чтобы разработчики могли тестировать и создавать с ее помощью облачные приложения и сервисы. Сегодня Microsoft объявила о том, что выводит дистиллированные версии R1 на компьютеры Copilot+.
Сначала дистиллированные модели будут доступны для устройств на базе чипов Snapdragon X, процессоров Intel Core Ultra 200V, а затем для ПК на базе AMD Ryzen AI 9.
Первой моделью станет DeepSeek-R1-Distill-Qwen-1.5B (т. е. модель с 1,5 миллиардами параметров), а вскоре появятся и более крупные модели с 7B и 14B параметрами. Они будут доступны для загрузки с сайта Microsoft AI Toolkit.
Microsoft пришлось подправить эти модели, чтобы оптимизировать их для работы на устройствах с NPU. Операции, которые в значительной степени зависят от доступа к памяти, выполняются на центральном процессоре, в то время как операции, требующие больших вычислительных затрат, такие как блок трансформации, выполняются на NPU. Благодаря оптимизации Microsoft удалось добиться быстрого времени до первого маркера (130 мс) и пропускной способности в 16 маркеров в секунду для коротких запросов (менее 64 маркеров). Обратите внимание, что «токен» похож на гласную букву (важно, что один токен обычно имеет длину более одного символа).
Microsoft активно поддерживает OpenAI (создателей ChatGPT и GPT-4o) и вкладывает в нее значительные средства, но, похоже, она не играет в фаворитов - в Azure Playground есть модели GPT (OpenAI), Llama (Meta), Mistral (компания по разработке ИИ), а теперь и DeepSeek.
В любом случае, если вам больше нравится локальный ИИ, сначала скачайте AI Toolkit для VS Code. Оттуда вы сможете загрузить модель локально (например, «deepseek_r1_1_5» - это модель размером 1,5B). Наконец, нажмите кнопку Try в Playground и посмотрите, насколько умна эта дистиллированная версия R1.
«Дистилляция модели», иногда называемая „дистилляцией знаний“, - это процесс взятия большой модели ИИ (полная модель DeepSeek R1 имеет 671 миллиард параметров) и переноса как можно большего количества ее знаний в меньшую модель (например, 1,5 миллиарда параметров). Это не идеальный процесс, и дистиллированная модель обладает меньшими возможностями, чем полная модель, но ее меньший размер позволяет запускать ее непосредственно на потребительском оборудовании (вместо специализированного оборудования для ИИ, которое стоит десятки тысяч долларов).
