Kimi K3 — что нового в архитектуре и сколько это стоит

Как Kimi K3 сама ускорила код своего обучения

В материалах релиза Moonshot описала эксперимент, которого раньше не проводил ни один конкурент в таком виде. Пяти моделям — Kimi K3, Claude Fable 5, Claude Opus 4.8, GPT-5.6 Sol и GPT-5.5 — дали одну и ту же инженерную задачу: оптимизировать четыре реальных тренировочных kernel'а компании (AttnRes, KDA, DSA и MLA с 512-мерными головами) на NVIDIA H200 и GPGPU альтернативного вендора. У каждой модели было до 24 часов, полная песочница и одно жёсткое ограничение — результат вычислений менять нельзя, речь только о скорости.

На кернеле AttnRes условия были такими: 96 слоёв, размерность модели 8192, последовательность 8192 токена, исходная реализация на Triton из библиотеки FLA. Kimi K3 за 15 часов непрерывных итераций спроектировала двухфазный алгоритм и слила несколько операций в единые кернелы, сохранив исходную численную точность. Время прямого и обратного прохода упало с 283.6 до 114.4 миллисекунды — ускорение в 2.48 раза. По итоговому результату Kimi K3 и Claude Fable 5 (с фоллбэком) финишировали почти вровень, но K3 улучшала результат быстрее на каждой отдельной итерации, а GPT-5.6 Sol, GPT-5.5 и Claude Opus 4.8 остались заметно позади.

У этой истории есть продолжение, которое Moonshot упомянула отдельно: на поздних этапах разработки K3 ранняя версия самой модели уже выполняла большую часть работы по оптимизации кернелов внутри команды. Инженеры не столько писали код руками, сколько проверяли и принимали то, что предлагала ещё не выпущенная модель — практика, которая обычно звучит как сценарий из презентации, а не как рабочий процесс конкретной лаборатории.

Архитектура на 2.8 триллиона параметров

K3 держит номинальный размер в 2.8 трлн параметров, но на каждый токен реально работают лишь 16 из 896 экспертов — эффективная стоимость инференса сопоставима с гораздо более компактной плотной моделью. Балансировку между таким количеством экспертов обеспечивает Stable LatentMoE вместе с механизмом Quantile Balancing, который распределяет токены между экспертами напрямую по квантилям их оценок, без ручных эвристик и хрупких гиперпараметров, которые обычно приходится подбирать вручную для MoE такого масштаба.

Контекст в миллион токенов держится на Kimi Delta Attention (KDA) — механизме внимания, который остаётся линейным по вычислительной стоимости там, где обычное внимание растёт квадратично с длиной последовательности. Второй новый компонент, Attention Residuals (AttnRes), отвечает за то, как модель выборочно переносит представления между слоями по глубине сети, а не накапливает их равномерно. По заявлению Moonshot, вместе эти решения дают примерно 2.5-кратный рост эффективности масштабирования по сравнению с предыдущей K2 — то есть K3 превращает то же количество вычислений в заметно больше полезного интеллекта.

Стабильность обучения при такой разреженности обеспечивают ещё несколько узкоспециализированных модулей: Per-Head Muon расширяет оптимизатор Muon так, что каждая голова внимания настраивается независимо, а Sigmoid Tanh Unit и Gated MLA управляют активациями и избирательностью внимания. Обучение идёт с учётом будущего квантования с самого этапа fine-tuning — веса модели хранятся в формате MXFP4, активации в MXFP8, что снижает требования к памяти при инференсе.

Бенчмарки без прикрас

Moonshot сравнивает K3 с четырьмя моделями, которые задают верхнюю границу рынка на июль 2026 года: Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8 и GPT-5.5, плюс GLM-5.2 как ориентир среди самых доступных по цене моделей. Вот как это выглядит на графиках Artificial Analysis по кодингу и агентным задачам.

Бенчмарки кодинга. Kimi K3 берёт первое место на Program Bench и SWE Marathon. Источник: Artificial Analysis.

Общие и визуальные агенты. Kimi K3 лидирует на BrowseComp, SpreadsheetBench 2 и Automation Bench. Источник: Artificial Analysis.

Ниже — та же картина в виде сводной таблицы, с точными числами по каждому бенчмарку. Синим выделена Kimi K3, жирным — лучший результат в строке.

Из четырнадцати строк таблицы K3 занимает первое место в пяти — Program Bench, SWE Marathon, SpreadsheetBench 2, Automation Bench и BrowseComp — и почти везде остаётся в тройке лучших. Модель уступает Terminal-Bench 2.1 всего 0.5 балла и FrontierSWE — 5.4 балла лидеру Claude Fable 5. По общему индексу интеллекта Artificial Analysis, композитной оценке из девяти замеров, K3 набирает 57 баллов и занимает третье-четвёртое место среди 189 протестированных моделей — позади Claude Fable 5 (60) и GPT-5.6 Sol (59), но заметно опережая GLM-5.2 (51).

Сколько стоит балл интеллекта

Официальная цена API — $3.00 за 1M входных токенов на кэш-промахе, $0.30 при кэш-хите и $15.00 за 1M выходных, флат по всему окну в 1 048 576 токенов без надбавки за длину контекста. По методологии Artificial Analysis, которая считает стоимость выполнения задачи, а не токена, K3 обходится в $0.95 за задачу на Intelligence Index — дешевле GPT-5.6 Sol ($1.04) и Claude Opus 4.8 ($1.80), но дороже открытой GLM-5.2 ($0.47).

Разница становится нагляднее на конкретных бенчмарках. На BrowseComp Kimi K3 в режиме максимального рассуждения достигает результата около 91% при цене порядка $2–4 за задачу. Claude Opus 4.8 на том же бенчмарке в максимальном режиме тратит около $25.5 за задачу и получает 84.4% — почти в семь раз дороже за более слабый результат.

BrowseComp — результат против цены за задачу. Kimi K3 занимает верхний левый угол графика: высокий балл при низкой цене. Источник: Artificial Analysis.

На Kimi Code Bench V2 картина похожая: Kimi K3 в режиме max набирает 72.3% за $4 за задачу, тогда как Claude Opus 4.8 тратит $6.5 за 71% — Kimi K3 обходится дешевле и при этом чуть точнее. Claude Fable 5 в максимальном режиме доходит до 77.5%, но при цене около $10.3 за задачу, в 2.5 раза больше, чем у K3.

Kimi Code Bench V2 — результат против цены за задачу. При цене $4 Kimi K3 обходит Claude Opus 4.8, который стоит $6.5 за задачу. Источник: Kimi Code / Moonshot AI.

Есть и обратная сторона. Скорость генерации у K3, по замерам Artificial Analysis, — около 33 токена в секунду, заметно ниже, чем у большинства конкурентов. А на полном прогоне Intelligence Index модель израсходовала 130 миллионов выходных токенов — Artificial Analysis прямо называет K3 многословной и достаточно дорогой в расчёте на реальную сессию, а не на изолированный тестовый прогон.

Что Moonshot признаёт сама

Раздел ограничений в техническом блоге K3 написан необычно прямо для релизного материала. Moonshot пишет, что модель обучена с расчётом на сохранённую историю рассуждений между шагами агента: если харнесс обрезает или теряет цепочку мыслей, качество ответов может стать «крайне нестабильным». Отдельно компания признаёт, что K3 «избыточно проактивна» в неоднозначных задачах — модель предпочитает действовать сама, а не уточнять у пользователя, что именно нужно сделать. В том же разделе Moonshot соглашается, что разговорный UX у K3 пока уступает Claude Fable 5 и GPT-5.6 Sol.

По данным Artificial Analysis, на бенчмарке фактической точности AA-Omniscience доля галлюцинаций у K3 выросла примерно до 51% против 39% у предыдущей K2.6, хотя доля правильных ответов среди тех случаев, где модель не галлюцинирует, тоже подросла — с 33% до 46%. Модель стала точнее там, где отвечает верно, но заметно хуже понимает, когда стоит остановиться и признать неуверенность.

20 июля, спустя четыре дня после запуска, Moonshot временно приостановила регистрацию новых платных подписок — по данным Reuters, спрос на K3 превысил доступные вычислительные мощности. Успех запуска обернулся дефицитом инференса, а не проблемой с качеством ответов.

Доступ к Kimi K3 из России

Прямая оплата API Moonshot AI из России затруднена — платформа требует верификацию через китайский номер телефона или банковскую карту. AITUNNEL открывает доступ к Kimi K3 через единый OpenAI-совместимый API с оплатой в рублях, без VPN и обхода блокировок.

Регистрация занимает пару минут: заводите аккаунт, пополняете баланс, получаете ключ вида sk-aitunnel- и меняете base_url на https://api.aitunnel.ru/v1/. Модель указывается как moonshotai/kimi-k3 — стриминг, вызов инструментов и работа с изображениями переносятся из существующего кода на OpenAI SDK без изменений.