放課後論文ラジオ
放課後論文ラジオ
EP.084

#84 2.8兆パラメータの最強AIが無料で使える時代

100万トークンの長文処理とトップ級性能を両立し、モデルを公開したKimi K3

2026年7月29日

番組ノート

今回の論文

  • タイトル: Kimi K3: Open Frontier Intelligence — Technical Report of Kimi K3
  • 著者: Kimi Team(Moonshot AI)
  • 発表: 2026年7月

このエピソードのポイント

  • 2.8兆パラメータという桁違いの巨大さと、100万トークン(本数冊分)の長文処理を両立
  • トップクラスの性能を保ちながら、モデル本体を無料公開。しかも非公開AIの数分の一のコストで動く
  • 天体物理の計算を2時間で、42年分の業界分析を自動で——長丁場の知的作業をAIが自律的にこなす例が満載
#放課後論文ラジオ#AI#機械学習#KimiK3#MoE#大規模言語モデル#オープンモデル

論文を読み解く

Overview

ひと言でいうと

2.8兆パラメータという「桁違いの巨大さ」と100万トークンの超長文処理を両立し、しかも重み(モデル本体)を無料公開した、最強クラスの民主化AIを実現した研究。

Background

背景

AIの性能を伸ばす方法には大きく2つあります。ひとつは「モデルを大きくして、大量のデータで学習させる」こと。もうひとつは「使うとき(推論時)にじっくり考えさせる」ことです。近年、後者の「じっくり考える推論モデル」は誰でも作れるオープンソースの世界でも急速に進歩しました。しかし前者の「モデルそのものを巨大化する」ほうは、オープンな世界では1兆パラメータ級で足踏みが続いていました。その結果、非公開の最強AI(ClaudeやGPTなど)との差が広がる危険がありました。Kimi K3は、この「巨大化」と「じっくり考える」の両方を同時に極限まで押し進め、その成果を丸ごと公開しようとした研究です。

Novelty

何が新しいか

Kimi K3の核心は「情報の流れ方」を3つの方向で工夫した点です。

ひとつめは Kimi Delta Attention(KDA)​ 。従来のAIは長い文章を読むほど「記憶ノート」がどんどん膨らんで処理が重くなりますが、KDAは記憶を一定サイズに圧縮しながら効率よく長文を扱います。

ふたつめは Attention Residuals 。通常のAIは情報を層から層へバケツリレー式に渡しますが、この仕組みは各層が「過去の全層」から必要な情報を直接選んで取り出せます。

みっつめは Stable LatentMoE 。896人の「専門家」を用意し、質問ごとにそのうち16人だけを呼び出す仕組みです。膨大な専門家を抱えても、実際に動くのは一部だけなので効率的。専門家の呼び出し数を綺麗に均等化する「分位点バランシング」も新開発しました。これらの合わせ技で、前作Kimi K2に比べ 約2.5倍 の「学習効率」を達成しています。

Results

どんな結果が出たか

Kimi K3は、コーディング、自律的なタスク実行(エージェント)、知識、推論、画像理解という幅広い分野で「フロンティアレベル(最前線)」の性能を示しました。全体では非公開の最強2モデル(Claude Fable 5、GPT-5.6 Sol)にわずかに及ばないものの、それ以外の公開・非公開モデルを一貫して上回っています。たとえば長文コーディングのProgramBenchで 77.8% と首位、ウェブ検索のBrowseCompで 91.2% と首位。さらにコスト効率が際立ち、ウェブ検索タスクではGPT-5.6 Solの 半額 、Claudeの十分の一の費用で最高得点を出しています。人間参加型のWebDev Arenaでは、オープンモデルとして初めて首位に立ちました。

Key Point

なぜ重要か

最大のポイントは「トップクラスの性能を持つAIが無料公開された」ことです。企業は自社サーバーで動かせるため、機密データを外部に出さずに高度なAIを使えます。しかもコスト効率が高く、同じ仕事を非公開AIの数分の一の費用でこなせる可能性があります。

論文では実例も豊富です。研究者が1〜2週間かかる天体物理の数値計算をKimi K3が約2時間で完了した例、48時間の自律作業で推論チップの試作設計まで行った例、42年分のAI半導体業界を分析した調査サイトを87の四半期報告書と1万ページ超の資料から自動生成した例などが挙げられています。つまり、専門家が数日〜数週間かけるような「長丁場の知的作業」を、AIが自律的に回せる時代が近づいていることを示しています。一方でセキュリティ評価では、既知の脆弱性発見はできても高度な攻撃の完遂は人間専門家に及ばない、という限界も正直に報告されています。

From the Host

解説者ノート

個人的に一番面白いのは「巨大化」と「じっくり考える」の両輪を意図的に同時に回した戦略です。オープンモデルが1兆パラメータ級で停滞するなか、あえて2.8兆へ踏み込んだ判断は挑戦的。特にコスト効率のグラフは説得力があり、「高性能=高コスト」という常識を崩しにきています。気になるのは、研究レベルの難問やハードなセキュリティ攻撃では依然人間や最強非公開モデルに届かない点。ここが今後の「本当のフロンティア」で、次の世代でどう詰めてくるか注目したいです。

キーワード

MoE(専門家混合)

たくさんの専門家AIを用意し、質問ごとに一部だけを呼び出す仕組み。全員を動かさないので効率がよい

パラメータ

AIの「知識や勘」を数値化したもの。多いほど賢くなる傾向があるが、動かす計算コストも増える

コンテキストウィンドウ

AIが一度に読み込んで覚えていられる文章量。100万トークンは本数冊分に相当する

エージェント

AIが自分で計画を立て、ツールを使い、結果を確認しながら長い作業を自律的にこなす使い方

強化学習(RL)

試行錯誤を通じて「良い結果」に報酬を与え、AIの振る舞いを鍛えていく学習方法

ネイティブマルチモーダル

文章・画像・動画を後付けではなく、最初からひとつの頭脳で一緒に扱えること

論文情報

2607 24653

トランスクリプト

かなで

かなで

はじまりました、放課後論文ラジオです。
ゆい

ゆい

ゆいです!
かなで

かなで

かなでです。
ゆい

ゆい

この番組は、むずかしいAI論文を2人でかみ砕いてお届けしてるよ!
かなで

かなで

今日もゆるっといこうね。
ゆい

ゆい

ねえかなで先輩、聞いてよ。この前、家の掃除めっちゃ大変だったの。

EP.084|#84 2.8兆パラメータの最強AIが無料で使える時代