Sakana AIは、Sakana Fuguの指揮者モデルをGemma 4ベースで訓練し、従来と同等のオーケストレーション性能が出ることを確認しました。モデルプールに加えて指揮者モデルの多様化・モジュール化を図ることで、国内のさまざまな用途で求められるソブリン性の要件に応じたオーケストレーション技術を開発し、提供していきます。
背景：Sakana Fuguの二層構造
Sakana Fuguは、マルチエージェントのオーケストレーションシステムを一つの基盤モデルとして提供するプロダクトです。ユーザーが一つのエンドポイントにリクエストを送ると、Sakana Fugu自身が処理の仕方を判断し、必要に応じて高性能なモデル群を動的に呼び出して、その成果を一つの答えにまとめます。この設計はICLR 2026で発表したTrinityとConductorの研究を基盤としています。
Sakana Fuguは二つの層からなります。
- 指揮者モデル（オーケストレーターモデル）：モデル間の「協調の仕方」をSakana AIが学習させた小規模な言語モデル。
- モデルプール：実際の処理を担うモデル群。数百Bクラスのフロンティアモデルを含む。設計上、何を入れるか・何と入れ替えるかを自由に構成できる。
Sakana Fuguは、モデル間の「協調の仕方」をSakana AIが学習させた小規模な言語モデルである指揮者モデルと、実際の処理を担うモデルプールからなる。
指揮者モデルに求められるのは、あらゆる知識を自分の重みに抱えることではなく、どのモデルにどう任せるかを判断することです。知識や推論の重い部分はプール側のモデルが担うため、指揮者モデル自身は小さくてよく、だからこそ現実的なコストで訓練を繰り返し、ベースモデルを載せ替えて検証することもできます。
モデルプールの側は、当初から入れ替え可能であることを前提に設計してきました。標準構成では最高性能を基準にモデルを選定していますが、用途によっては選定基準そのものを変えたいという要望があります。コストを優先したい場合、モデルの提供元の所在地を限定したい場合、実行環境を限定したい場合などです。この選定基準は構成側で選べるようにしており、その一環として先日のNVIDIAとの提携によりNemotronを利用できるようにする取り組みを開始しました。
検証：Gemma 4ベースの指揮者モデル
一方で、指揮者モデル自身のベースモデルの多様性はこれまで担保できていませんでした。そこで私たちは、これまでとは別系統のオープンモデルであるGemma 4（Apache 2.0ライセンス）をベースに、同じ訓練手法で指揮者モデルを訓練しました。同規模のモデルであれば、系統が違っても同じ手法が通用するのかを確かめることが目的です。
検証には、当社が独自に構築した評価用設問セット（知識を問う問題、コード修正、コード生成、大学院水準の科学の設問からなる）を用いました（これらの設問は訓練にも、訓練途中の候補選定にも使用せず、テスト時のみ一度だけ使用）。指揮者モデルのベースにはGemma 4 E2Bを用い、Fuguと同様の訓練を行いました。「ランダムな振り分け」は、訓練を行わず、モデルプールから無作為に送り先を選んだ場合です。その結果、Gemma 4ベースの指揮者モデルにおいて、下図のとおり既存の指揮者モデルと遜色ない性能と、同等のコスト削減効果が確認できました。
当社の評価セットにおける、指揮者モデルの正答率とコスト。「ランダムな振り分け」は訓練前の無作為初期値による一例。コストは、ランダムな振り分けを1とした相対値。
今後の展望
これまでのSakana Fuguの指揮者モデルは、Qwenをベースに訓練したものを用いていました。今回の検証は、モデルプールのみならず指揮者モデルもモジュール化可能であり、多様な選択肢があることを示すものです。私たちは今後、自社開発モデルをベースとした指揮者モデルの訓練にも取り組み、お客様が求めるソブリン性の要件に応じて指揮者モデルを国産モデル（事前学習から国内で構築されたモデル）ベースに切り替えて提供できる体制を整えていきます。海外の最高性能のAI能力にアクセスし続けることと、求められるソブリン性を確保することの二つを両立させるための開発を、引き続き進めていきます。
Sakana AI
Sakana AIは、AIの未来を私たちと一緒に切り拓いてくださる方を募集しています。当社の募集要項をご覧ください。