本文へスキップ

Fable 5.2とAstra・Sol:実際のコーディングでどう選ぶか

November 20, 2026

1 min read

CodeRabbitのモデル評価:Claude Fable 5.2とGPT-6.2 Astra・Solを比較。開発者にとって何が変わるのか?

AIモデルを使って開発する人にとって、この11月は慌ただしい月になりました。Anthropicは11月9日にClaude Fable 5.2を公開しました。9月にレビューしたFable 5.1の後継です。その8日後にはOpenAIが、フラッグシップのGPT-6.2 Astraと、日常の仕事向けのGPT-6.2 Solを発表しました。こちらもレビューしています。

開発者にとっては、わくわくする時期です。1週間あまりで強力なモデルが3つ登場し、同じ作業でも進め方はそれぞれ違います。このレビューでは、これらのモデルを並べて比較します。まず一例として、2つのモデルに同じ小さなゲーム開発の課題を渡し、何を作るか、どう進めるかを見ます。次に、CodeRabbitの社内コードレビューベンチマークの結果で、3つのモデルを比較します。

図1:同じ1行のプロンプトから、推論量xhighで始めた2つのコーディングセッションを同じ時間軸に並べた図。実行は各1回です。色は、観測できる動作からトレースビューアーが付けたフェーズで、各レーンの下の領域はコンテキストの大きさです。補助エージェントは含みません。かかった時間は、どちらの結果が優れているかを示すものではありません。

7分と2時間では大きな差があります。ログで目を引くのは、Fableがテストにかけた時間の長さです。最初のファイル変更まで約17分、その後は稼働時間の62%にあたる1時間以上を、ゲームの実行と確認に使いました。Astraは稼働時間の半分以上を、確認が失敗した後のファイル変更に使いました。Fableのコンテキストは約80万トークンまで増え、Astraは最大で約9万2,000トークンでした。それぞれが作ったゲームがこちらです。

左がGPT-6.2 Astraの作ったゲーム、右がFable 5.2の作ったゲーム。1分間、同時に動かしています。

映像では、TypeSafeのSystem OneモデルであるJevが、両方のゲームをプレイしています。

グラフィックスは、一見すると同程度に見えます。Fable版には、より充実したマップとストーリーもありますが、この短い映像には映っていません。開発者にとって興味深い違いは、追加のテスト時間です。エージェントの実行が長引いたとき、動作を確かめているのか、それとも確認の失敗を受けてコードの修正を繰り返しているのかを見る価値があります。ただし、これは異なるハーネスで各モデルを1回ずつ、どちらもxhighの推論量で動かした事例です。どちらがより良いゲームを作るかを結論づけるものではありません。

コードレビューのベンチマーク結果

コードレビューでは、CodeRabbitの社内ベンチマークを使います。CodeRabbitのコードレビューハーネスは、通常、複数のモデルを組み合わせています。今回の評価では、その組み合わせの一部を評価対象のモデルに置き換え、生成されたレビューを測定します。*

ベンチマーク結果には、それぞれの特徴が表れています。既知の問題を最も多く検出したのはFable、nitpickが最も少なかったのは低推論のSol、コメントが最も多かったのはAstraです。指摘が増えればバグの修正につながることもありますが、増えたコメントには読む人が必要です。

図2:構成と問題数が異なる別々の評価であり、条件をそろえた順位付けではありません。Fableの範囲は6回の実行の観測値で、信頼区間ではありません。詳細は末尾の評価方法をご覧ください。

既知の問題を最も多く検出したのはFable

指標Fable 5.2GPT-6.2 AstraGPT-6.2 Sol(低推論)GPT-6.2 Sol(高推論)
検出した既知の問題81件中63〜66件83件中58件81件中59件81件中60件
検出率77.8〜81.5%69.9%72.8%74.1%
ベンチマーク上の適合率30.5〜36.0%12.22%32.7%25.9%
1回あたりのnitpick40〜64件215件(nitpick/assertive)11件33件

AstraとSolの数値はGPT-6.2 AstraとSolのレビューによるものです。

Fableは最も低かった実行でも63件を検出しました。Solは最も多い実行で60件、Astraはやや大きいセットで58件です。今回の結果で、Fableをもう少し試したいと思える一番の理由はここにあります。

ただし、テストセットが変わるとFableの結果も変わりました。別の85件の問題セットでは、検出数は49〜54件、検出率は57.6〜63.5%でした。このセットではAstraとSolを実行していないため、同じように下がるかどうかは分かりません。

図3。別々の評価で観測した範囲です。85件の問題セットではAstraとSolを実行していません。

ここから開発者が試せることは、「全部Fableに切り替える」よりも限定的です。見逃しを特に減らしたい変更で、追加のレビューとして試す価値はありそうです。まずは、すでに内容を理解している問題を含むPRから始めます。今の構成が見逃す有用な指摘を拾えるか、複数の種類の変更でも同じように役立つかを確かめます。

レビューには読むコストがある

検出率はレビューの半分です。残りの半分は、その結果を得るために読まなければならない量です。

nitpickは検出率のスコアには入りませんが、誰かのレビューには届きます。小さなPRを、思いのほか大きな読み物に変えてしまうことがあります。Solのnitpickは低推論で11件、高推論で33件でした。Fableは1回あたり40〜64件、Astraはnitpickとassertiveのコメントが合わせて215件でした。

図4。MinorとMajorには要約欄の指摘を含みます。MajorにはCritical、Nitpickにはassertiveコメントを含め、差分外のコメントは除外しています。FableとSolは81件、Astraは83件の問題が対象で、構成も異なります。

通常の対応可能なコメントのうち、既知の問題に一致する割合を示すベンチマーク上の適合率も測定しています。Fableは30.5〜36.0%で、低推論のSol(32.7%)に近く、高推論のSol(25.9%)を上回りました。Astraは12.22%です。通常の対応可能なコメント589件のうち、既知の問題に一致したのは72件でした。残りのコメントが間違っているという意味ではありません。ラベル付けされていない実際の問題を指摘している可能性があります。それを判断するには、やはり誰かが読む必要があります。

図5:通常の対応可能なコメント100件に換算。端数のマスも使い、Fableの薄い部分は観測範囲を示します。一致しないコメントも有効な場合があります。Solの実行間でもパイプライン内の配置が異なるため、モデルの順位や推論量だけの効果は判断できません。

まとめると、3つのモデルはそれぞれ違うものを引き換えにしています。低推論のSolは最も静かです。nitpickが最も少なく、適合率はFableと同程度で、検出率は低めです。Fableは同程度の適合率でより多くの既知の問題を見つけますが、nitpickはSolのどちらの実行よりも多くなります。Astraは、検出と引き換えに読む量が3つの中で最も多くなります。

「バグを多く見つける」と「良いレビュー」は関連していますが、同じ問いではありません。追加の指摘に価値があるのは、有用なコードの変更につながるときです。もっともらしい警告を否定するために10分かかるなら、トークン生成が安くても、その時間にはコストがあります。

コーディングエージェントに追加のレビューを頼むなら、単に「徹底的に確認して」と言うより、欲しい根拠を具体的に伝える方法があります。たとえば、次のような依頼です。

この差分と呼び出し元を確認し、動作の変化をレビューしてください。問題ごとに、何が引き金になり、ユーザーに何が起こり、どう検証できるかを説明してください。任意の整理とバグは分けてください。判断できない場合は、足りない根拠を示してください。

検出が少し増えても、読む量は大きく増えることがある

Solの高推論の実行では、通常の対応可能なコメントが290件でした。低推論では202件です。検出した既知の問題は59件から60件に増えました。検出数の純増が1件である一方、読むコメントは88件増えています。構成も異なるため、推論量の効果だけを比較した結果ではありません。

自分のコードベースでは、各レビューが何を検出し、何を見逃すかを比べ、追加の指摘が読む時間に見合うかを判断します。3つのモデルの結果を問題ごとに照合する作業はまだ行っていないため、どのモデルが他のモデルの見逃すバグを拾うかは、この結果だけでは分かりません。

コードを書くときは、推論量でも選択が変わる

ここまでのベンチマーク結果はレビューの出力を測定しています。コードを書く場面の参考として、Bitoは複数の手順を要する2つのコーディング課題を、課題と構成ごとに4セッションずつ評価しています。OpenAIのモデルはCodex、FableはClaude Codeのmediumで実行しました。小規模で、CodeRabbitとは別の評価です。

難しい課題のセッションで、Solのスコアはlowの67.3%からhighの75.8%に上がりました。コストは$1.22から$2.22、時間は12.2分から29.5分に増えました。Astraのhighは76.9%で$8.19、Fableのmediumは81.0%で$8.13でした。これは定価から算出したセッション単位のコストです。

図6:Bitoによる独立したコーディング評価(2026年11月18日)。CodeRabbitのレビュー結果ではありません。難しいタスク2件を各4セッションで評価し、費用は定価で計算。AstraとSolはCodexで低・高推論、FableはClaude Codeで中推論を使用。

Fableは1つの設定でしかテストされておらず、この点は重要です。Anthropicのシステムカードによると、FrontierCode 2.0でのFableのスコアはmediumの37.6%からhighの45.3%に上がり、課題あたりのコストは$2.48から$6.72に増えました。mediumだけの実行では、Fableの上限も、より高い設定での費用も分かりません。

私たちの解釈は、より高価なモデルが必要だと考える前に、推論量を試す余地があるということです。Solのhighの結果は、実行を任せておける長めの作業で試したくなるものです。一方、作業の流れを止めずに短い質問をしたいときには、追加の待ち時間は歓迎しにくいでしょう。

次のプルリクエストで試すなら

  • 普段のコーディング: 2つのモデルに同じ課題とテストを渡します。料金とともに、修正箇所、失敗したチェック、レビュー可能になるまでの時間を比べます。
  • 同じところで行き詰まる課題: 同じ失敗するテストを渡し、推論量を増やすか別のモデルを試します。次のパッチを書く前に、原因の説明を見直してもらいます。
  • コードレビュー: 既知のバグがある過去のPRを再利用します。各モデルが何を検出し、何を見逃すか、そして読むコメントがどれだけあるかを確認します。

Fableの検出率とSolの読む負担の軽さは、どちらも試す理由になります。より良いコードと、少ない未解決の作業を残してくれるモデルを選びたいところです。

評価方法について

レビューベンチマークでは、検証とフィルタリングを終えた最終的なコメントを採点します。通常の対応可能なコメントが既知の問題に一致した場合、その問題を検出したと数えます。nitpick、差分外のコメント、サマリーだけにある指摘は検出率に含みません。ベンチマーク上の適合率は既知の問題との一致を測るもので、一致しないコメントが必ずしも間違いとは限りません。

評価は別々に実施しました。Fableは既知の問題81件に対して6回、Solは81件に対して推論量ごとに1回、Astraは83件に対して1回です。モデルの組み合わせのうち、置き換えた箇所も異なり、Solの2回の実行でも同一ではありません。そのため、モデルの選択や推論量だけの効果を切り分けた結果ではありません。Fableの範囲は実行で観測した値であり、信頼区間ではありません。記事内の作業手順への提案は私たちの解釈であり、生産性の向上を測定したものではありません。

著者について

共有

Share on XShare on LinkedinShare on Reddit