本文へスキップ

GPT-6.2 SolとAstraレビュー:乗り換えるべきか

CodeRabbitによるGPT-6.2 SolとAstraのモデル評価。

新しいAstraを試すのは、ずいぶん久しぶりに感じます。前回のGPT-6 Astraの評価は2か月あまり前でした。OpenAIはその後もGPT-6 Cyberなどをリリースしてきました。一方、AnthropicのOpus 5.5の改善は、Claudeに戻ってよかったと思えるものでした。

エージェントには、より大きなプロジェクトや、何時間もかかる仕事を任せるようになっています。DotsやGrok Botのような常時稼働型エージェントは、イベントをきっかけに任された仕事を始め、結果が出たときや人の入力が必要なときに通知できます。こうした仕事が増えるほど、トークン使用量と完了までの費用を無視できなくなります。

OpenAIは、新しいGPT-6.2 SolとAstraが、より少ない出力トークンで難しい作業に対応できると説明しています。リリースをめぐる話題の多くは画像や動画の生成に向けられていたため、私たちはソフトウェア開発ではどうなのかを確かめたいと考えました。評価した用途は2つです。

  • コード生成では、ソフトウェアの作成や変更を任せました。
  • コードレビューでは、CodeRabbitのパイプラインで既存のプルリクエストを確認させました。

日常のコーディングに使うモデルになるか、レビューハーネスに組み込む価値があるかを、それぞれ評価します。

2026年9月から11月までの主なコーディング関連リリース。要約はOpenAIが発表した重点分野であり、共通ベンチマークの順位ではありません。地点の間隔は経過日数を表しません。 OpenAIの発表とAPI更新履歴

コードレビュー:ベンチマーク結果

評価したのは、CodeRabbitのレビューパイプラインが検証とフィルタリングを終えた後の最終コメントです。CodeRabbitで新モデルを導入する工程でも説明したとおり、問題の候補を見つけることと、それを投稿する判断は別の仕事です。

通常の対応可能なコメントが少なくとも1件、既知の問題に合致した場合に検出と数えています。細かな改善提案や差分範囲外のコメントは含めません。ベンチマーク適合率は、通常の対応可能なコメントのうち既知の問題に合致したものの割合です。合致しないコメントの正確さは、内容を読んで判断する必要があります。

Sol 6.2とSol 6.1の比較

Solは、42件のプルリクエストに含まれる81件の既知の問題でテストしました。検出率、コメント数、記録上のコスト、レビュー時間をひとつの表にまとめています。Sol 6.1のベースラインも、パイプライン内ではほかのモデルを使っています。推論強度lowとhighの実行では、異なるモデルをパイプラインの異なる部分で置き換えているため、推論強度だけの効果を切り分けた比較ではありません。

指標Sol 6.1、推論強度highSol 6.2、推論強度lowSol 6.2、推論強度high
既知の問題の検出、81件全体81件中58件(71.6%)81件中59件(72.8%)81件中60件(74.1%)
通常の対応可能なコメント187件202件290件
細かな改善提案の総数11件11件33件
ベンチマーク適合率35.3%32.7%25.9%
レビュー1件あたりの記録上の平均コスト$0.772$0.830$1.146
レビュー全体の所要時間の中央値7分49秒7分44秒7分53秒

推論強度highの構成は、全体で既知の問題を2件多く検出しました。ただし、各構成の実行は1回であり、この増加にはSolを置き換えた部分以外での変化も含まれるため、モデル単体による安定した改善を示す結果ではありません。

Sol 6.2の推論強度highの実行では、記録上のコストはベースラインより約48%高く、レビュー時間の中央値は4秒長くなりました。固定した上流の呼び出しには記録済みの応答を使い、プロバイダーの費用は発生していません。それ以外の呼び出しは実際に実行しました。数値は再生を使った実行のコストとパイプライン全体の時間を示すもので、本番のレビュー費用やコード生成作業の待ち時間を示すものではありません。

Astra 6.2とAstra 6の比較

指標GPT-6 AstraGPT-6.2 Astra
検出した既知の問題83件中51件(61.5%)83件中58件(69.9%)
報告コメント数331件847件
対応可能なコメントのベンチマーク適合率21.74%12.22%
細かな改善提案・assertiveコメント数5件215件
標準API入力料金、100万トークンあたり$10$8
キャッシュされたAPI入力料金、100万トークンあたり$1$0.40
標準API出力料金、100万トークンあたり$50$40

GPT-6.2 Astraのレポートの合計847件には、通常の対応可能なコメント589件と、サマリー内の指摘258件が含まれます。GPT-6 Astraのレポートの合計は、これらの分類との照合が済んでいません。細かな改善提案・assertiveコメントは別途集計されています。これらの結果は、Astraのバージョン間でモデル単体の改善を示すものではありません。

83件の問題を扱うベンチマークでは、ベースライン構成は評価対象の問題の大半にSol 6.1を使い、ほかのモデルも組み合わせていました。既知の問題83件中54件を検出したのに対し、Astraを組み込んだ構成は58件でした。ベースラインが見逃した11件を検出し、ベースラインが検出した7件を見逃したため、差し引きでは4件の増加です。

GPT-6.2 Astraを組み込んだ構成のレビュー時間の中央値は、ベースラインの5分37秒より25秒、約7.4%長くなりました。検証を含むパイプライン全体の時間なので、Astra自体が遅いとは判断できません。また、すべてのコストが記録されたケースは83件中9件で、そのベースラインの83件中58件とは異なるため、完了したレビュー1件あたりの費用を信頼できる形で示すことはできません。

OpenAIの料金発表によると、標準の入力と出力のAPI料金は20%、キャッシュされた入力は60%下がりました。長いコンテキストの割増料金やサービス階層による調整は含みません。レビュー費用は委任した呼び出しや再試行にも左右されるため、トークン単価だけで安くなるとは判断できません。

増えたコメントにも、それぞれ価値が必要

GPT-6.2 Astraを使った構成では、通常の対応可能なコメントはベースラインの253件から589件に増えました。589件のうち、既知の問題に合致したものは72件です。同じ問題に複数のコメントが合致することがあるため、検出した問題数の58件とは一致しません。残りの517件には、ベンチマークのラベルにない有用な問題が含まれる可能性があります。価値を判断するには、内容を読む必要があります。

Sol 6.2の推論強度highの構成にも、同じ確認が必要です。コメントは187件から290件へ約55%増えましたが、パイプライン全体で検出した既知の問題は差し引き2件の増加でした。コメント数の増加を利点と判断する前に、追加の指摘を確認したいと考えています。

コメントが増えるたびに、読む人は有用な指摘とノイズを見分けなければなりません。価値の低いフィードバックで埋まったPRでは、それが難しくなります。やがて作者がコメントを読むことや対応することをやめ、有用な指摘まで無視されるおそれがあります。

次の実験では、インラインコメントを投稿する前に、問題が起きる条件と作者が観測する現象を説明できることを求めたいと考えています。そのうえで、残したコメントと除いたコメントの両方を抽出し、有用な指摘を捨てていないか確認します。AIコードレビューツールの評価フレームワークでも説明しているとおり、目標は意味のあるコード変更につながるフィードバックです。

コード生成:実際に使って分かったこと

両モデルに画面の実装やプロジェクトの作業を任せました。以下は実際のコーディング作業での観察です。条件をそろえたコード生成のベンチマークは実施していません。

Astraは短いプロンプトから有用な最初の画面を作り、確認を待たずにレイアウトを選ぶことが多くありました。既存のデザインに沿って作業する場合は、プロンプトの質が引き続き重要でした。長い作業では、寄り道をしても元の目的に戻り、委任した調査の結果を作業に反映しました。こちらが依頼内容を伝え直す必要はありませんでした。

Sol 6.2には、より具体的な指示が必要でした。今回の作業では、最初に作る画面は6.1より良くなっておらず、参考デザインを渡しても実装に粗さが残りました。小さな変更でも、実装前に長く考え込むことがありました。プロジェクトを一から用意する場面では、誤った設定を繰り返し提示したため、実際に起動するか確認する必要がありました。

モデル別の再現率と適合率

以下のグラフは、今回のレビューとOpus 5.5、Fable 5.1の評価における再現率と適合率の結果を、報告された再現率の高い順に示しています。レビューごとにベンチマークの問題セットと採点の定義が異なるため、同じ条件での直接比較ではありません。

モデル名か点を選択すると詳細を表示
適合率 (%)
再現率 (%)
GPT-6.2 Sol、推論強度high再現率 74.1% 適合率 25.9%

コードレビューで乗り換えるべきか

両モデルをさらにテストする間、レビューでは現在の標準構成を維持します。Astraは追加の問題を検出した一方、コメントも大幅に増えました。ルーティングを固定した比較が必要です。Solのわずかな検出率の増加にも、コメント数と記録上のコストの増加が伴いました。乗り換える前に、追加の指摘を読み、それぞれの構成が見逃すようになった問題を再テストしてください。

Fable 5.2のレビューも現在準備中です。

著者について

共有

Share on XShare on LinkedinShare on Reddit