
Harjot Gillは、約600件のプルリクエストが同時にオープンになっていたときのことを振り返ります。Datadogのアラートやサポートチケットをもとにエージェントが作成したもので、すべてコードレビューを通っていました。それでも、それらの変更が必要だったのかという問いには、まだ答えが出ていませんでした。
今回のThe Mergeでは、CodeRabbitの創業者Harjotが、OpenCodeのRyan Vogelと互いの経験を語り合います。対談当時、Ryanのオープンソースプロジェクトには一日あたり約200件の新しいPRが届いていました。AIが書いたコードは役に立つものの、何をマージし、何に異議を唱え、何を見送るかを決めるほうが難しいという点で、二人の意見は一致しています。
判断は差分が生まれる前から始まる
コードができる前に、誰かがソフトウェアの役割と、その問題にどこまで複雑な仕組みが必要なのかを明確にする必要があります。Ryanが挙げたのは、キッチンで使うToDoアプリの例です。エージェントに任せると、データベースを追加し、次にキャッシュ層を、さらに別のインフラを追加します。その時点では、どの判断も間違っているようには見えません。しかし、完成したアプリはToDoリストに必要な範囲を大きく超えて複雑になってしまいます。
Ryanの対処法は、アプリに何が必要で、それぞれの判断が役立つのかを問い続けることです。エージェントにアーキテクチャを説明させ、不要な部分を問い直します。また、途中の成果物が当初の方針に沿っているかを確認する別のエージェントも使っています。こうした確認が、作業の基準点になります。基準がなければ、一つの判断が次の判断を正当化し、個々の工程は生産的に見えても、プロジェクト全体は大きく方向を外れてしまいます。
変更が組み立てられた順序で読む
コードができたら、レビュアーは各部分がどうつながるのかを理解する必要がありますが、生の差分だけではそれはわかりません。Harjotによると、CodeRabbitは変更がどの順序で行われたはずかを割り出し、その順序でレビューします。レビューは三つの層に分けて、下から上へと進めます。
- 最下層には、データやスキーマの変更があります。
- その上に、関数、ビジネスロジック、APIルートが積み重なります。
- さらに上に、インターフェースとテストがあります。
スキーマの変更がAPIの動作の違いを説明し、APIの変更がインターフェースに必要な対応を説明します。この順序で読むレビュアーは、ファイル名から推測する代わりに、各部分を結ぶ前提を確認します。
エージェントが何時間も作業した後では、セッション履歴全体が、レビュアーの読むべき長い資料をもう一つ増やすことになります。役に立つ引き継ぎは、重要な判断、それぞれがどう依存し合っているか、レビュアーが詳しく確認すべき箇所を示します。
自信よりも証拠を
エージェントが自信ありげに作業を説明しても、その作業が正しいとは限りません。Harjotによると、CodeRabbitは初期のハルシネーションでこの問題に直面しました。答えを出すよう強制されたモデルは、答えを作り上げてしまうからです。チームは、モデルに逃げ道を用意することで対処しました。情報が足りないときは、質問したり、さらに調べたり、仮説を確認するスクリプトを書いたりできるようにしたのです。こうした選択肢を与えると、ハルシネーションの発生率が下がりました。
レビューでも同じ姿勢が必要です。疑わしいバグは、開発者に対応を求めるコメントにする前に、検証すべき仮説として扱います。指摘を受けた人が結論に至る過程を確認し、チェックを実行し、その前提を問い直せるようにします。スクリプトにも誤りや不足はあり得ます。その価値は、主張の一部を検証可能にすることにあります。
エージェントが最も得意とするのは、動いている連携機能を別のプラットフォームに対応させるような、完了条件が明確な作業です。エージェントにもレビュアーにも、確認すべき具体的な結果があるからです。答えが定まっていない設計作業では、エージェントの実行中にも望ましい結果が形づくられていくため、人による判断がより頻繁に必要です。
人から人への引き継ぎ
エージェントから開発者への引き継ぎに注目が集まっていますが、人から人への引き継ぎも同じくらい大切です。コードだけでは、なぜその方法を選んだのか、何を試して見送ったのか、どの選択が意図的で、どれが既定値だったのかはわかりません。
Ryanのチームは、変更に至るセッションを共有しています。コードを見るチームメンバーは、プロンプトや、そのコードを生んだ判断も確認できます。Harjotは、CodeRabbitの共有メモリにも同じ考え方があると説明します。一人の開発者がレビューで伝えたフィードバックが、後のレビューに生かされるのです。どちらの場合も、次の担当者は何が試されたかを確認し、何をさらに検証すべきかを判断できます。
すべての変更に同じ精度の確認が必要なわけではありません。数分で元に戻せる小さな画面の変更と、多くの人が依存する成熟したコード経路への変更では、影響が異なります。レビューにかける労力も、その違いに応じて変えるべきです。生成されるコードが増えても、すべての変更が同じくらい緊急で、同じくらい危険になるわけではありません。
どのような場面でも、よい引き継ぎは、解決する問題、変更の構造、それを支える証拠を示します。また、人に残された判断も明確にします。次のレビュアーが調査を最初からやり直さずに、その変更を取り込むべきか判断できるだけの理解を得られることが大切です。
対談の全編を見る
HarjotとRyanは、GPT-3.5時代のCodeRabbitの最初の試作、ツール呼び出しよりもコード生成に賭けた初期の判断、人とエージェントの協働の今後についても話しています。The Mergeの対談全編をご覧ください。何を残すかを決めるには、まず理解することが必要です。
チームに大量のPRが積み上がり、何をマージするかを決める明確な方法がないなら、CodeRabbit Reviewはコードベースの文脈を踏まえてプルリクエストをチェックし、CodeRabbit Explainは関連する変更を層に整理し、コードにひも付いた説明を示します。


