
AIコーディングエージェントによって、開発者はより多くの機能や修正に取り組めるようになりました。しかし、変更後にアプリケーションが実際に動くかどうかは、誰かが確かめなければなりません。チームが最後に扱った、エージェントが生成したPRを思い出してください。開発者がインフラをデプロイしてアプリを起動し、変更の影響を受けるワークフローを操作して、バグをコーディングエージェントに送り返す必要はありませんでしたか。
コーディングエージェントが生み出すコードの量を考えると、すべての変更を手作業でテストするのは現実的ではありません。QAが積み上がった作業を消化する間リリースを遅らせるか、十分にテストしていない変更をリリースして、動くことを祈るかになってしまいます。ソフトウェアは、信頼できると判断できる速さでしかリリースできません。品質を犠牲にせずリリースを速めるには、開発チームとQAチームが、エージェントの書いたコードをどうテストするかを見直す必要があります。
本日、パブリックベータ版として提供中のCodeRabbit Verifyをご紹介します。CodeRabbitは実行中のアプリケーションをテストし、PRで変わった動作やコードベース全体の動作を確認して、機能上のバグや壊れたワークフローを顧客に届く前に見つけます。
テストでバグが見つかったら、その指摘をCodeRabbit Agentに送って修正を依頼することも、お好みのコーディングエージェントに渡すこともできます。
CodeRabbit Verifyは、利用時にアプリケーションが意図どおり動くか、新しい変更で既存のワークフローが壊れないか、ユニットテストで何を見逃したかを確認します。この一次確認により、QAチームは、どのユーザージャーニーが行き詰まったりバグに遭遇したりするかを知るために、エージェントが生成したすべての変更を手作業で調べる必要がなくなります。
各PRの変更をテストする
CodeRabbit Verifyは、PR内のコミット、関連するソースコード、ユーザーが提供したテストやドキュメントに基づいてテストシナリオを作成します。CodeRabbitが最新のコミットをレビュー済みであれば、そのレビューのコンテキストもテスト計画に活用できます。期待する結果は、意図された動作、ドキュメント、既存のテストの期待値に基づきます。新しい実装が自分自身の正しさを定義するわけではありません。実行前にシナリオを確認し、調整できます。
たとえば、ECアプリケーションの購入手続きでクーポンが機能するかをテストするとします。100ドルの注文にSAVE20というクーポンを適用すると、注文合計は80ドルになるはずです。CodeRabbit Verifyが購入フローをたどると、確認画面には正しく80ドルと表示される一方で、アプリケーションには100ドルの模擬請求が記録されていることがわかります。顧客はクーポンを適用して購入を完了できますが、請求額として記録される金額は間違っています。クーポンが受け付けられたか、確認画面が表示されたかだけをテストしていては、このバグを見逃します。
新しいコミットが追加されると、VerifyはPRのユーザーシナリオ計画を更新し、新たな検証が必要なチェックを再実行できます。以前の結果は、テスト対象だったコミットに関連付けられたまま残ります。シナリオでバグやテストを妨げる問題が見つかった場合、観測された動作と証拠をCodeRabbit Agentに送って自動修正を依頼することも、お好みのコーディングエージェントに渡すこともできます。開発者が報告書から状況を再構成する必要はありません。
回帰テスト用のユーザージャーニーを生成する
エンジニアリングチームは、エージェントがコードベースを変更しても、既存の機能が動き続けることを確かめる必要があります。新機能が、購入手続きやアカウント作成など、顧客が利用するワークフローを壊すことがあります。PRがその部分を変更する意図を持っていなくても同じです。回帰テストは、チームがすべてのテストを手作業で書いて保守しなくても、こうした変更に追いつけなければなりません。
CodeRabbit Verifyはリポジトリを調べ、平易な英語でユーザージャーニーを提案します。各ジャーニーには、ユーザーが誰なのか、何を達成したいのか、どの手順を踏むのか、どの結果が満たされる必要があるのかが記されています。チームはエージェントと提案について話し合い、修正し、納得した段階でその提案を承認できます。回帰テストの計画全体を自分たちで書くところから始める必要はありません。
承認されたジャーニーは、再利用できる回帰テストのライブラリになります。選択したジャーニーを必要に応じて実行したり、タグでグループ化したり、ブランチとテスト環境を指定して定期実行したりできます。開発者やエージェントがアプリケーションを変更すると、Verifyはこれらのワークフローを実行し、それまで動いていた機能の不具合を見つけます。最新のPRが触れているように見える範囲を超えた機能も含め、アプリケーション全体で繰り返し使える回帰テストのカバレッジを得られます。
定期実行では、新しいバグやテストを妨げる問題について、接続済みのJiraまたはLinearに課題を自動作成する機能を有効にできます。後の実行で修正が確認されると、指摘をクローズし、関連する課題を更新できます。
失敗したテストを確認して修正する
ライブブラウザービューで、Verifyがシナリオやユーザージャーニーを進める様子を確認できます。その後、保存された録画、スクリーンショット、ログを使って失敗の原因を調べられます。何かが壊れているという曖昧な報告から始めるのではなく、ワークフローが失敗した時点で何をして、何が起きたのかを確認できます。
クーポンの例では、保存されたスクリーンショットに80ドルの注文合計と100ドルの模擬請求が並んで表示されています。シナリオには期待される動作と、結果の根拠となる観測内容が含まれます。開発者やコーディングエージェントは、そこから具体的な修正に取りかかれます。
Verifyは、ジャーニーの目標とアサーションが満たされていることを確認してから、成功と判定します。アプリケーションを起動できなかった場合や、必要なチェックを完了できなかった場合は、その制約をアプリケーションのバグとは別に報告します。チームは、何をまだ確認する必要があるのかを把握できます。
Fix with CodeRabbit Agentは、指摘内容、テストしたリビジョン、環境、裏付けとなる証拠を修正ワークフローへ引き継ぎます。開発者は追加の指示を加え、タスクを確認してから引き渡せます。指摘と再現のためのコンテキストを、お好みのコーディングエージェント向けにエクスポートすることもできます。引き継ぎ内容をMarkdownとしてコピーすれば、どこでも開けます。
アプリケーションのテスト用インフラを自動でデプロイする
QAテストを実行する前に、テスト環境の準備だけで半日を費やす必要はないはずです。CodeRabbit Agentはプロジェクトの要件を調べ、Verify用のサンドボックスを準備し、依存関係をインストールし、必要なサービスやエミュレーターを設定して、アプリを起動します。そして、準備が整ったことを確認します。すべてのテストは、本番環境から切り離されたCodeRabbitのサンドボックスで行われます。
アプリケーションの準備が整うと、CodeRabbitは再利用可能なセットアップと起動の手順、および準備済み環境のスナップショットを保存します。その後のテスト実行では、この準備を再利用します。開発者はインフラを何度もセットアップする代わりに、テスト結果を受け取れます。
CodeRabbit Verifyのベータ版を試す
エージェントの速度でソフトウェアをリリースしたいなら、すべての変更を誰かが手作業で確認することにテストを依存させるわけにはいきません。CodeRabbit Verifyは実行中のアプリケーションをテストし、重要なユーザージャーニーを確認して、CodeRabbit Agentによる機能上のバグの修正を支援します。QAの手作業を減らして変更を先に進められるので、コーディングの高速化を、品質を犠牲にしないリリースの高速化につなげられます。
パブリックベータ期間中は、VerifyのPRテスト、リポジトリ全体のジャーニーの実行、CodeRabbit Agentによる修正を、すべて無料で利用できます。テストしたいPRで、@coderabbitai verifyとコメントするところから始めてください。リポジトリがまだ設定されていない場合は、CodeRabbitの返信にあるセットアップリンクに従って、テスト環境を準備します。コードベースからユーザージャーニーを生成し、必要に応じて、またはスケジュールに沿って実行することもできます。アプリケーションの変更に伴い、既存の機能が動き続けるかを確認できます。詳細は、CodeRabbit Verifyのドキュメントをご覧ください。
何が見つかったか、そしてVerifyによってエージェントを活用したSDLCでのアプリケーションテストがどう変わったか、ぜひお聞かせください。


