Jevは、分類、スコアリング、ルーティングのためにTypeSafeが開発したAI意思決定モデルです。コードで解析しなければならないテキストを生成するのではなく、ソフトウェアがそのまま使える型付きの回答を返します。
TypeSafeがJevを公開してから11日後、Allie LaabsはCodeRabbitのサンフランシスコオフィスにいました。私たちがTypeSafeと共催した初のJevハッカソンのためです。Allieが冒頭にJevの考え方について講演した後、160人を超えるビルダーが約4時間、このモデルを使ったハッキングに取り組みました。
今回のThe Mergeでは、Jevが何をするものか、コードのどこに置くべきかをどう見分けるか、そしてコーディングエージェントに繰り返し教えなければならない一つの習慣について、Allieが語ります。
TypeSafeは約20人のラボで、9月15日にJevの早期アクセスを開始しました。Vercelによると、有料AI Gatewayチームの13%近くが24時間以内に利用を始めており、これはゲートウェイ史上最速の普及です。TypeSafeの創業者Diogo AlmeidaはVentureBeatに対して、最初の36時間で14万人の待機リストを消化したと語っています。9月20日までに待機リストはなくなり、新規アカウントには5ドルの無料クレジットが付くようになりました。
Allieはこのローンチを「人生で最も奇妙な経験の一つ」と呼び、チームの予想をはるかに超えていたと言います。「これほど大きなローンチに備えていたとしたら、それは無責任なリソースの使い方だったでしょう」
図1。出典：Vercel。公開されたグラフをもとに再描画しているため、数値は概算です。
テキストを経由する高くつく往復
開発者がなぜこれほど速くJevを手に取ったのかを理解するには、ソフトウェアの中でLLMを使う今のやり方に対するAllieの不満から始めるのがよいでしょう。
たとえば、チケットをどのキューに入れるかといった判断がプログラムに必要だとします。今日、私たちはプログラムの状態をプロンプトに変換します。モデルがテキストを書き、そのテキストをコードが解析して、プログラムが分岐に使える値に戻します。
「私たちは機械の空間から始めて、機械の空間で終わっています」とAllieは言います。「それなのに、テキストと人間向けのインターフェース層を経由する、非常に高くつく橋渡しをしている。なぜでしょう？」
Jevはテキストを省きます。チケット、取引、ツール呼び出しといった状態を、型付きの質問とともに送ります。返ってくるのは3種類の回答のいずれかです。自分で定義したリストからの選択、ルーブリックに基づくスコア、またはイエス／ノーの確率。解析すべき文字列はなく、モデルは許可していない選択肢で答えることができません。
| 回答の種類 | 何を聞くか | 何が返ってくるか |
| Choice | 自分で定義したリストから1つを選ぶ | 選ばれた選択肢、すべての選択肢の確率、信頼度 |
| Score | 自分で定義したルーブリックで状態を評価する | スコア、ルーブリック上の各点の確率、信頼度 |
| Noul | 状態についてのこの記述は真か？ | 0から1の間の確率 |
TypeSafeが公表している価格は入力100万トークンあたり0.042ドルで、出力は無料。応答時間は70〜500ミリ秒と報告しています。これらはベンダーの数値であり、レイテンシのテストが西海岸のサーバー近くで行われたことを同社は率直に明らかにしています。
図2。出典：TypeSafeのNoulクックブック。各条件で14問を含む呼び出しを15回行った平均値。倍率はTypeSafeとの時間・コストの比率で、大きいほど多くかかります。コストは過去の価格条件に基づき、現在の請求額ではありません。
「Jevは直通回線なんです」とAllieは言います。「機械対機械のインテリジェンスです」
Jev向きの問題を見つける
Jevを教えるうえで最も難しいのは、それがカテゴリーを新しく作る製品だということだとAllieは言います。より優れたLLMではなく、LLMを置き換えるものでもありません。そこで彼女は2つの入り口を用意しています。
1つ目のアプローチが最も簡単です。「ソフトウェアに分類の形をした問題があって、それをLLMでやっているなら、Jevはほぼ間違いなくより良い置き換えになります」と彼女は言います。メールの振り分け、金融取引の分類、何かを尺度でスコアリングすることなどがこれにあたります。初期の本番ユーザーの多くは、すでにこうした問題を抱えていて、より遅く高価なツールで解いていたそうです。彼女はこれを「Jev向きの問題（Jev-shaped problems）」と呼びます。
2つ目の方法は彼女が最もわくわくしているもので、LLMのメンタルモデルを完全に手放すことを意味します。Jevはほとんど「反言語」言語モデルです。うまく使うには、switch文、if/else分岐、ルーティングの判断といった、プログラマーとしての考え方に戻る必要があります。TypeSafeが各質問をプリミティブと呼ぶのは、開発者にそれをコードの最小の構成要素として扱ってほしいからです。Allieは、Jevを「賢いif文、あるいは賢いswitch文……インテリジェンスを注入した論理ゲート」と表現するのが分かりやすいと言います。
アプリが判断を下す必要のある場所ならどこでも、Jevは興味深い存在になります。コードの中でロジックが分岐するあらゆる箇所を考えてみてください。誰にも読めないほど膨れ上がった正規表現かもしれません。分岐条件を書き下すのが不可能で、結局作らなかった機能かもしれません。そこにこそ、Allieは「これまで存在し得なかった、まったく新しいコードの道筋」を期待しています。
何十年も手作業でシステムを設計してきたエンジニアなら、すぐに理解できるだろうと彼女は言います。コーディングエージェントで開発を始めた人には、簡単な練習を勧めています。コードを読んだことがなくても、アプリケーションの振る舞いのフローチャートを描いてみる。そして分岐のたびに、その条件を数学的に定義できるかを自問するのです。
「振る舞いのフローチャートを描こうとして、そのうちの1つについて『うーん、これはどちらかというと直感だな』となったら……こういう雰囲気ならこうする、というような」と彼女は言います。「そこがたぶん、Jevが使える場所です」
すべてを最初に聞く
AllieがTypeSafeのドキュメントで最初に書いたことの一つであり、彼女自身の最初のJevプロジェクトでも使った技法が、彼女の言う「投機的プロンプティング（speculative prompting）」です。TypeSafeはこれをspeculative fan-outと呼んでいます。
これは通常のAPIの習慣に反します。普通、APIは答えが必要になったときにだけ呼びます。Jevでは、必要になるかもしれない質問をすべて、1回のリクエストにまとめて聞きます。別の答えが特定の結果になった場合にだけ意味を持つ質問も含めてです。
Allieはサポートチケットの例を挙げました。「これは請求に関するチケットか？そして同時に、返金のリクエストか？も聞きます」と彼女は言います。「2つ目の答えが気になるのは1つ目が真だった場合だけですが、同時に聞くのです」
これが機能するのは、Jevがすべての質問を同じ状態に対して並列かつ独立に答えるからです。質問が1つでも100でも、答えはほぼ同じ時間で返ってきます。質問を1つ追加しても、安価な入力トークンが少し増えるだけで、レイテンシはほとんど変わりません。一方で2回目の呼び出しは、状態全体をもう一度送り、もう一往復待つことを意味します。「もう一往復が必要になって状態全体をもう一度送るなら、かえって高くつくことも多いのです」と彼女は言います。
TypeSafeのparallel questions cookbookは、13の質問からなるブリーフィングでこれを検証しています。すべての質問を1回の呼び出しにまとめると、1問ずつ聞く場合に比べて12.2倍安く、10倍速くなり、回答は変わりませんでした。
図3。同じ53,777文字の文書に対する13の質問を、1回の呼び出しにまとめた場合と1問ずつ呼び出した場合のコストと合計所要時間。数値はTypeSafeのparallel questions cookbookによるものです。
コーディングエージェントはまだ逐次的に書く
問題は、コーディングエージェントがまだこれを知らないことです。
「コーディングエージェントにとっては直感的ではありません」とAllieは言います。「デフォルトではそうしないのです」
ほとんどのAPIコードは、必要なものを必要なときにだけ呼び出し、エージェントも同じようにコードを書きます。そのためAllieはJevプロジェクトをバイブコーディングするとき、最初のパスの後にクリーンアップのステップを加えます。エージェントにはこう伝えます。
「ねえ、同じ状態を別々の場所からTypeSafe APIに送っているなら、ほぼ間違いなく最初に1回の呼び出しにまとめるべきだよ
「ほぼ毎回、エージェントは『ああ、確かにそうしていますね』と返してきます」とAllieは説明します。決定モデルが学習データに入っていくにつれて、この問題は薄れていくと彼女は見ています。「でも今のところは、エージェントの手を本当にしっかり握っていないといけません」
Allieが繰り返し打ち込んでいるその一文は、実のところコードレビューのルールです。一度書き留めておけば、あなたもエージェントも覚えておく必要はなくなります。CodeRabbitはAGENTS.mdのようなファイルからコードガイドラインを読み取り、コーディングエージェントも同じファイルを読みます。さらにパス指示を追加すれば、Jevの統合に触れるすべてのプルリクエストでこの点がチェックされます。
reviews:
path_instructions:
- path: "**/*.{ts,py}"
instructions: |
- Flag code that sends the same state to the TypeSafe API in separate
calls. Suggest bundling the questions into one request.
- Check that low-confidence Jev answers have a fallback path
(ask for more information, escalate, or route to a human).
- Flag untrusted text (user input, tool output, fetched content)
that reaches the Jev state for a decision that authorizes an action.
最後のルールはTypeSafe自身に由来します。Jev 1.13の既知の制限ページは、注入された指示や、自らの分類を主張するように書かれたテキストが「答えを動かし得る」と警告しています。安価な判断であっても判断は判断であり、そこに何が流れ込むかを誰かが確認する必要があります。
多くの仕事にとっては間違ったツール
AllieはJevをあらゆる問題の答えとして売り込んでいるわけではありません。彼女はDockerやAWS Lambdaになぞらえます。どちらも登場時には人々を戸惑わせましたが、今ではそれらを知らずにインフラの仕事をするのは困難です。
「正規表現が存在することはみんな知っています。多くの仕事にとっては間違ったツールです。一部の仕事にとっては、まさに正しいツールです」と彼女は言います。「正しいツールであるときには、それが正しいツールなのです」
Jevが誰にとっても手の届く存在になるには、誰もが試せるほど安くなければなりません。TypeSafeは個人のビルダーを念頭に、すべてのユーザーに毎月5ドルの無料クレジットを提供しているとAllieは言います。企業は必要なだけアカウントに入金できますが、世界には5ドルでも高すぎる人が大勢いる、と彼女は言います。「私たちの価格なら、5ドルは大量のトークンです」と彼女は言います。「多くのインディープロジェクトなら、月5ドルで何かを本番で稼働させられます」
彼女が最もわくわくしているユースケースはリアルタイムで動くものです。彼女は、話している内容を聞き取り、質問を言い終えるたびに画面から消していくテレプロンプターを作りました。また、ElevenLabsの開発者がライブの音声文字起こしをJevに流し込み、話し手が話している最中にコーチングするのも見てきました。
The Mergeのフルエピソードでは、生成UIについて、それがなぜソフトウェアをはるかに多くの人にとって使いやすくすると彼女が考えているのか、そしてTypeSafeの内側から見たローンチの様子について、Allieがさらに語ります。
