同じプロンプト、違うAI
LLMはここまで違う
同じ依頼を異なるLLMに投げかけたらどうなるか。 多角的なベンチマークで、それぞれのAIの特性と出力の差を、 見て、比べて、実感できるサイトです。
ベンチを見るベンチマーク一覧
テーマ
モデル
要件追従の 4 テーマは、順位・平均・到達段に上限なしの点数を使います。 上限 40,000 tokens で書き終えられなかった段を、上限 128,000 で解き直した結果です。 解き直していない段は、上限 40,000 の点数を使います。上限に当たったままの段には「上限なし未測定の段あり」と段番号を出します。 上限 40,000 の点数も「上限の中で考え終えられるか」として残します。未測定の段は平均に数えません。 Codex・Cursor など CLI で出力の上限を指定できないモデルは、最初の測定がそのまま上限の指定なしの点数です(40,000 の欄には入れません)。
テーマについて
モデルについて
使い方
1
テーマを選ぶ
気になるベンチマークテーマを選びます。
2
各モデルの結果を比べる
同じプロンプトに対する LLM ごとの出力を比較します。
3
プロンプトを見て自分でも試す
同じプロンプトをコピーして手元の環境で再現します。