直接対決
Claude Haiku 5.5 vs Gemini 3.8 Flash
Claude Haiku 5.5とGemini 3.8 Flash、どちらが優れているか？
インデックスではClaude Haiku 5.5がGemini 3.8 Flashを上回り、87.9対87.9となりました。スピードとコストパフォーマンスではClaude Haiku 5.5が上ですが、クラフトではGemini 3.8 Flashが依然としてリードしています。両者とも同じ週に同じ評価基準で採点しており、どちらの順位もスポンサーによるものではありません。
更新
Claude Haiku 5.5
73件中11位
87.9
端数のような価格の小型モデルが、前四半期の中位モデル並みのスコアを出す。
Gemini 3.8 Flash
73件中09位
87.9
Google史上最も賢いFlash。アリーナで8位、しかも今も無料で始められる。
4つのスコアを並べて
| スコア | Claude Haiku 5.5 | Gemini 3.8 Flash | 差 |
|---|---|---|---|
| クラフト | 85 | 88 | +3 |
| スピード | 95 | 90 | +5 |
| コントロール | 84 | 86 | +2 |
| コストパフォーマンス | 95 | 88 | +7 |
| インデックススコア | 87.9 | 87.9 | +0.0 |
どちらを選ぶべきか
クラフトが決め手にならない限り、選ぶべきはClaude Haiku 5.5です。まさにその点においてのみ、Gemini 3.8 Flashのほうが良い答えになります。
Claude Haiku 5.5
Haiku 5.5はAnthropicがこれまでに販売した中で最も安いモデルであり、通常の長さのプロンプトなら入力100万トークンあたり10セント、Artificial AnalysisのインデックスではGPT-5.6 Terraを上回るスコアを出す。分類・抽出・ルーティング、そして大型モデルが作業を渡すサブエージェント向けに作られている。10万トークンを超えるプロンプトは5倍のコストがかかるため、長文書の業務はお得な領域ではない。登場して日が浅く、人間選好の評価はまだない。
特に優れている点
- 10万トークンまでのプロンプトなら入力100万トークンあたり10セント
- 前世代の中位モデルを上回るスコア
- 本当に必要なジョブのための100万トークンのウィンドウ
Gemini 3.8 Flash
Gemini 3.8 Flashは9月2日に一般提供が始まり、短命に終わった3.7 Flashを数週間で置き換えた。テキスト・画像・動画・音声・PDFを読み取り、100万トークンのコンテキストを受け付け、アリーナのリーダーボードでは8位につけて、通常価格の多くのフラッグシップを上回る。無料ティアの対象であり、有料価格は年末までの導入価格で、その後は2倍になる。ベンチマークスコアは人間選好の評価に及ばず、これは長時間のエージェント業務を任せる前に知っておく価値がある。
特に優れている点
- Flashの価格でアリーナのリーダーボード8位
- 動画・音声・PDFのネイティブ入力
- 無料ティアの対象で、プロトタイプ作成にコストがかからない