2026年7月24日、Claude Opus 5が公開されました。
Claude Maxの既定モデルがそのまま入れ替わっています（出典: anthropic.com/news/claude-opus-5）。
自分でモデルを選んだ覚えがなくても、使っている道具の中身が変わったということです。
だからAIモデルの比較は、自分の環境で回すしかありません。

「なんとなく前より返答が長い気がする」「前は通っていた指示が通らない」。
そう感じたとき、それが気のせいなのか本当に変わったのかを、自分で確かめる方法があるといい。

私は2026年6月10日に、Claude Fable 5とClaude Opus 4.8を同じ条件で走らせて比べる作業をしました。
そのときの会話ログは304メッセージあります。
やってみてわかったのは、比較そのものより条件を揃える段階のほうがずっと難しいということでした。

この記事では、そのときに作った手順を、モデル名に依存しない型として書きます。

ベンチマーク表だけでは乗り換えを決められない理由

新しいモデルが出ると、その日のうちにスコア表が並んだ記事が大量に出ます。
数字が並んでいると判断できた気になる。
ただ、あの表を見て「では乗り換えよう」と決められたことが、私にはあまりありません。

公式ベンチと価格表からは決められない

Anthropicの公式発表は、Opus 5がFrontier-BenchやGDPval-AAで最高水準だとしています。
同時に、サイバーセキュリティ領域のタスクではMythos 5に劣ると明記しています（出典: anthropic.com/news/claude-opus-5）。
ベンチマークとは、決められた問題集を解かせて点数を出す試験です。
その問題集が自分の仕事と重ならなければ、他人の模試の偏差値を眺めているのと変わりません。

価格のほうも決め手になりません。
Opus 5は入力100万トークンあたり5ドル、出力25ドルで、Opus 4.8から据え置きです（出典: platform.claude.com モデル概要）。
「安くなったから乗り換える」という、一番わかりやすい判断が使えないということです。

面白いことに、Anthropicの移行ガイド自身がそう言っています。
移行にあたっては自分のワークロードでコストとレイテンシを再ベースライン化せよと指示しているのです（出典: platform.claude.com 移行ガイド）。
レイテンシは応答が返るまでの待ち時間のことです。
提供元が「うちの数字ではなく、あなたの環境で測り直してください」と書いている。

候補を2〜3個に絞るまでは、公式ベンチも第三者ランキングも役に立ちます。
最後の1個を選ぶところだけが、自分の手に残る。

モデル比較を「型」にする4ステップの全体像

やるしかないのか、という気持ちになります。
そのとおりで、やるしかありません。
ただ、思ったほど大掛かりではない、というのが6月にやってみた実感です。

モデル名に依存しない設計にする

手順は4つです。

1. 条件を揃える
2. 評価プロンプトを10本作る
3. 3回ずつ走らせて記録する
4. 並べて採点し、判断する

モデル名が出てくるのは1だけ。
2〜4はモデルが何であっても同じ形で動きます。
だからモデル名を差し替えるだけで、次のリリースでもそのまま使い回せます。
6月に作ったFable 5とOpus 4.8の比較シートは、7月にOpus 5が出たときモデルIDの行を1つ書き換えるだけで済みました。

所要時間は半日、費用は課金前提

プロンプト10本 × モデル2種 × 3回 = 60回のAPI呼び出しです。
手作業で流して記録を取ると、半日ほど見ておけば足ります。

Fable 5とMythos 5は2026年6月9日から6月22日まで、Pro / Max / Team等のプランに追加費用なしで含まれていました。
6月23日以降は従量課金の残高が必要になっています（出典: anthropic.com/news/claude-fable-5-mythos-5）。

推測：これから同じ手順を再現する読者には課金が発生します。
長文出力を含むなら、トークン単価から上限を見積もってから走らせてください。

ステップ1：何を揃え、何だけを変えるかを先に決める

ここが一番つまずきます。
比較とは「1つだけ変えて、残りを固定する」ことです。
ところが2026年のAIモデルは、放っておくと固定されていない条件が複数あります。

モデルIDはピン留めした文字列で記録する

各モデルIDはピン留めされたバージョンを指しており、そのIDを使う限り背後のモデルは変わりません（出典: platform.claude.com モデルIDとバージョン）。
記録するのは「Opus 4.8」ではなく、claude-opus-4-8 という完全なID文字列そのものです。

effortとthinkingは条件の一部として扱う

effortは output_config の中で low / medium / high などを指定する設定です。
公式は、これを挙動のシグナルであって厳密なトークン予算ではないと説明しています（出典: platform.claude.com effort）。
effortがthinkingのbudget_tokensにマップされると書いた二次記事もありますが、公式の説明とは食い違います。

thinkingも同じです。
モデルごとに既定値が違えば、モデルを変えたつもりで思考の深さまで一緒に変わります。

もうひとつ、私が6月時点で確認していた記載があります。
Claude公式のclaude-apiスキル文書（2026年5月26日時点のキャッシュ）には、Fable 5 / Opus 4.8 / Opus 4.7 で temperature・top_p・top_k が削除され、送ると400エラーを返すと書かれていました。
400エラーは「リクエストの形式が不正です」とサーバーが返す応答です。
これが2026年時点でも正しいかは、APIリファレンスで再確認が必要です。

揃えるのは次の7項目です。

この7項目を先に紙に書き出してから走らせる。
それだけで「あれ、どっちの条件だったっけ」と迷う時間がほぼ消えます。

ステップ2：自分の仕事から評価プロンプトを10本抜き出す

汎用の質問ではなく実務の質問を使う

新しく綺麗な質問を作りたくなります。
これはやめたほうがいい。
汎用ベンチは汎用ユースケース向けであり、自分のデータで評価すべきだというのは評価ツール提供元も掲げる主張です（出典: promptfoo.dev モデル選定ガイド）。

過去の会話履歴から、実際に自分が投げた質問をそのままコピーしてくる。
これが一番早く、一番実態に合います。

10本の内訳をばらけさせる

内訳はばらけさせます。

最後の2本が意外と効きます。
情報が足りないときに「足りません」と言えるモデルと、それらしく埋めるモデルの差は、定型作業では見えません。
顧客名や契約内容、単価といった機微な情報は、ダミーに置き換えてから流します。
1セット作っておけば、次のモデルが出たときそのまま再利用できます。

ステップ3：同じ入力を3回ずつ走らせて記録する

ここを飛ばしている比較記事が多い。

1回の実行で差を語ってはいけない

同じプロンプトを同じモデルに投げれば同じ答えが返る、と思われがちです。
そうではありません。
そもそもClaudeの新しめのモデルは、ステップ1で触れたとおり temperature 自体を受け付けない場合があります。
同じ入力でも出力が毎回同じになる保証はない、というのが出発点です。

だから3回。
5回取れるならそのほうがいいですが、10本×2モデル×5回は手作業だと辛い。
3回でも「3回中何回合格したか」という数え方ができます。

記録するのは出力だけではない

Fable 5には、リクエストを拒否しうるsafety classifierが含まれています（出典: platform.claude.com Fable 5紹介ページ）。
classifierは入力が安全かを判定する分類器です。
拒否を「性能が低い」と数えると、測っているものがずれます。

なお、Anthropic Consoleの評価ツールには、2つ以上のプロンプト出力を並列比較して5段階で採点する機能があります（出典: docs.claude.com 評価ツール）。
手元で表を作るのが面倒なら、こちらを使う手もあります。

1行1試行。
60行ぶん埋めれば、ステップ4の材料はそろいます。

ステップ4：出力差を可視化して、3択に落とす

並べ方は「同一プロンプト横並び」が基本

可視化の最小形は、行に評価プロンプト、列にモデル×実行回を置いたマトリクスです（出典: promptfoo公式ドキュメント）。
同じプロンプトの結果が横一列に並ぶので、「このプロンプトだけ差が大きい」がすぐ分かります。

採点は5段階、基準は事前に文章化する

5点＝そのまま使える、1点＝使えない。
この粗さで十分です。
大事なのは粒度ではなく、出力を見る前に決めてあることです。

そして、3回のうち何回合格したかで数えます。
平均点では3/3と2/3が同じになることがある。
毎回通るのか、3回に1回外すのか。
実務ではこの差のほうがずっと重い。

乗り換える／据え置く／使い分ける

「差なし」で据え置くのも立派な結論です。

2026年6月10日にFable 5とOpus 4.8を走らせて詰まった点

ここまでの手順は、6月10日の作業でつまずいた場所から作りました。

2倍の価格差に見合うかを見たかった

私が動いた6月10日は、無償提供ウィンドウの2日目にあたります。
当時の価格はFable 5が入力100万トークンあたり10ドル・出力50ドル、Opus 4.8が入力5ドル・出力25ドル。
2倍払う価値があるのかを見たかった、というのが動機です（出典: 公式モデル一覧）。

所要30分のつもりが、実際には半日以上かかりました。
引っかかったのは出力の中身ではなく手前の条件です。

thinkingの扱いがモデルごとに違う

ひとつは、thinkingの扱いがモデルごとに違うこと。
Opus 4.8では明示的な無効化もパラメータの省略もできる一方、Fable 5では明示的な無効化がエラーになるという記載がありました。
「両方オフで揃える」という素朴な発想が成立しない。

temperatureで揃えるという常識が使えない

もうひとつは、サンプリングパラメータです。
temperature を0で固定するつもりが、対象モデルではそのパラメータ自体が受け付けられなかった。
比較の常識だと思っていた手順が使えなかったわけです。

この2つで「何を揃えれば揃ったことになるのか」を一から考え直しました。
出てきたのがステップ1のチェックリストです。
304メッセージのログのうち、実際の出力比較に使ったのは後半だけ。
前半はほとんど、条件を揃えるための調べ物でした。

同じ名前のモデルが同じものとは限らない

さらに厄介なこともあります。
Fortuneは、Anthropicが6月12日にFable 5を一度取り下げ、6月30日に再提供したと報じています。
公式statementの原文は私が未確認なので、この経緯を根拠に何かを判断するのは待ったほうがいい。
いずれにせよ、6月10日に見たFable 5と、それ以降のFable 5が同じものだと断言はできません。
だから検証日を残す。

完成した比較シートの実例

条件行と試行行を1つにまとめた形です。
表計算ソフトに貼れば、そのまま使えます。

# --- 条件行（走らせる前に埋める）---
項目,値A,値B
モデルID,claude-opus-4-8,claude-fable-5
effort,high,high
thinking設定,adaptive,adaptive
検証日,2026-06-10,2026-06-10
実行回数,3,3
採点基準,"5=そのまま使える / 4=1箇所直せば使える / 3=構成は使えるが中身を書き直す / 2=材料にはなる / 1=使えない",同左

# --- 試行行（走らせながら1行ずつ追記する）---
試行ID,モデルID,effort,thinking設定,プロンプト番号,実行回,所要秒,入力トークン,出力トークン,拒否・エラー,5段階評価,検証日,メモ
T-001,claude-opus-4-8,high,adaptive,P-01,1/3,,,,,,2026-06-10,
T-002,claude-opus-4-8,high,adaptive,P-01,2/3,,,,,,2026-06-10,
T-003,claude-opus-4-8,high,adaptive,P-01,3/3,,,,,,2026-06-10,
T-004,claude-fable-5,high,adaptive,P-01,1/3,,,,,,2026-06-10,

# --- 集計行（60行を埋め終えてから）---
プロンプト番号,種別,A合格回数(/3),B合格回数(/3),差,拒否件数A,拒否件数B,所見
P-01,定型,,,,,,
P-05,長文判断,,,,,,
P-07,統合指示,,,,,,
P-09,意地悪,,,,,,

条件行を先に埋めてから走らせる

先に条件行を全部埋めます。
ここが空欄のまま走り始めると、後から思い出せません。
試行行は走らせながら1行ずつ。
まとめて後で入力しようとすると、所要秒とトークン数が確実に抜けます。

よくあるご質問

まとめ：モデル名が変わっても、この型は変わらない

2026年7月24日のOpus 5リリースのように、既定モデルが入れ替わる場面はこれからも来ます。
そのたびに新しい解説記事を探すのは、時間の使い方としてもったいない。

保存した比較シートを開いて、条件行のモデルIDを1つ書き換える。
それだけです。

ベンチマークの表は、候補を絞るところまでは助けてくれます。
最後の一歩、「自分の仕事でどうか」は、自分の10本でしか分かりません。
半日かけて「変える必要がなかった」と結論が出たなら、それも十分な収穫です。

検証の設計から相談したい方へ

自社の業務プロンプトで何を評価プロンプトに選ぶべきか、どこを合格ラインにするか。
このあたりは業種と使い方でかなり変わります。

設計だけ一緒に考えてほしい、という段階でご相談いただいても構いません。
まずは「10本のうち、意地悪な入力の2本に何を入れるか」から話を始めます。