AIにAIサービスを比較させるなら、「公式」「体感」「実測」「予測」を分けたい

AI活用

※この記事は、2026年8月時点の自分のAI運用メモです。AIサービスの料金、利用枠、モデル、提供機能は変わりやすいため、個別の契約を決める時は最新の公式情報を確認する必要があります。

以前、ChatGPT ProとClaude Maxについて、料金や利用枠、性能、使い勝手をAIに比較してもらったことがあります。

返ってきた比較表は、かなり読みやすいものでした。

料金はいくらか。 どのような作業に強いか。 利用枠はどのくらい持ちそうか。 自分の用途なら、どちらが合いそうか。

項目ごとに整理され、最後にはおすすめまで書かれていました。

ところが、読み直してみると、その表には性質の違う情報が同じ調子で並んでいました。

公式ページで確認できる情報。 利用者のレビューで語られている体感。 自分が実際に使って感じたこと。 今後はこうなるかもしれないという予測。

文章としては自然なので、続けて読むと全部が同じ強さの事実に見えます。

しかし、契約や使い分けを考える材料としては、同じ扱いにしない方がよさそうです。

最近はAIに比較を頼む時、先に勝者を決めてもらうより、「その判断は何を根拠にしているのか」を分けてもらう方が使いやすいと感じています。

比較表がきれいなほど、根拠の違いが見えにくい

AIは、複数の情報を一つの表へまとめるのが得意です。

公式サイトの説明、外部レビュー、ベンチマーク、SNSでの感想、自分が渡した使用状況まで、一つの文章としてつないでくれます。

これは情報を整理する時には助かります。

ただし、整理されたことと、根拠の強さがそろったことは同じではありません。

たとえば、月額料金は公式ページで確認できます。

一方で、「長い作業でも止まりにくい」「コーディングに強い」「こちらの方が使いやすい」といった評価は、使う人、作業内容、契約、利用時期によって変わります。

さらに、「今後はこちらが主流になりそう」という話になると、確認済みの事実ではなく予測です。

どれも比較材料にはなります。

問題は、比較表の中でラベルが付いていないと、公式情報と誰かの感想と将来予測が、同じ確度で並んで見えることです。

AIの回答が間違っているとは限りません。

むしろ、一つひとつはもっともらしいことがあります。

だからこそ、後から根拠を分け直す必要が出ました。

自分の中では、四つに分けると見やすかった

今のところ、AIサービスを比較する時は、根拠を次の四つに分けるのが分かりやすいと考えています。

公式確認済み

公式の料金ページ、ヘルプ、リリース、利用規約などで確認できる情報です。

料金、提供地域、対応機能、契約条件などがここに入ります。

ただし、公式情報でも更新されます。

そのため、「公式に書いてある」で終わらせず、確認したURLと日付も一緒に残した方が後から見直しやすくなります。

外部評価・利用者の体感

レビュー、動画、SNS、ベンチマーク、利用者報告などです。

公式ページだけでは分からない使い勝手を知るためには役立ちます。

一方で、契約プラン、使った時期、作業内容、入力した資料量によって結果が変わります。

誰かが「かなり持つ」と言っていても、自分が大量のファイルを読ませれば同じ結果になるとは限りません。

参考にはするけれど、公式情報や自分の実測とは分けて置きます。

自分の実測

自分が実際に使った結果です。

自分の場合は、単発の質問にどちらがうまく答えたかより、INBOX整理、過去ログ探索、下書き、UP版作成まで、どこまで仕事を完了できたかが重要です。

途中で止まったか。 追加指示は何回必要だったか。 別のAIへ引き継いだか。 最終的に使える成果物まで持っていけたか。

こうした記録は、自分の用途を決める時にはかなり強い材料になります。

ただし、自分の環境で起きたことが、全員に当てはまるわけではありません。

自分の実測は、一般的な性能評価ではなく、自分の使い方との相性を見る材料です。

予測・仮説

今後のモデル展開、値下げの可能性、利用枠の変化、サービスの優劣についての予測です。

考える材料としては面白いですし、AIに複数のシナリオを出してもらうこともあります。

ただ、まだ起きていないことを、現在の契約条件と同じ欄へ入れると判断を誤りやすくなります。

予測は消すのではなく、予測だと分かる場所へ置きます。

公式情報だけでも、自分に合うAIは決まらない

根拠を分けると、今度は「公式確認済みが一番強いのだから、公式情報だけ見ればよい」と考えたくなります。

しかし、それだけでも自分に合うAIは決まりません。

公式ページで料金と機能は確認できても、自分の作業が最後まで終わるかは分からないからです。

長い資料をどの程度扱えるのか。 何本の成果物を続けて作れるのか。 途中で止まった時、どのくらい再開が面倒なのか。 自分の指示の出し方と相性がよいのか。

このあたりは、実際の作業で試さないと見えません。

逆に、自分の体感だけで決めるのも危険です。

たまたま混雑した時間だったかもしれない。 自分の依頼が曖昧だったかもしれない。 一度の失敗を、モデル全体の性能だと思っているかもしれない。

公式情報、外部評価、自分の実測、予測は、どれか一つを選ぶものではありません。

役割が違うので、混ぜずに並べる方が判断しやすいのだと思います。

「未確認を残す」とは少し違う問題だった

以前、AIに調査を任せるなら、全部埋まった表より「未確認」が残る方が信用できると書きました。

今回の話は、それと近いようで少し違います。

未確認の問題は、まだ答えが取れていない項目を、それらしい説明で埋めないことです。

今回の比較表では、項目自体は埋まっています。

ただし、その答えが公式情報なのか、外部評価なのか、自分の実測なのか、予測なのかが見えません。

空欄がなくても、根拠の種類が分からなければ、そのまま判断には使いにくい。

そこで、回答の有無とは別に、根拠の種類を記録する列が必要になりました。

比較表には「根拠」と「確認日」を足したい

現在は、AIへ比較を頼むなら、少なくとも次の形に寄せたいと考えています。

比較項目確認した内容根拠の種類出典・条件確認日
料金や契約条件公式ページで確認した内容公式確認済み公式URL確認日を記録
使いやすさ利用者による評価外部評価利用者・作業条件投稿日または確認日
自分の作業完了量実際に完了した作業自分の実測使用プラン・作業内容実施日
今後の優劣将来についての見立て予測・仮説前提条件作成日

大事なのは、表を豪華にすることではありません。

あとから見た時に、どこまで信用してよい主張なのかを判別できることです。

特にAIサービスは変化が速いため、確認日がないと、公式情報であっても現在の条件なのか分からなくなります。

自分の実測にも日付と条件を付けます。

同じサービスでも、モデル、契約、作業内容が違えば結果が変わるからです。

AIには、勝者より根拠付きの材料を作ってもらう

次に比較を頼むなら、最初から「おすすめを一つ決めて」とは頼まないと思います。

まずは、次のように材料を分けてもらいます。

二つのAIサービスを比較してください。

各項目について、内容だけでなく根拠の種類も記録してください。

- 公式確認済み
- 外部評価・利用者報告
- 自分の実測
- 予測・仮説

公式確認済みの情報には、出典URLと確認日を付けてください。
外部評価には、利用者やテスト条件が分かる範囲で付けてください。
自分の実測がない項目は、外部評価で代用せず「実測なし」としてください。
予測は、確認済みの事実と同じ欄へ混ぜないでください。

最後に、事実だけで決められる部分と、実際に試さないと決められない部分を分けてください。

この形なら、AIは結論を出すだけの役ではなく、判断材料を整理する役になります。

その後、自分の用途を当てはめます。

ブログのINBOX整理に使うのか。 長い過去ログを探すのか。 下書きだけ作るのか。 公開直前セットまで一つの流れで進めるのか。

用途が違えば、同じ比較表を見ても選ぶサービスは変わります。

比較結果より、比較方法を残しておきたい

AIサービスの状況は、かなり速く変わります。

今月の料金や利用枠を細かく比べても、しばらくすると前提が変わる可能性があります。

そのたびに「今はどちらが強いか」だけを追うと、過去の比較は使いにくくなります。

一方で、

  • 公式情報と外部評価を分ける
  • 自分の実測を別に残す
  • 予測を事実として扱わない
  • それぞれに確認日と条件を付ける

という比較方法は、モデルが変わっても使えます。

比較結果は変わる。

でも、何を根拠に選んだかが残っていれば、条件が変わった時に見直せます。

自分が残したいのは、AIサービスの一時的な勝敗より、こちらの方です。

まとめ

AIにAIサービスを比較してもらうと、読みやすい表と分かりやすいおすすめを作ってくれます。

ただ、その中には、公式情報、利用者の体感、自分の実測、将来予測が混ざることがあります。

表がきれいだからといって、すべての主張が同じ強さで確認されているわけではありません。

だから、先に勝者を決めてもらうより、根拠を四つに分ける。

公式情報には出典と確認日を付ける。

外部評価には条件を付ける。

自分の実測は、自分の作業に限った結果として残す。

予測は、確認済みの事実と分ける。

その上で、自分がAIに何を最後までやってほしいのかを当てはめる。

以前は、AIに「結局どちらがいいのか」を先に聞いていました。

今は、どちらがよいかを決める前に、その比較表が何でできているのかを見たいと思っています。

関連記事

コメント

タイトルとURLをコピーしました