※2026年10月に行った、架空の資料を使った予備試験の記録です。実際の自分のObsidian全体で試した結果でも、すべての回答を採点した結果でもありません。
自分は普段、AIとの会話や作業の記録をObsidianに残しています。
後から別のチャットやAIを使う時でも、過去に何を考えていたか、どこまで進めたかを参照できるようにしたいからです。
ただ、残した情報が増えると、今度は別の問題が出てきます。
保存したはずの情報を、必要な時にちゃんと見つけられるのか。
自分でも「その話、前にしていたはずなのに」と思うことがあります。記事のネタを探す時も、最近の情報ばかり拾って、過去の大事な話が埋もれていないか気になる。
そこで考えていたのが、原文を残したうえで、その内容を探しやすくするための整理情報を用意する方法です。
確かに、整理しておけば探しやすそうです。でも、ここで一つ疑問が出てきました。
それは本当に、整理した分だけ良くなっているのか。
架空の資料を使って小さく比べたところ、少なくとも今回の条件では、整理情報を加えても必要な原文にたどり着く数は増えませんでした。一方で、AIに回答させる時のトークンは増えていました。
思っていたより、単純な話ではなさそうです。
原文を残すだけでも、探すのは簡単ではない
AIに過去の話を参照してほしい時、会話やメモの原文を残しておけば、後から確認できます。
でも、資料が増えれば、必要な話がどこにあるのか分からなくなります。似た話題が複数あったり、以前の案が後で変わっていたりすることもあります。
古い発言を見つけても、それが現在の方針とは限りません。AIが提案したことと、自分が採用したことも別です。
そこで、話題ごとに内容を整理したメモを置けば、AIは必要な原文を見つけやすくなるのではないか、と考えました。
人間にとっても、長い資料の山から探すより、入口となる整理があった方が分かりやすいことがあります。
ただ、その感覚がそのままAIにも当てはまるとは限りません。整理メモを作るにも、更新するにも手間がかかります。AIが毎回読む量も増えます。
そこで一度、足した場合と足さない場合を比べてみることにしました。
架空の資料で、三つの渡し方を比べた
今回使ったのは、あらかじめ用意した架空の資料18件と、そこから答えを探すための12問です。実際の自分の会話や個人情報は使っていません。
比べたのは、次の三つです。
- 質問に合わせて、原文を探して渡す。
- 全体の案内を加えたうえで、原文を探して渡す。
- 全体の案内と、話題別に整理した情報を加え、原文も探して渡す。
三つ目は、整理情報だけで答えさせる方法ではありません。整理した情報と原文の両方を使う形です。
さらに、関係のない資料が少ない場合と、多く混ざっている場合を用意しました。同じAIモデルを使い、それぞれの条件で回答を生成しています。
ただし、これは厳密な最終評価ではありません。整理情報は、すでに問題や資料を見た担当者が作っていますし、渡した情報量も方式ごとに同じではありません。
最初から「これで優劣が決まる」と考えるより、まず気になる違いが出るかを見るための試験です。
原文には届いた。でも、整理情報で件数は増えなかった
今回、まず数えたのは、答えを探すうえで必要とされた原文が、AIへ渡す資料の中に入ったかどうかです。
12問のうち、原文の到達を数えられるのは11問でした。残る1問は、もともと資料内に答えがない条件だからです。
結果は、関係のない資料が少ない場合も多い場合も、三つの方式すべてで11問中11問、指定された候補のいずれかに到達していました。
つまり、この試験では、原文を直接探す方法だけでも、到達の条件を満たしていました。そこに案内や整理情報を足しても、到達できた件数は増えなかったわけです。
正直、整理情報を用意した方が、必要なものを見つける数も増えるのではないかと思っていました。
でも、元の方法ですでに11問とも条件を満たしているなら、それ以上増える余地がありません。今回の結果だけで、整理が役に立たないとも、別の状況でも同じ結果になるとも言えない。
それでも、「整理を足したのだから、きっと探しやすくなったはず」と思い込んでいた部分は、一度立ち止まって見直したいと思いました。
読ませる情報を増やすと、トークンも増えた
一方、AIが回答を作る時に使ったトークンは、整理情報を加えた方が多くなっていました。
例えば、関係のない資料を多く混ぜた条件では、12問分の入力と出力を合わせると、次のようになりました。
| 渡し方 | 回答時に使ったトークンの合計 |
|---|---|
| 原文を探して渡す | 15,024 |
| 全体の案内と原文を渡す | 17,852 |
| 全体の案内、話題別の整理情報、原文を渡す | 20,267 |
今回の条件では、整理情報を増やしても、必要な原文に到達した件数は同じ。その一方で、回答時に読んだり出力したりする量は増えていました。
ただし、これは料金の比較ではありません。整理情報を作る費用や、資料が変わった時に更新する負担も含めていません。同じトークン予算で条件をそろえた試験でもありません。
この数字だけを見て「整理すると常にこれだけ高くなる」とは言えませんが、少なくとも、情報を足すことには負担もある、とは確認できました。
原文が見つかったことと、正しく答えたことは違う
ここで、もう一つ大事な注意があります。
必要な原文がAIに渡ったことは、AIの答えが正しかったことを意味しません。
今回の「11問中11問」は、あくまで指定した原文の候補が資料に含まれていた、という数です。回答が原文の意味を正しく読み取ったか、古い話と現在の話を区別したか、全体を採点した結果ではありません。
実際に一つの回答を見ると、原文では「変更したい」という希望だった内容を、AIが「変更された」と確定した出来事のように答えていました。
原文にたどり着いていても、希望と決定を混同することはあります。整理した情報が用意されていても、それで必ず防げるわけではありません。
この一例だけで全体の正答率は分かりませんが、少なくとも自分が確かめたいのは、「見つけたか」だけではない、と改めて感じました。
本人が言ったことなのか、AIの提案なのか。
昔の案なのか、今決まっていることなのか。
まだ希望しているだけなのか、実際に終わったことなのか。
必要な情報を拾ったうえで、そうした違いまで保って答えられるか。そこまで見なければ、使いやすくなったとは言い切れません。
整理をやめるのではなく、役割と効果を確かめたい
だからといって、整理したメモを全部やめて、原文だけにすればよいとも思っていません。
今回の試験は架空の資料ですし、自分のObsidianにたまった長い会話や、何度も変わった方針をそのまま再現したものではありません。整理があることで、人間にとって経緯が追いやすくなったり、別のAIへ入口を渡しやすくなったりする可能性もあります。
自分が知りたいのは、整理すること自体の是非ではなく、何のための整理なら、どんな場面で役に立つのかです。
原文の場所を探すためなのか。
過去の案と今の方針の違いを見失わないためなのか。
別のAIへ作業を引き継ぐためなのか。
目的によって、必要な情報の残し方も、比べるべき結果も違うはずです。
今後は、まだ使っていない資料や質問でも比べながら、原文を見つけられたかだけでなく、回答が正しいか、どれくらい手間がかかるかも確認したいと思っています。
「整理したから安心」で終わらせたくない
AIに使ってもらうために情報を残す。これは今でも大事だと思っています。
でも、整理したファイルを増やすことが、そのままAIの理解や検索の改善につながるとは限らない。今回の予備試験では、少なくとも自分が期待した「必要な原文を見つける数の増加」は確認できませんでした。
情報を残すこと。
必要な原文にたどり着くこと。
その内容を、時点や意図を含めて正しく使うこと。
この三つは別々に確かめる必要があります。
自分の仕組みは、まだ改善の途中です。整理を増やすか減らすかを先に決めるより、何が良くなって、何が増えたのかを、一つずつ比べていきたいと思います。
コメント