AIに大量の資料を渡せば、かなり賢く整理してくれます。
ただ、最近あらためて感じたのは、資料をたくさん渡したからといって、いきなり良い結論が出るわけではないということです。
むしろ、資料が多い時ほど、最初から「結論を出して」と頼むと危ない。
情報量が多いぶん、AIはそれっぽくまとめてくれます。
でも、その中には事実、解釈、感想、勢いのある言葉、まだ確認していない材料が混ざっています。
そのまま結論に進むと、どこまでが根拠で、どこからが雰囲気なのか分かりにくくなります。
今回は、そのあたりをかなり実感しました。
大量の資料を渡すと、AIはそれっぽくまとめてくれる
今回やっていたのは、ある検証作業です。
複数の動画の文字起こし、メモ、当日になって変わる条件、過去に見た情報、最後に自分で確認した内容をまとめて、AIに整理してもらっていました。
素材としては、かなり多かったです。
たとえば、
- 複数の動画や解説の文字起こし
- それぞれの発信者が何を重視しているか
- 前日までに整理した評価
- 当日に変わる条件
- 最後に自分で見て判断した印象
- 結果が出たあとの振り返り
こういうものをまとめて扱っていました。
AIに渡す素材としては、かなり面白いです。
人間だけで全部読むと、途中で頭がごちゃごちゃになります。
同じような話が何度も出てきますし、強い言い方をしている人の意見ほど、つい重く見えてしまいます。
そこでAIに渡すと、かなりきれいに整理してくれます。
ただし、ここでいきなり「結論は？」と聞くと、少し危ないと感じました。
問題は情報量ではなく、種類が混ざることだった
資料が多いこと自体は、悪いことではありません。
むしろ、少ない情報だけで判断するよりは良いはずです。
ただ、多い資料をそのままAIに渡すと、いろいろな種類の情報が一つの束になります。
事実として確認できるもの。
誰かの解釈。
その人の経験則。
少し強めの表現。
まだ確認していない仮説。
自分の中の期待や不安。
これらが混ざったまま「まとめて」と頼むと、AIは本当にうまく文章にしてくれます。
でも、文章としてきれいなことと、判断材料として安全なことは別です。
ここが少し怖いところです。
AIのまとめは読みやすいので、つい「整理された」と感じてしまいます。
けれど実際には、整理されたのは文章だけで、判断の中身はまだ混ざったままということがあります。
全資料をまとめてABCD評価にしたのが早すぎた
今回、特に良かった反省点があります。
それは、全体の資料をまとめて渡して、いきなり総合評価にしないことです。
たとえば、資料を渡してすぐに、
「A、B、C、Dで評価して」
と頼むことはできます。
AIはちゃんと表にしてくれます。
見た目も分かりやすいです。
実際、自分も最初はそれに近い形で出してしまいました。
全体の資料をまとめて渡して、まとめて評価してもらう。
これは一見便利です。
ただ、自分が本当に欲しかったものとは少し違いました。
欲しかったのは、全体を一発でABCD評価することではありませんでした。
各ファクターごとに情報をまとめてもらい、そのうえで複数のファクターを横並びで比較することでした。
たとえば、同じ対象について、
- 事前資料ではどう見られていたか
- 数値や条件面ではどうか
- 当日になって変わった材料はあるか
- 複数の発信元で同じ見方が出ているか
- 逆に、一つの発信元の見方が何度も出ているだけではないか
こういうものを別々に見たかったわけです。
でも、最初から総合評価にすると、なぜその評価になったのかが見えにくくなります。
どの資料が効いたのか。
同じ情報源の中で何度も出てきただけなのか。
別々の人が同じことを言っているのか。
それとも、一人の強い主張が何度も形を変えて出てきただけなのか。
ここを見ないまま点数化すると、AIの評価が便利すぎて、逆に危なくなります。
だから、最初にやるべきことは総合評価ではなく、ファクターごとの分解でした。
事実・解釈・主観・未確認を分ける
今回、使いやすかったのはこの分け方です。
- 事実として確認できるもの
- 誰かの解釈
- 主観や印象
- まだ確認していないもの
- 当日にならないと変わるもの
この形で分けると、資料の見え方がかなり変わります。
たとえば、ある情報が何度も出てきたとしても、それが全部同じ発信元から来ているなら、重みづけは少し変わります。
逆に、別々の資料から同じ方向の話が出ているなら、それは少し強く見てもいいかもしれません。
また、当日になって変わる条件は、前日までの評価と混ぜない方が良いです。
前日までの資料で強く見えていたものが、当日の条件で少し下がることもあります。
逆に、前日までは目立たなかったものが、当日の条件で上がることもあります。
ここを一緒にしてしまうと、AIも人間も判断を間違えやすくなります。
同じ情報源を何票にも数えない
これはかなり大事だと思いました。
AIに大量の資料を渡すと、量がそのまま説得力に見えることがあります。
でも、その資料が本当に独立した材料なのかは別です。
同じ人の動画を複数本見ているだけなら、それは複数の意見ではなく、同じ人の見方が何度も出ているだけかもしれません。
同じ話が別の切り抜きや別の形で出てきているだけなら、それを何票にも数えるのは危ない。
これはAIに限らず、人間でもやりがちです。
何度も見た情報は、なんとなく強く感じます。
でも、それは本当に根拠が強いのではなく、自分が何度も見ただけかもしれません。
AIに整理してもらう時も、ここは明示した方がよさそうです。
「同一の情報源は複数票として扱わない」
この一文を入れるだけで、かなり整理の質が変わる気がします。
AIには結論よりも、評価軸ごとの表を作ってもらう
今回、一番使いやすかったのは、AIに結論を出させることではありませんでした。
評価軸ごとに表にしてもらうことでした。
たとえば、
- どの資料で強く扱われていたか
- どの材料は事実に近いか
- どの材料は主観が強いか
- 当日になって変わる材料はどれか
- 最後に人間が確認すべきポイントはどこか
こういう形にすると、AIの出力がかなり使いやすくなります。
AIに「答え」を出してもらうのではなく、判断するための台を作ってもらう感じです。
この方が、自分も確認しやすいです。
特に欲しかったのは、一つの総合点ではなく、複数の表を見比べられる状態でした。
たとえば、
資料Aでは強い
資料Bでは触れられていない
条件面では少し不安
当日変化ではプラス
主観的な印象ではまだ保留こういう形で並んでいると、どの材料を重く見るかを考えやすくなります。
一つのABCD評価だけだと、判断が速くなる代わりに、途中の揺れが見えなくなります。
でも、ファクターごとの整理なら、
この評価は資料評価が強い
この評価は当日条件に寄っている
この評価は主観が混ざっているという違いが見えます。
自分がやりたかったのは、AIに結論を一つ出してもらうことではなく、この比較できる状態を作ってもらうことだったのだと思います。
AIが出した結論に乗るだけだと、外れた時に何が悪かったのか分かりにくい。
でも、評価軸ごとの表があれば、
「資料の見方は悪くなかった」
「最後の条件変更の扱いが甘かった」
「総合評価は合っていたが、使い方を間違えた」
という振り返りができます。
ここがかなり大きいです。
最後の判断も、必要ならスキル化できる
AIを使っていると、つい最後の答えまで任せたくなります。
でも、今回のように材料が多く、しかも当日になって変わる情報があるものは、最初から最後までAIに丸投げするより、まず整理された材料を作る方が使いやすいと感じました。
AIには、資料を読むこと。
同じ情報をまとめること。
評価軸ごとに分けること。
矛盾点を見つけること。
振り返りを言語化すること。
ここまでをかなり任せられます。
一方で、最後にどこを重く見るかは、その時点では自分で見た方が納得しやすかったです。
特に、現場感や当日の変化が入るものは、AIだけでは拾いきれない部分があります。
AIが弱いというより、AIに渡していない情報は当然分からないという話です。
ただ、ここも必ず人間がやるべきだと決めつける必要はないと思っています。
何度も同じ流れで整理するなら、最後の判断手順そのものをスキル化するのもありです。
たとえば、
- まず資料別に整理する
- 次にファクター別に表にする
- 同一情報源をまとめる
- 未確認情報を分ける
- 当日変化を別枠で反映する
- 最後に総合判断案を出す
ここまでを一つの手順として固定できれば、毎回ゼロから頼まなくてよくなります。
人間が最後に全部判断するというより、どこまでをAIの手順にして、どこからを自分で確認するかを決める感じです。
だからこそ、AIに何を渡すか。
どの単位で渡すか。
どの段階で判断させるか。
ここを決めることが大事なのだと思います。
AI活用は、結論を急がせない方が強くなる
今回の反省を一言でいうなら、AIに結論を急がせない方がいい、ということです。
大量の資料を渡したら、まず結論を聞きたくなります。
でも、本当に大事なのはその前でした。
資料を種類ごとに分ける。
同じ情報源をまとめる。
事実と主観を分ける。
当日変わる条件を別扱いにする。
評価軸ごとに表にする。
必要なら、最後の判断手順もスキル化する。
この順番にすると、AIはかなり頼れる相手になります。
逆に、いきなり「答えを出して」と頼むと、便利ではあるけれど、少し危うい。
AIに任せるべきなのは、最初から結論そのものではなく、結論に行く前の整理と比較なのかもしれません。
最近は、ブログでもObsidianでも、AIに「全部いい感じにして」と頼むより、任せる単位を小さくした方がうまくいくと感じています。
今回もそれに近い話でした。
AIは大量の資料を読むのが得意です。
でも、大量の資料をどういう順番で判断材料に変えるかは、人間側が設計した方がいい。
その設計があるだけで、AIの答えはかなり使いやすくなります。
コメント