※2026年10月の個人的な開発記録です。対応状況はAIとの会話で受けた説明に基づきます。コードや学習・評価の記録を独立して監査した結果ではありません。
AIに予測支援ツールを作ってもらっているのですが、最近、完成報告に違和感を持つことがありました。
「できました」と持ってくるのが、どうにも早い。
こちらは、過去の事例を使って予測方法を確かめ、条件ごとの差を見ながら練っていくものだと思っていました。それなのに、すぐに結果が出てくる。
いや、何ができたん？ そこまで本当に見てる？
そうやって問い直していくと、自分が想定していた工程には、まだ対応していないという返答が出てきました。
今回は、AIが速いのは怪しいという話ではありません。出てきたものが、欲しかったものになっているのか。その確認に、対象分野の知識を使うことになったという話です。
「予測を作る」の中身が、同じだと思っていた
自分が欲しかったのは、用意したデータを読んで、何か数字を出すだけのものではありません。
対象の性質を見る。ほかの対象との関係を見る。後から分かる条件や、状態の変化も踏まえて、今回どうなりそうかを考える。
そういう流れを含めて「予測する」と考えていました。
でも、こちらがそう思っているからといって、AI側も同じ範囲を引き受けているとは限らないんですよね。
そこで、自分が普段その分野で確認することを、順に挙げて聞きました。ここを見た後に、この条件を考えて、そこまで踏まえて出しているのか、と。
返ってきたのは、そこまで対応できていなかったという説明でした。
細かい機能を追加したかったというより、「最初からこのつもりで頼んでいたんだけど」という感覚です。少なくとも、会話上の完成報告からこちらが受け取っていた範囲とは、ずれがありました。
早く答えが出ること自体が、問題ではなかった
最初の自分は、過去の事例がたくさんあるのに、こんなにすぐ完成と言えるものなのか、というところに引っかかっていました。
ただ、ここは分ける必要があります。
モデルを学習する処理と、学習済みのモデルで新しい入力を予測する処理は別です。予測のたびに学習し直す必要はありません。学習できたことと、未知のデータでもよく予測できることも別で、評価が必要です。scikit-learn公式ガイド
だから、返事や計算が早かったというだけでは、中身が雑だった証拠にはなりません。
自分が知りたかったのは、その前に何を準備し、どの条件を使い、どこまで確かめて「できた」と言っているのかでした。
単純な方法から試すこと自体も悪くありません。Googleの機械学習の実務指針でも、複雑さを増やす前に、単純なモデルと確かなデータ処理から始める考え方が示されています。Google「Rules of Machine Learning」
問題にしたいのは、方法が高度そうかどうかではなく、今できていることと、こちらが必要としていることが一致しているかです。
AIの操作に詳しいだけでは、聞くべきことが出てこない
今回、強く感じたのはここです。
もし自分が対象の分野をほとんど知らなかったら、結果が表示されたところで「そういうものか」と受け取っていたかもしれません。
どの条件を気にするのか。条件が変わると、何を見直すのか。どこまで確認していなければ、その予測を受け入れにくいのか。
そういう観点があったから、「ここまでやっているのか」と聞けました。
その後は、必要なデータを洗い出すことや、やり方が分からないなら調べ直すことを求めました。やり取りを重ねた末に、開発側から機械学習へ取り組むという説明も出てきました。
正直、「そこからなのか」と思いました。
ただし、それで正しい方法へ直ったとか、精度が上がったと確認できたわけではありません。「機械学習を使う」と言ったこと自体も、完成の証明にはならない。
今回分かったのは、こちらが想定していた工程と、AIが説明していた対応範囲を、改めてすり合わせる必要があったということです。
知識が役立ったのは、正解より「足りない問い」を出すところだった
AIの技術に詳しいことと、AIで何を作りたいのかを分かっていることは、やはり別なんだと思います。
自分は、内部の実装をすべて読めるわけではありません。でも、対象の分野についてなら、「その条件を見ずに、そこまで言えるのか」と引っかかるところがあります。
今回、その知識は、AIより良い答えを自分で出すためというより、まだ答えてもらえていないことを見つけるために使っていました。
もちろん、自分が普段使っている考え方を全部入れれば、必ず良い予測になるとも限りません。人間側の思い込みもあるはずです。
だから、分野の知識で確認したいことを出す。そのうえで、必要性や結果を確かめる。この二つを混ぜないようにしたいです。
将来は変わっても、今回は自分が問い直した
以前、専用AIが進めば、現場知識を使わずに任せられる範囲も広がるのではないか、と書きました。今も、その可能性を否定したいわけではありません。
将来、必要な前提までAIが先回りして確認するようになるかもしれない。
でも、今回の自分の開発では、対象分野の知識を使って問い直す工程が必要でした。
AIの使い方を覚えるだけでなく、何をもって「欲しかったものができた」とするのかを考える。その時に、作りたいものの分野を知っていることが効いてくる。
AIの「できました」を疑うために、何でも自分で作れるようになる必要まではないと思います。
ただ、何が抜けていたら困るのかを問えること。 今回、自分の知識が役に立ったのは、そこでした。
コメント