マニュアルどおりに答えたAIが、
現場で「それは違う」と言われる理由

「経費の精算書は、いつまでに出せばいいですか」。社員が社内のAIに聞く。AIは就業規則と経理の手引きを参照して「翌月5日まで」と答える。文書にそう書いてあるのだから、答えとしては合っている。ところが実際の経理は、前月の28日で締めて処理を始めている。5日に出した分は、翌月へ回る。

この場面で、AIは間違えていない。ずれていたのは、AIに渡した文書のほうだった。社内問い合わせへのAI活用がつまずくのは、多くの場合こういうところで、回答の精度とは別の話になる。

社内には、正解が二つあることがある

文書に書いてある手順と、現場で回っている手順。この二つは、放っておくと少しずつ離れていく。締め日を前倒しにした、申請の窓口が別の人に移った、使うシステムの画面が変わった。運用は口頭で直せば回るので、そこで直したことを文書に戻さなくても、当面は困らない。

従業員30名から300名くらいの会社では、この差が生まれやすい。ルールを決めた人と、実際に回している人の距離が近く、その場で話せば済んでしまうからです。そして人が答えているあいだは、差は自然に埋まっていました。経理の担当者は「規程では5日ですが、うちは28日に出してください」と言い添える。この一言は、どの文書にも書かれていない。AIは、書かれていないことを言い添えられません。

困るのは、この差をまだ知らない人です。入ったばかりの社員や、別の部署から異動してきた人は、文書どおりの答えを受け取って、そのとおりに動きます。以前なら誰かに聞く途中で気づけたずれが、聞かずに済むようになった分だけ、気づかれないまま通ってしまう。

図：運用を変えた日には重なっていた「文書に書いてある手順」と「現場で回っている手順」が、締め日の前倒し、窓口の変更、画面の変更のたびに離れていきます。文書が直されないまま広がったこの差が、AIの答えのずれになります。

確かめるのは、文書が揃っているかどうかではない

社内問い合わせのAI活用を扱う解説記事では、AIに読ませる文書の選び方を「利用頻度」と「更新頻度」の二つの軸で説明するものが目立ちます。よく聞かれて、あまり変わらない文書から入れる。全部を一度に入れず、範囲を絞る。どちらも理にかなった順序です。

ただ、この二軸には、文書の中身が今の現場と合っているかという観点が入っていません。更新頻度が低い文書は、変わらない文書とは限らない。変わったのに直されていない文書も、同じように更新頻度は低く出ます。区別がつかないまま渡すと、AIは古い手順を、出典つきで自信のある口調で返すようになります。

「どれを正式な文書とするか先に決める」という助言もよく見かけます。これも必要な手順ですが、正式なものを一つに絞る作業と、その一つが今の現場と合っているかを確かめる作業は、別です。前者だけを終えて渡すと、古いほうを正式な文書として選んでしまうことが起こります。

図：利用頻度と更新頻度の二軸で文書を分けると、更新頻度が低い側には「変わらないから更新されていない文書」と「変わったのに直されていない文書」が同じように入ります。見た目は同じ位置に重なるため、この二軸だけでは区別できません。

渡す前の一手間は、一度の読み合わせ

やることは複雑ではありません。最初に渡す範囲を一つ決めたら、その範囲の文書を、実際にその業務を回している人と一緒に一度読む。全文を精査する必要はなく、突き合わせるのは手順・期限・窓口の三つだけでいい。

読むと、文書は二つに分かれます。「ここは今もそのとおり」と「ここは実際は違う」。一致している部分だけをAIに渡し、一致していない部分は渡さずに「この点は担当者に確認してください」と返す設計にする。答えさせないことを、先に決めておく。

このとき「違う」と言われた箇所は、その場で直さず、書き留めるだけにしておくと進みます。直そうとすると、なぜそう変えたのかという経緯の話になり、読み合わせが途中で終わってしまいます。ずれの一覧を先に作りきってから、どれを文書側に、どれを運用側に寄せるかを別の日に決める。

食い違ったとき、どちらを優先するかを決めておく

文書と実態が違うと分かった時点で、直すのは文書か運用かという判断が要ります。これは人の仕事で、AIには決められません。ただ、その判断が終わるまで全部を止める必要はありません。優先順位を先に決めておけば、動かしながら直せます。

当社の例を一つ。自社サイトに載せるコラムの下書きを、社内のAIチームに毎日作らせています。読ませているのは、作業の手順書と、状況を随時書き足している運用記録の二つです。9月に下書きの保存先フォルダが別のサイト側へ移り、手順書に書いてある保存先は古くなりました。それでも作業が止まらなかったのは、「手順書と運用記録が食い違ったら運用記録のほうを使う」と先に決めてあったからでした。文書を二つ持つこと自体は、避けにくい。避けられるのは、どちらが優先か決まっていない状態のほうです。

専任がいない会社ほど、範囲は狭く

中小企業基盤整備機構の調査では、AI導入を妨げている要因として「AIのノウハウ不足」が42.0%、「AI人材不足」が38.8%挙がっています。同じ調査では、効率化が難しい業務として「人の判断が必要な業務」を挙げた企業が約7割でした。文書と運用のどちらを直すかという判断は、まさにこの「人の判断が必要な業務」に入ります。

社内に専任の担当がいないのであれば、その判断の回数を増やさないほうが進みます。最初に渡す範囲は、読み合わせを一度で終えられる分量に収める。よく聞かれる質問から数えて二十から三十問ぶんで十分です。そこで一度回してみると、文書と実態がどのくらい離れているかの感覚が社内につきます。その感覚がついてから範囲を広げたほうが、後戻りが少なくなります。

社内の質問にAIが答えるようになると、答えが返ってくるまでの時間は短くなります。短くならないのは、文書と実態のあいだに開いた差のほうで、そこはAIを入れても埋まりません。埋めるのは、その業務を回している人と机を並べて一度読む時間です。

よくある質問

当社の「社内ナレッジAIチーム」では、この読み合わせのところから一緒に進めています。どの範囲から渡すか決めきれない段階の相談は、「できるAIチーム＋」のページから受け付けています。

関連記事