自由回答を読める数字に変える。アンケート分析を高速化する

アンケートの自由回答欄は、いちばん価値があって、いちばん使われていないデータです。

選択式の質問は集計されてグラフになりますが、自由回答のほうは200件並んだテキストのまま放置されます。
「時間があるときに読もう」と思ったまま、結局は読まれません。

今回は、アンケートの自由回答をAIで分析して、読める数字に変えていく話を書いていきます。
内製化の全体像は社内AIツールの内製化。現場が自分で作れる組織にするまでにまとめてあります。

自由回答は、読むほど時間がかかるのに数字にならない

なぜ自由回答は使われないままなのでしょうか？
理由は大きく3つあります。
まず、200件を通して読むだけで1時間以上かかるので、読むこと自体が負担になります。

読んだところで「こういう意見が多かった」という感覚しか手元に残らず、数字にならないので報告には使えません。
手作業で分類すると200件で数時間かかり、そのうえ分類の基準もぶれていきます。
なかでも損失が大きいのは、数字にならないという点です。

つまり、選択式の質問は数字になるので報告に使われ、自由回答は数字にならないので使われず、情報としての価値の大きさと扱いがまったく逆になっています。
本当のことが書かれているのは、たいてい自由回答のほうです。
選択肢にはない不満や、こちらが想定もしていなかった要望が、そこに残っています。

分類はカテゴリと感情の2軸で足りる

自由回答は、どうすれば数字になるのでしょうか？
やること自体は単純で、各回答を2つの軸で分類します。

ひとつは「何についての意見か」を示すカテゴリで、この選択肢は先に決めておきます。
もうひとつは感情で、肯定的・否定的・中立の3段階だけで足ります。
この2軸でクロス集計を出すと、「このカテゴリについて、否定的な意見が何件」という形になり、そのまま報告に使えます。

「Aについて否定的な意見が30件、Bについて15件」と出せれば、そこで優先順位が決まります。
数字だけでは伝わらないので、代表的な回答を各カテゴリから3件ずつ抜き出しておくと、数字と実際の言葉の両方がそろい、報告の説得力が変わります。
分類軸の設計が、この施策の本体です。

カテゴリを自由に分類させると行ごとに違う言葉が入り、集計できなくなるので、選択肢を先に決めておきます。
決め方は2段階です。

まず過去の自由回答を50件ほど読み、出てくるテーマを書き出します。
今回の回答の最初の50件を読んでもかまいません。

そのうえで、書き出したテーマを5〜8個に統合します。
それ以上の数になると、集計が細かくなりすぎます。
選択肢には「その他」を必ず入れておくと、当てはまらない回答が無理に分類されるのを防げます。

「その他」の割合は、分類の精度を測る簡単な方法にもなります。
3割を超えているようなら、選択肢の設計が実態と合っていません。
もちろん、機械的に分類すればそれで終わりではなく、精度を見ながら育てていくものです。
分類をAI関数で回す場合の勘所はスプレッドシートのAI関数で終わる業務・終わらない業務にまとめてあります。

言及数と回答数は分けて報告する

分類軸を決めても、現場では悩む場面が残ります。
1つの回答に複数のテーマが含まれることがあるからです。

「操作が分かりにくいし、サポートの返信も遅い」といった回答がこれにあたります。
対処は2つあり、主要なカテゴリ1つに絞る形は集計が単純になるぶん情報が落ち、複数のカテゴリを付ける形は情報が保たれるぶん件数の合計が回答数を超えます。
後者のほうが正確ですが、「回答数」と「言及数」を区別しておく必要があります。

報告の場では言及数を使い、「操作の分かりにくさへの言及が45件」という形にすると、回答数より実態に近い数字になります。
そのうえで「200件の回答のうち、操作について言及したのが45件」と回答数も併記しておくと、読み手も混乱しません。

感情の軸にも、注意点があります。
感情の判定は、そもそも粗いという前提が必要です。
明確に肯定的、あるいは明確に否定的な表現は判定しやすい一方、「改善してほしい」という要望は否定的なのか中立なのか、人によっても判断が分かれます。

皮肉や条件付きの評価はさらに難しく、「便利だが、〇〇が使いにくい」といった回答がそれにあたります。
だからこそ感情の判定は3段階に留めておきます。
5段階や数値のスコアにすると、精度がないのに細かく見えてしまいます。

あくまで全体の傾向を見るための道具として使い、個別の回答の判定が正確かどうかより、全体の傾向が分かることに価値を置きます。
否定的に分類された回答は、人が読みます。
件数を把握したうえで一度は目を通しておくと、改善のヒントはたいていそこにあります。

社内サーベイでは「使っていない理由」がいちばん効く

自由回答の分析は、社内のどこで使えるのでしょうか。
AI活用の状況把握で、はっきり効きます。

聞くのは「AIを業務で使っていますか」「使っていて困っていることはありますか」「使っていない理由は何ですか」といった質問です。
最も価値があるのは最後の質問で、使っていない理由を自由回答で聞くと、こちらが想定もしていなかった理由が出てきます。
カテゴリの例は、使い方が分からない・自分の業務に使い道がない・時間がない・許可されているか分からない・精度が信用できない・その他、といったところです。
「許可されているか分からない」が多い場合、それは推進側の周知の問題なので、研修をいくら増やしても解決しません。

この集計結果は部門別に見ておきます。
理由の内訳は部門によって違いますし、部門ごとに打つべき手も変わります。

離脱を減らす設計は「AIは使えない」と離脱する人を減らす。つまずき7パターンとサポート設計にまとめてあります。

また、運用の設計こそ、実のところいちばん重要です。
毎回、同じ質問と同じ分類軸のまま継続しないと、前回との比較ができなくなります。

質問そのものは、途中で変えません。
聞き方を変えると回答も変わるので、比較できなくなります。

分類の選択肢も、途中では変えません。
選択肢を追加すると前回との比較が崩れます。
どうしても必要なら、「その他」の中から新しいカテゴリを作り、前回の分もまとめて再分類しておきます。

実施する頻度は、半年に一度くらいにしておきます。
頻度が高すぎると回答者が疲れますし、低すぎると変化が追えなくなります。

見るべきは「変化」のほうです。
前回と比べて、どのカテゴリへの言及が増えたか減ったか。
単発の集計より、変化のほうが判断に使えます。
数字を見える状態にする話は数字を見える状態にする。データ集計と分析をAIで日常業務化する、回収率そのものは社内アンケートの回収率が上がらない。未回答者だけに自動で促すにまとめてあります。

この作業に使える業務ツール「アンケート自由回答の分類」は、詳しいページでできることと使い方を紹介しています。

結果を回答者に返すと、次の回収率が上がる

回収率を上げる方法はあるのでしょうか。
前回のアンケートの結果と、それを受けて何をしたかを共有するだけで、次回の回収率が上がります。
返す内容は3つで、集計の結果・それを受けて何をしたか・そして何をしなかったか、その理由もあわせて返します。

要点は最後の項目です。
すべての要望に応えられるわけではないので、応えなかったものについては理由を返しておきます。

代表的な回答は、そのまま載せます。
自分が書いたことが載っていると、次もまた書いてくれます。
ただし当然、個人が特定されない形にしておきます。

ここを飛ばすと、次回からは自由回答が書かれなくなります。
「書いても何も変わらない」という経験が、いちばん回収率を落とします。

顧客の声を扱う話は顧客像の解像度を組織でそろえる。AIでペルソナを共通言語にするで扱っています。

つまずきやすいのは、カテゴリを自由に分類させる・カテゴリを10個以上にする・「その他」を入れない・感情を5段階や数値のスコアにする・否定的な回答を数字だけで済ませる・質問や分類軸を変える・結果を回答者に返さない、という点です。
どれも、選択肢を先に決め、5〜8個に統合し、「その他」を置き、3段階に留め、否定的な回答には目を通し、質問と軸を固定し、結果を返せば避けられます。

サーベイの回答は自己申告なので、利用データと突き合わせる

自由回答の分析そのものは、ここまでの設計で仕組みとして回せます。
ただ、社内サーベイという手法には限界もあります。
返ってくる回答は、あくまで自己申告だからです。
「使っています」と答えた人が実際にどれだけ使っているかは分かりませんし、使っていない人はそもそも回答しない傾向があります。

だから、社内で持っている利用データと突き合わせる必要が出てきます。
突き合わせると、「使っています」と答えた人の利用頻度や、回答しなかった人の利用状況、部門別の申告と実態のずれが見えてきます。

「使っていない理由」の分析が、本当に使っていない人の理由になっているかどうかも確認できます。
回答した人だけの理由を見ていると、実態を外している可能性があります。

突き合わせに使う利用の数字を、名簿と結びつけて部署ごとに毎月そろえる手順は、生成AIの利用状況の把握で書いています。

この突き合わせに使う利用データは、私たちの組織のAIポータル「AI Portalize」なら、部署・職種・グレードごとの利用率と前期比として集計の手間なしで出ます。
計測できるのはGeminiとClaudeの利用です。
サーベイの結果と実態を突き合わせたい状態であれば、考え方の参考になるかもしれません。

自由回答は、型を決めれば数字になる

自由回答が使われないのは、読むのに時間がかかる・そもそも集計できない・分類の作業が重い、この3つが原因です。
選択式は数字になって報告に使われ、自由回答は使われません。
情報としての価値と、扱いが逆になっています。

構成は2軸で、カテゴリと感情です。
カテゴリの選択肢は先に決め、感情は3段階に留めます。
そこからクロス集計を出したうえで、代表的な回答を各カテゴリから3件抜き出すと、数字と実際の言葉の両方がそろって説得力が変わります。

カテゴリは、過去の回答50件を読んでテーマを書き出し、5〜8個に統合します。
「その他」を入れておき、その割合で分類の精度を測ります。
3割を超えたら、設計を見直します。

複数のテーマを含む回答は、複数のカテゴリを付けたうえで言及数で報告し、回答数も併記します。
否定的な回答には人が目を通します。
改善のヒントは、たいていそこに埋まっています。

継続して比較するために、質問と分類軸は変えません。
実施は半年に一度にして、見るのは変化です。

最後にその結果を回答者へ返します。
集計・何をしたか・何をしなかったか、その理由まで返すと、ここを飛ばした場合と回収率が変わってきます。

まずは過去のアンケートの自由回答を50件読んで、テーマを書き出してみると、次に何を聞くべきかが見えてきます。