生成系AIが協調的旅行計画作業の過程と成果に与える影響について
熊本 ひかる（2023年度卒）
協調検索とは、参加者が情報ニーズを満たすために協力する情報検索の一種のことである。その中で最も一般的な目的は旅行計画作成であることが先行研究で示されている。先行研究には、協調検索の性能とユーザ行動についての研究や、会話型エージェントに関する研究、雑談における発話のやり取りと盛り上がりを調べた研究がある。これらの先行研究の知見から、生成系AIを用いた協調検索であれば、雑談が減ることで、より効率的に協調検索を行うことができるのではないかと考えた。具体的には、生成系AIが協調検索の過程と成果に与える影響を調査し、協調検索をより円滑にする方法を明らかにすることを目的とし、ユーザ実験を行った。
実験は2人1組で行い、タスクは旅行計画作成とした。被験者内計画で行い、検索エンジンのみを使って旅行計画を立てる条件と、検索エンジンとChatGPTを併用する条件の2 条件で実験を行った。制限時間は60分とした。パソコンは1組に1台用意し、作成した旅行計画は、配布した旅行計画書に記入してもらった。また、旅行計画作成タスクを、「目的地の決定、スケジュールの決定、宿泊地の決定・予約、交通手段の予約」の4手順に分割し、手順ごとに作業を行うよう指示した。評価は、タスク完了時間と質問紙調査による満足度、そして旅行計画書から判断するタスク完成度を中心に分析した。また、タスク中のChatGPTの使用用途についても調査した。
各指標について、それぞれの代表値を分析したところ、ChatGPTを用いた方が簡単に情報を見つけることができ、タスクを難しいと感じた人が少なかった。また、ChatGPTを用いた方が、被験者間の会話量が少ないことが分かった。手順別の分析では、基本統計量に差が見られた点もあったが、統計的な有意差は見られなかった。ChatGPTの使用用途について調べたところ、アイデアの提案が最も多かった。また、最もChatGPTが使われたのはスケジュールの決定であった。さらに、本研究では、参加者の自由回答や実験の様子から、旅行計画タスクの各手順における最適なツールの使い分けを考察した。その結果、目的地の決定では、ChatGPTを用いて目的地のアイデアを出したのちに、検索エンジンを用いてビジュアルデータを収集する方法を提案した。スケジュールの決定では、ChatGPTにスケジュールの大枠を決めてもらい、繰り返し改善を依頼する方法を提案する。宿泊地の決定・予約では、検索エンジンを中心に用いることを勧めている。交通手段の予約では、時間を調べたり予約を行ったりするには検索エンジンの方が適していると結論付けた。
本研究では、生成系対話AIによる協調的検索作業への明確な効果は観測されなかったが、一部の指標に差が見られた。今後の方向性として、制限時間を延ばすなど、異なるタスク要件下での検証が考えられる。