大規模言語モデルに付与した性格特性が情報検索行動に与える影響
今坂 優太（2024年度修了）
大規模言語モデル（LLM）は多様な自然言語処理タスクで活用され，情報検索（IR）の領域においてもクエリ生成や適合性判定を始めとして，従来は人間が担っていた行動に対する代替が起きている．しかし，人間の情報行動が各個人の特性に影響されることが指摘される中で，性格特性を付与したLLM が情報検索行動においてどのような振る舞いを取り，その性能がどれ程になるのかは未だ十分に解明されていない．本研究では，LLM エージェントに対してビッグファイブ理論に基づく5 つの性格特性を付与する手法を提案し，その有効性をIPIP-NEO-120で評価する性格特性付与実験，続いてクエリ生成実験および適合性判定実験の3 つの実験を実施することで，振る舞いと性能の評価を行なった．実験の結果，性格特性はクエリの長さや語彙選択，適合性判定の振る舞いに一部影響を及ぼすことが示唆されたが，検索性能や適合性判定性能に顕著な差は見られなかった．この性能に関する結果は，情報検索性能を大きく損なうことなく性格特性を活用する可能性を示唆している．今後はクエリ書き換えやリランキングを始めとする高度な情報検索タスクにおける性格特性の影響を調査することで，LLM の情報検索行動に対する性格特性の影響を包括的に理解する取り組みが期待される．