AIチャットの回答は検索より18.7%以上単調、27モデルで「知識の偏り」検証

AIチャットの回答は検索より18.7%以上単調、27モデルで「知識の偏り」検証
Image: Getty Images / University of Copenhagen

AIチャットは便利ですが、返ってくる知識の幅は通常のウェブ検索より狭いかもしれません。27種類の大規模言語モデルを比べた研究で、最も多様な回答を出したモデルでもGoogle検索より18.7%以上単調でした。

研究チームは155テーマについて、実際の利用者をもとに200通りの質問を作成。約170万件の回答、7000万の主張を分析しました。

AIチャットを使って情報を探すイメージ
Image: Getty Images / University of Copenhagen

よくある情報へ集まりやすい

言語モデルは大量の文章を圧縮し、よく現れるパターンから回答を作ります。そのため、少数派の視点や珍しい情報が落ちやすく、質問の言い方を変えても似た内容へ収束しました。

AI生成文を次世代AIの学習に繰り返し使えば、情報の幅がさらに狭まる「知識崩壊」の可能性があると研究者は警告します。

崩壊が起きたと証明したわけではない

新しいモデルほど回答の多様性が高まる傾向もあり、研究者自身も知識崩壊が現在進行中だとは結論づけていません。また検索結果の多様さが、正確さや有用さを必ず意味するわけでもありません。

評価したテーマや質問、検索エンジンの順位付けによって数値は変わり得ます。

世間の反応

AIを要約の入口に使い、重要な判断では複数の一次資料や異なる立場を確認する習慣が大切です。開発側には正確性だけでなく、情報の多様性を測る設計が求められます。

おもせかの一言

答えが速いほど、見えなくなった別の答えがないか振り返る必要がありそうです。

出典