生成AIを「文字単位」に改造、通常の1%未満の学習で性能を維持

生成AIを「文字単位」に改造、通常の1%未満の学習で性能を維持
Illustration: LMU Munich

生成AIは文章を読めても、実は一文字ずつ見ているとは限りません。多くの大規模言語モデルは単語や単語の断片に分けて処理するため、綴りを逆から読むような文字単位の課題を苦手とします。

国際研究チームは、学習済みモデルをバイト単位で読むモデルへ改造する「バイト化」を開発しました。一般的な事前学習量の1%未満で、元の能力をおおむね維持しつつ文字理解を改善しました。

文字列を処理する生成AIのイメージ
Illustration: LMU Munich

一から学び直さず、読み口を付け替える

従来のLLMは、たとえば「LMU München」を複数のトークンへ分割します。効率は良いものの、文字そのものの並びが重要な綴り、プログラムコード、DNA配列などでは情報を扱いにくい場合があります。

新手法は、既存モデルの中心部分を生かしながら、バイト列をまとめる局所エンコーダーと、出力をバイトへ戻すデコーダーなどを追加します。Qwen、Llama、OLMoを基にした複数の1B~8B級モデルを変換し、同規模の既存バイト型モデルを上回りました。

7Bモデルでは、比較対象のバイト型モデルに対してSTEM課題が絶対値で16.5ポイント改善。文字理解や一部のコード課題で元モデルを上回り、推論速度も実用的な範囲へ近づきました。

1%未満でも「小さな学習」ではない

1%未満とは、大規模モデルを通常どおり事前学習する場合との比較です。実際には2段階で合計491億トークンを使っており、一般の開発者が手軽に再現できる計算量とは限りません。

評価は研究用ベンチマークが中心で、会話サービス全体の正確性、安全性、幻覚が改善したことを意味しません。元モデルの知識や偏りを引き継ぐ可能性もあり、日本語を含む多言語の実利用での検証が必要です。

世間の反応

モデルを巨大化する競争だけでなく、既存モデルの「読み方」を付け替える研究です。コードや生物配列、多言語処理など、一文字の違いが意味を変える分野で特に注目されます。

おもせかの一言

AIは語彙を増やす前に、文字を一つずつ見る目を手に入れました。

出典