- AI技術
LLMの仕組みとリスク
- LLM
Transformerアーキテクチャ
【エンジニア募集中】フルリモート可◎、売上/従業員数9年連続UP、平均残業8時間、有給取得率90％、年休124日以上 etc. 詳細はこちらから＞
現在のニューラルネットワークベースの大規模言語モデル（LLM）は、「Transformer（トランスフォーマー）」と呼ばれるアーキテクチャを採用しています。Transformerが画期的だったのは、文脈に大きく依存する人間の言語を高精度に扱えるようになったためです。つまり、単語の意味は周囲の単語によって変化することが多いのです。Transformerの中核には「自己注意機構（Self-Attention）」という数学的手法があり、これによりモデルは入力シーケンス内のすべての要素間の微妙な関係を同時に検出できます。入力全体にわたる文脈を重み付けして把握できるこの能力により、Transformerは従来の機械学習手法よりもはるかに高い精度で言語を理解することが可能になりました。
大規模言語モデルのセキュリティリスクと限界
■不正確な情報の生成
LLMは、自信に満ちた権威ある口調で回答しながらも、事実と異なる情報を出力することがあります。モデルには真偽を検証する仕組みが備わっていません。
■ハルシネーション（幻覚）
LLMは、存在しない事実・引用・データを完全に捏造することがあります。これは、モデルが正確性ではなく「もっともらしい文章の生成」に最適化されているために起こります。
■プロンプトインジェクション
LLMは、悪意ある入力（プロンプトインジェクション）によって悪用される可能性があります。巧妙に作られたテキストにより、モデルが指示を無視したり、機密情報を漏洩したり、有害な出力を生成するよう誘導されることがあります。
トークン化の仕組み
LLMがテキストを処理する前に、まずそのテキストを「トークン」と呼ばれる小さな単位に分割する必要があります。トークンは一つの単語全体、単語の一部、あるいは一文字の場合もあります。テキストがどのように分割されるかはモデルのトークナイザーによって異なり、その結果は必ずしも直感的ではありません。
■Hello world
|
1 |
Hello world → [Hello] [world] → 2トークン |
■こんにちは世界
|
1 |
こんにちは世界 → [こんにちは] [世界] → 2トークン |
■I don’t like rainy days ／ 雨の日が嫌いです
|
1 2 3 4 |
[英語] I don't like rainy days → [I] [don't] [like] [rainy] [days] → 5トークン [日本語] 雨の日が嫌いです → [雨] [の] [日] [が] [嫌] [い] [です] → 7トークン |
※ ほとんどのLLMは英語データを圧倒的に多く学習しているため、トークナイザーは英語に最適化されています。日本語のように学習データが少ない言語では、テキストがより細かく分割され、同じ意味でもトークン消費量が多くなります。
【エンジニア募集中】フルリモートも◎(リモート率85.7％)、平均残業8時間、年休124日以上、有給取得率90％ etc. 詳細はこちらから＞
