アテンション機構とは文脈のどこに注目するかを計算する仕組み
アテンション機構は、文章中の各単語が他のどの単語にどれだけ注目すべきかを計算する仕組みです。Query・Key・Valueの考え方、セルフアテンション、マルチヘッド、計算量と長文対応の工夫、長い文脈でのLLMの挙動を整理します。
公的機関・公式資料などの一次情報と照合して作成しています。このサイトについて
アテンション機構とは
アテンション（attention、注意）機構は、入力の中で、今の処理にとってどの部分が重要かを、重みづけして取り出す仕組みです。Transformerの中心的な部品で、文脈を踏まえた言葉の理解を可能にしています（Transformerとは）。人間が文章を読むとき、「この代名詞は、前のどの語を指しているか」を無意識に探すのに似ています。
基本的な考え方
文章「猫は魚を食べた。それは新鮮だった。」で、「それ」が何を指すかを考えます。「それ」に対して、「猫」「魚」「食べた」などの各語がどれくらい関係しているかを数値化し、関係の強い語の情報を多く取り込む。この「関係の強さ（重み）」を計算して、情報を組み合わせるのがアテンションです。
Query・Key・Value
アテンションの計算は、「検索」に例えられることが多く、3つの要素で説明されます。
| 要素 | イメージ | 役割 |
|---|---|---|
| Query（クエリ） | 検索キーワード | 今注目している語が「何を探しているか」 |
| Key（キー） | 各文書の見出し | 各語が「どんな情報を持っているか」の目印 |
| Value（バリュー） | 各文書の中身 | 実際に取り出される情報 |
QueryとKeyの類似度を計算して重み（注目度）を決め、その重みでValueを合計します。これを入力の全ての語に対して行います。
セルフアテンション
同じ文章の中の語同士で関係を計算するものをセルフアテンションと呼びます。各語が、文章内のすべての語（または、それより前の語）を参照して、文脈を反映した新しい表現を作ります。これにより、離れた位置にある語同士の関係も、直接結びつけられます。
マルチヘッドアテンション
アテンションを複数並列に（複数の「ヘッド」で）計算する方式です。各ヘッドは、異なる観点（文法的な関係、意味的な関係、位置関係など）に注目するよう学習される傾向があるとされます。複数の観点の結果を組み合わせることで、豊かな表現が得られます。
生成時のアテンション（因果的マスク）
文章を生成するデコーダ型のモデルでは、まだ生成していない未来の語を見てはいけません。そのため、各語は、自分より前の語だけを参照する制約（因果的マスク）がかけられます。これにより、次の語を前から順に予測する学習と生成が成立します（大規模言語モデル（LLM）とは）。
計算量と長文への対応
セルフアテンションは、全ての語同士の組み合わせを計算するため、文章が長くなると計算量とメモリが大きく増えます。これが、扱える文脈の長さ（コンテキストウィンドウ）に制約を与えてきました。計算を効率化する工夫が、さまざまな形で研究・実装されています。
| 課題 | 工夫の方向性 |
|---|---|
| 計算量が大きい | 計算を効率化する実装や、近似的なアテンション |
| メモリが大きい | 過去の計算結果を再利用する仕組みの改良 |
| 長文で精度が落ちる | 長い文脈で訓練する、位置情報の扱いを改良する |
長い文脈でのLLMの挙動
長い入力を与えたとき、モデルが文脈の中のすべての情報を均等に使えるとは限りません。入力の中ほどにある情報が、先頭や末尾にある情報より参照されにくいことがある、という研究報告もあります（Liu et al., 2023「Lost in the Middle」）。そのため、重要な指示や情報は、入力の先頭や末尾に置く、必要な部分だけを渡すなどの工夫が役立ちます（長文を扱うプロンプト）。
アテンション機構のFAQ（よくある質問）
Q. アテンションは、人間の注意と同じですか？
A. 名前の由来にはなっていますが、仕組みは異なります。数学的な重みづけの計算です。
Q. アテンションの重みを見れば、AIの判断理由が分かりますか？
A. 手がかりにはなりますが、それだけで判断の理由を完全に説明できるわけではないとされています。
Q. なぜアテンションが重要なのですか？
A. 文脈全体を踏まえた柔軟な理解と、並列処理による効率的な学習を可能にしたためです。
日常のプロンプトに活かす3つのコツ
アテンションの考え方は、そのまま指示の書き方に応用できます。
- 重要な指示は、冒頭か末尾に書く：長い入力では、中ほどの情報が埋もれやすいためです。
- 関係のない情報を入れすぎない：不要な情報が多いと、注目すべき情報への重みが薄まることがあります。
- 区切りと見出しで構造を示す：資料の境目が明確だと、どの部分を参照すべきかが伝わりやすくなります。
こうした工夫は、モデルの仕組みに沿った、実用的な書き方です。
筆者の見解（アテンション機構）
アテンションの仕組みを知ると、「長い文章の途中の情報が見落とされることがある」「重要な指示は端に置くとよい」といった、実用上のコツに理由がつきます。細かな数式を追わなくても、「AIは文脈の中から、関係の強い部分を探して使っている」というイメージを持つだけで、プロンプトの書き方の質が変わってくると感じます。
アテンション機構の関連項目
出典（一次情報）
本記事は一般的な情報の提供を目的としています。AIのサービス・機能・料金・仕様は頻繁に更新されるため、最新の内容は各社の公式ドキュメントでご確認ください。「筆者の見解」は一つの考え方です。