用語辞典に戻る
Attention Mechanism
アテンション機構(アテンションきこう)
上級Models & Architecture
出力を生成する際に、入力の最も関連性の高い部分にモデルが注目できるようにする技術。
なぜ重要か
アテンションはトランスフォーマーの核心技術であり、LLMが長文の文脈を理解することを可能にします。
実際の活用例
「川のそばの bank」を翻訳する際、アテンションが「river」に注目し、bankが金融機関ではなく川岸を意味することを理解する。
アテンション機構(アテンションきこう)
出力を生成する際に、入力の最も関連性の高い部分にモデルが注目できるようにする技術。
アテンションはトランスフォーマーの核心技術であり、LLMが長文の文脈を理解することを可能にします。
「川のそばの bank」を翻訳する際、アテンションが「river」に注目し、bankが金融機関ではなく川岸を意味することを理解する。