Attention Is All You Need

Title: Attention Is All You Need

Authors: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

Published: Jun 12 2017

Link: https://arxiv.org/abs/1706.03762

Summary（Microsoft Copilotにより生成）：

導入：

• この論文は、再帰や畳み込みを必要とせず、注意メカニズムのみに基づく新しいニューラルネットワークアーキテクチャであるTransformerを紹介しています。

課題：

• 従来のシーケンストランスダクションモデルは再帰型または畳み込みニューラルネットワークに依存しており、並列化が困難で学習に時間がかかります。

手法：

• Transformerはエンコーダーとデコーダーの両方にマルチヘッド自己注意とポイントワイズ全結合層を使用します。

新規性：

• このモデルは機械翻訳タスクで優れたパフォーマンスを達成し、大幅に並列化可能であり、学習時間を短縮します。

結果：

• WMT 2014英語-ドイツ語タスクで28.4 BLEU、英語-フランス語タスクで41.8 BLEUを達成しました。

パフォーマンス：

• アンサンブルを含む以前の最先端モデルを、学習コストのほんの一部で上回ります。

制限事項：

• この論文では具体的な制限事項については議論されておらず、Transformerモデルの利点に焦点を当てています。

考察：

• Transformerは英語構文解析などの他のタスクにもよく汎化し、様々な領域での将来の応用に期待が持てます。