Transformerの注意機構を理解する

全てのトークンを同じ重みで扱わず、文脈上の関連性を計算する。

全てのトークンを同じ重みで扱わず、文脈上の関連性を計算する。

問題の要件では、注意機構は入力中の位置や語の関係に重みを付けて参照するが解決する範囲と、別の工程が担う範囲を分けて判断する。

自己注意を使う構造により、系列全体を扱いやすい。

自己注意を使う構造により、系列全体を扱いやすい。

問題の要件では、Transformerは再帰だけに依存せず、並列処理しやすい構造を持つが解決する範囲と、別の工程が担う範囲を分けて判断する。