- Query (Q):
- 질의(쿼리)는 주로 현재 디코더의 타임 스텝에 해당하는 정보를 포함하고 있습니다.
- 쿼리는 인코더의 모든 key와 비교되어 어텐션 스코어를 생성합니다.
- 이 스코어는 인코더의 어느 부분이 현재 디코더의 타임 스텝에 가장 관련이 있는지를 결정하는 데 사용됩니다.
- Key (K):
- 키는 인코더의 각 타임 스텝에 대한 정보를 포함하고 있습니다.
- 쿼리와 비교되어 어텐션 스코어를 생성하는 데 사용됩니다.
- 쿼리와 키의 유사도는 어텐션 스코어를 결정하는 데 중요한 역할을 합니다.
- Value (V):
- 값은 인코더의 각 타임스텝에 대한 실제 정보를 포함하고 있습니다.
- 어텐션 스코어와 함께 가중 평균을 구하는 데 사용되어, 가중된 합을 생성합니다.
- 최종적으로, 이 가중된 합은 디코더의 현재 타임스텝에 대한 출력을 생성하는 데 사용됩니다.
간단히 말하면, 쿼리는 "무엇을 찾고 있는가?"에 대한 정보를 포함하며, 키는 "어디에서 찾아야 하는가?"에 대한 정보를 포함합니다. 값은 "찾았을 때 어떤 정보를 가져와야 하는가?"에 대한 정보를 포함합니다. 이 세 가지 구성 요소를 통해 어텐션 메커니즘은 입력 시퀀스의 중요한 부분에 초점을 맞추고 그 정보를 디코더에 전달하는 역할을 합니다.
'MLDL_정리 > 용어, 메모장' 카테고리의 다른 글
| Data Mining - Association Rules (0) | 2023.11.05 |
|---|---|
| Bias recipe for machine learning (0) | 2023.11.01 |
| Bias and Variance - Tradeoff (0) | 2023.11.01 |
| Graph Model - Transductive, Inductive (1) | 2023.10.29 |
| Conditioning (0) | 2023.10.29 |