어텐션

문장에서 어느 부분이 중요한지 스스로 찾아내는 기능입니다.

모델이 문장을 읽을 때 모든 단어를 똑같이 보지 않고, 서로 관련 있는 단어끼리 연결해 봅니다. '동물은 가지를 먹었다'라는 문장에서 '동물'과 '가지'가 맞물리는 관계를 찾아내는 것이 어텐션입니다. 이 연결 강도를 계산하는 방식이 자연어 처리 성능의 대부분을 결정합니다.