[프로그래머스 겨울방학 인공지능 과정] Transformer 이론 기초

기계번역 이론¶

1. RNN(Recurrent Neural Network¶

• RNN은 시퀀스의 길이와 관계없이 입력을 받아들일 수 있는 네트워크 구조
• RNN은 다양한 아키텍처를 가질 수 있다.
  • one to one ~ many to many
• RNN의 한계 : 토큰 사이의 거리가 먼 경우 연속적인 정보가 잘 전달되지 않을 수 있음

2. LSTM¶

• 핵심 아이디어 Gate
  • Forget gate : 정보를 잊게 만드는 gate
  • Input gate : 새로운 정보를 장기기억에 반영하는 역할
  • Cell state : forget gate와 input gate를 이용하여 업데이트하는 일종의 장기기억
  • output gate : 장기기억과 현재의 데이터를 이용해 단기기억(hidden state) 갱신

전통적 RNN 기반 번역 과정¶

• 전통적 RNN기반 기계 번역은 입력과 출력의 크기가 같다고 가정
• 인코더를 거쳐 context vector(문맥벡터)로 압축하여 추출한 후 디코더가 번역결과를 추론하는 방식을 사용한다.

Transformer¶

1. 딥러닝 기반 기계번역 발전 과정¶

• 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 운영됨.
• RNN의 한계 : context vector에 소스문장 정보를 압축하는 과정에서 병목현상이 발생, 성능 하락의 원인이 된다.
• 한계점 극복 방안 : 디코더가 context vector를 매번 참고할 수 있도록 구조를 변경
  • 다만, 여전히 context vector에 소스 문장을 압축해야 한다는 단점이 존재

1.1. Seq2Seq with Attention¶

• Seq2Seq 모델에 어텐션 매커니즘 사용
  • 디코더는 인코더의 모든 출력(outputs)을 참고한다
  • 디코더는 매번 인코더의 모든 출력 중 어떤 정보가 중요한지를 계산
  • 어텐션 가중치를 사용해 각 출력이 어떤 입력 정보를 참고했는지 알 수 있음

2. Transformer¶

• 트랜스포머는 RNN이나 CNN을 전혀 사용하지 않음
  • 바로 인코딩을 진행하여 위치정보를 알려주기 때문에, 순서를 알려주는 RNN을 사용할 필요가 없어진다.
  • 대신 Positional Encoding을 사용
• BERT와 같은 향상된 네트워크에서도 채택되고 있음
• 인코더와 디코더로 구성되며, Attention 과정을 여러 레이어에서 반복
  • 인코더와 디코더를 다수 사용하게 됨