트랜스포머

트랜스포머(Transformer)는 2017년 구글이 "Attention Is All You Need" 논문에서 발표한 딥러닝 아키텍처입니다. 기존의 RNN, LSTM과 달리 셀프 어텐션(Self-Attention) 메커니즘을 사용하여 입력 시퀀스의 모든 위치를 동시에 처리할 수 있습니다. 이로 인해 병렬 처리가 가능해져 학습 속도가 크게 향상되었고, 긴 텍스트의 문맥도 효과적으로 파악할 수 있게 되었습니다. GPT, BERT, Claude 등 현대 대부분의 LLM은 트랜스포머 아키텍처를 기반으로 합니다.