self-attention 이해하기 썸네일형 리스트형 Transformer 모델의 원리와 응용 🔍 서론: 딥러닝의 진화와 Transformer의 등장자연어 처리(NLP)는 오랫동안 RNN(Recurrent Neural Networks)과 LSTM(Long Short-Term Memory) 같은 순차 모델에 의존해 왔습니다. 하지만 이러한 구조는 긴 문장 처리에 한계가 있었고, 병렬화가 어렵다는 문제점도 존재했습니다.이러한 한계를 극복하기 위해 2017년 구글이 발표한 논문 **“Attention is All You Need”**에서 소개된 Transformer 모델은 자연어 처리 분야뿐 아니라 컴퓨터 비전, 음성 인식 등 다양한 인공지능 분야에서 혁신을 불러일으켰습니다. 지금 우리가 사용하는 BERT, GPT, T5, ViT 등 대부분의 최신 딥러닝 모델은 Transformer 구조를 기반으로 .. 더보기 이전 1 다음
