인코더 (1) 썸네일형 리스트형 [NLP] BERT와 GPT Transformer 아키텍처에서 BERT와 GPT는 각각 다른 방식으로 인코더와 디코더를 활용한 모델입니다. 이 둘을 분리해서 개발하거나 주로 한 가지만 사용하는 이유는 주로 해당 모델의 목적과 데이터 특성, 계산 비용 등에 기인합니다. BERT $($Bidirectional Encoder Representations from Transformers$)$: BERT는 인코더를 주요 구성 요소로 사용한 모델로, 양방향 언어 모델링을 통해 문맥을 이해하고 단어의 의미를 학습합니다. 따라서 문장에서 특정 단어를 예측하는 것뿐만 아니라 주변 문맥도 고려하여 임베딩합니다. 이러한 덕분에 BERT는 문장 내의 단어 순서와 문맥을 잘 파악하여 자연어 이해 작업에 우수한 성능을 보입니다. 주로 텍스트 분류, 문장 의.. 이전 1 다음
