pre-training (1) 썸네일형 리스트형 [NLP] 자연어 처리: 트랜스포머 [기초] 자연어 처리는 컴퓨터가 인간의 언어를 이해하고 생성하는 분야로, 다양한 기술과 모델이 사용됩니다. 이 글에서는 자연어 처리에서 주로 사용되는 접근법과 모델 중에서 Autoencoding, Autoregressive, 시퀀스 투 시퀀스 모델, 그리고 트랜스포머에 대해 다뤄보겠습니다. 1. Autoencoding vs. Autoregressive - Autoencoding: 입력 데이터를 압축하여 의미 있는 표현을 학습하는 방식입니다. 인코더와 디코더로 구성되며, 데이터의 특징을 추출하고 잡음 제거, 차원 축소 등에 활용됩니다. - Autoregressive: 시퀀스 데이터를 이전 타임스텝의 정보를 활용하여 다음 타임스텝을 예측하는 방법입니다. 주로 시퀀스 생성 작업에 활용되며, 번역이나 음성 합성에서 사용.. 이전 1 다음
