자기 지도 학습(Self-Supervised Learning, SSL)은 레이블 없는 데이터로부터 모델이 스스로 예측 과제(pretext task)를 만들어 학습하는 방법입니다. BERT의 마스크 언어 모델, GPT의 다음 토큰 예측, SimCLR의 대조 학습이 대표 예이며, 대규모 레이블 없는 데이터를 활용할 수 있어 파운데이션 모델 학습의 핵심 패러다임입니다. 레이블 비용 없이 풍부한 표현 학습이 가능합니다.
자기 지도 학습(Self-Supervised Learning, SSL)은 레이블 없는 데이터로부터 모델이 스스로 예측 과제(pretext task)를 만들어 학습하는 방법입니다. BERT의 마스크 언어 모델, GPT의 다음 토큰 예측, SimCLR의 대조 학습이 대표 예이며, 대규모 레이블 없는 데이터를 활용할 수 있어 파운데이션 모델 학습의 핵심 패러다임입니다. 레이블 비용 없이 풍부한 표현 학습이 가능합니다.