[LG Aimers 교육] Module.3 비지도학습

ㅇ 교수 : 서울대학교 이원종 교수 

ㅇ 학습목표 

- Machine Learning의 한 부류인 비지도학습(Unsupervised Learning)에 대한 기본 개념과 목표 또는 label이 없는 data set에서 통찰력을 찾는 방법을 배우게 됩니다. 

- 비지도학습을 위한 여러 clustering 및 차원 축소 알고리즘과 데이터에 가장 적합한 알고리즘을 선택하는 방법을 배우게 됩니다. 

전통기계학습과 딥러닝에서의 비지도학습

1. 전통기계학습에서의 비지도학습

 KMS K-means Clustering : 비슷한 특성을 가진 클러스터로 나눠서 각각 모으는 것

작은 디멘션에 있는 데이터만 가능, 개념이 간단

2. 딥러닝에서의 비지도학습

Feature engineering	Representation learning
사람이 함	기계가 함
도메인 지식과 창의성	딥러닝 지식과 코딩 스킬
브레인스토밍	시도와 오류

자연현상에 있는 데이터는 Feature engineering과 Representation learning을 같이 활용.

 

현대 비지도학습

고차원 데이터, 어려운 개념( 이해되지 않지만 매우 좋은 성능), 딥러닝

 

Representation

: 정보를 표현하는 방식

원하는 것 - 일반적인 정의와 평가 절차

현실 - 정의 없음 / Task와 독립된 평가 방법

 

Representation을 이해하는 2가지 관점 

1. Interpretable 

explainable (설명가능한) 

"알고리즘은 의미있는 정보의 분류를 인간의 신경망처럼 스스로 해낸다."

딥러닝 이론 연구 : Information Bottleneck

2. Intelligence without representation

 

최신딥러닝 기술의 예

DALL-E2 / Google : Imagen

Text가 길수록 잘 작동.

CLIP :이미지에 label을 붙이지 않음

label (개, 고양이,차) caption (두 사람이 바다에 안장있따.)

사람들이 캡션을 달지 않아도 된다.

CLIP은 4억쌍의 이미지와 캡션에 대해 학습함.

CLIP에는 두 개의 인코더(이미지, 텍스트)가 있음.

인코더는 캡션과 이미지를 'embeddings'라는 것으로 변환한다. (숫자의 벡터=긴 배열 이라고 생각)

이미지 벡터에 가장 가까운 텍스트벡터(또는 임베딩)을 찾음.

-> DALL-E에 대한 입력을 작성

텍스트의 임베딩(수학적 표현)->Prior모델을 통해 텍스트와 가까운 이미지(수학적표현)를 찾음->디코더를 통해 수학적 표현으로 되어있는 이미지를 실제 이미지로 변환함(디퓨전모델:prior model, 디코더 노이즈를 서서히 주면서 학습시키는 방식)