[Machine Learning] 준지도 학습과 전이 학습
지금까지는 정답이 있는 지도 학습이나 정답이 없는 비지도 학습을 배웠다.
하나의 과업만 해결하면 되었고, 훈련 집합의 샘플은 모두 같은 도메인에서 수집된다.
현대에는 레이블이 있는 샘플과 없는 샘플이 섞인 상황이 많다. -> 준지도 학습
도메인이 다른 상황이 많다. -> 전이 학습
1. 표현 학습의 중요성
- 수작업 특징 : 다양한 특징 추출 알고리즘 중 어느 것이 우월한지를 평가하기 위해 추출된 특징
- 표현 학습 : 현대 기계 학습에서 최적의 특징을 자동으로 알아내 특징 추출과 분류를 동시에 최적화하는 접근 방식
표현 학습은 준지도 학습과 전이 학습을 위한 원리와 이론의 토대를 제공한다.
2. 내부 표현의 이해
내부 표현을 블랙박스로 간주하면 준지도 학습이나 전이 학습을 제대로 설계할 수 없다. 기계 학습 설계자는 내부 표현을 들여다보고 성능을 개선할 방향을 알아낸다.
컨볼루션 필터의 가시화
특징 맵의 가시화
특징 맵 : 필터를 적용하여 얻은 결과물
특징 맵마다 서로 다른 물체, 예를 들어 텍스트, 바퀴, 곷 등에 특화되어 반응한다.
영상공간으로 역투영
역투영 : 하나의 노드 또는 같은 층에 있는 여러 뉴런의 집합을 활성화하는 입력 신호, 즉 입력 공간에서의 영상 도는 영역을 찾아 보여주는 가시화 기법
역투영은 관찰하고자 하는 뉴런의 활성화 값을 최대화하는 문제로 공식화될 수 있다.
디컨볼루션을 이용한 역투영
3. 준지도 학습
연구가 많이 되는 이유가 실제로 맞딱뜨리게 되는 상황이다.
준지도 학습 : 레이블이 있는 데이터와 레이블이 없는 데이터가 훈련집합으로 구성되는 상황에서 이루어지는 학습
준지도 학습에서는 레이블이 없는 샘플이 레이블이 있는 샘플보다 훨씬 많다고 가정한다.
생성 모델
원하는 정확도 이상까지 밀도 추정할 수 있는 상황에 국한하여 적용해야 한다.
현대적 생성 모델
협동 학습
학습기 2개가 서로 가르쳐 주는 과정을 반복하면서 같이 발전하는 전략
그래프 방법
최소 분할 알고리즘 : 최소 분할선은 유사도가 작은 에지들로 구성되므로 데이터 분포가 회소한 곳을 두 부류의 분할 경계로 삼는다.