[Advanced ML & DL Week 5] Probablitic machine learning and artificial intelligence

작성자: 15기 박지우

 

0. introduction 

 

? 경험으로부터 기계가 어떻게 학습을 할 수 있을까? 

-> 확률적 모델링은 학습이 무엇인지 이해하기 위한 프레임 워크를 제공하여 경험을 통해 획득한 

데이터로부터 학습하는 시스템 설계를 위한 주요 이론 및 실제적 접근법의 하나로 주목받고 있다 

 

- 확률적 프로그래밍 

- 베이지안 최적화 

- 데이터 압축 및 자동 모델 발견 

 

? 불확실성 - 기계가 추론 모델을 사용하여 미래 데이터 예측할 수 있다 할 때 이 모든 것에서 근본적인 역할을 하는 것 

 

1. 확률적 모델링 및 불확실성 표현 

 

학습되지 않는 데이터에 대한 추론을 해야하는 모델은 각 모델의 특성에 맞게 몇 가지의 가정이 필요로 한다

-> 불확실성을 고려하여 적절히 정의도이어야 한다 

-> 어떤 민감한 모델도 비관측 데이터를 예측할 때 불확실하기 때문에 불확실성은 

    모델링에 있어 근본적 역할을 한다 

 

불확실성 -> 확률이론을 사용한다  -> 모델에서 불확실한 비관측 정량을 표현하기 위해 확률분포를 사용한다 

 

 

 

2. 비모수를 통한 유연성 

 

모델은 유연성을 위해 수많은 파라미터를 가질 수 있는데 -> 비모수 구성 요소를 사용하여 정의할 수 있다 

많은 비모수 모델은 모수 모델로부터 파생될 수 있는데 모델이 무한히 파라미터의 한계 증가에 따라

발생하는 것을 고려한다 -> 이렇게 과하게 적합된 모델은 오버피팅 결과 도출 

 

<-> 베이지안 접근법 이 경향이 없다 

 

ex) 가우시안 프로세스(회귀, 분류) / Dirichlet process(추정, 클러스터링, 시계열 분석 등) 

 

3. 확률적 프로그래밍 

 

= 확률 모델 표현을 위한 컴퓨터 프로그래밍의 사용 

잠재력: 관측 데이터 조건의 모델에서 미지의 관측 변수 추론하는 과정의 자동화로부터 온다 

자동화된 추론 (일관성 있는 프레임워크 구축하는 것 어렵기 때문에) 

-> 거의 베이지안 접근법을 사용한다 

 

확률적 프로그래밍이 기계 지능 및 과학적 모델링을 위한 혁신적인 이유

 

1) 범용 추론 엔진이 모델을 위해 수동적으로 추론 방법을 유도해야 하는 필요성을 배제한다 

 

2) 확률적 프로그래밍은 데이터의 다른 모델의 빠른 시제품화 및 테스트가 가능해야 하기 때문에 잠재적으로 

변형될 수 있어야 한다 

 

4. 베이지안 최적화 

 

: 미지 함수에서 전역적 최대값을 찾는 것 

최고의 성능을 보여주고 있는 전역적 최적화 방법들은 최적화된 함수에서 확률분포의 베이지안 표현을 유지하고 이런 불확실성을 다음 질의에서 x값을 결정하는 데 사용한다. 

미지의 함수를 최대화 하는 것이 목적 

-> 이 함수에 대한 정보는 관측값에 의해 획득되고 함수값에서 사후 분포를 추론하는데 사용된다. 

초록영역: 다른 데이터 포인트에서의 미지의 함수의 평가로부터 계산에 의해 구해진 함수 

이렇게 구해진 함수의 최고점(빨간선)이 다음 평가를 위한 최고의 포인트 

 

5. 데이터 압축 

 

이미 무손실 데이터 압축을 위한 방법들은 컴퓨터 하드 드라이버로부터 인터넷을 통한 데이터 전송까지 언제 어디서나 존재하는 기술이다 

 

- 압축과 확률적 모델링 간 연결 

 

베이지안 기계학습의 연결은 압축률을 더 높이는 데 확률적 모델이 더 잘 학습할 수 있도록 한다 

Sequence Memoizer, PPM과 같은 최고의 압축 알고리즘은 서열의 베이지안 비모수 모델과 동등하며, 압축의 향상은 서열의 통계적 구조 학습 방법의 이해를 통해 만들어질 수 있다 

 

6. 데이터로부터 해석 가능한 모델의 자동 발견 

 

데이터로부터의 통계적 모델의 학습 및 설명 프로세스의 자동화이다 

Automatic Statistician은 데이터로부터 타당한 모델을 자동적으로 발견하고 모델을 설명할 수 있는 시스템을 목표로 한다 

일반저긍로 기계학습 문제에서 설명된 방법들 (커널, 랜덤 포레스트 딥러닝) 과 같은 기술을 사용한 패턴 인식 문제의 성능 향상에 초점이 있는 것과는 대조적으로 

해석가능한 요소로 구성된 모델을 구축하고 모델 구조에 대한 불확실성 표현의 중요 방법을 가지고 있는 것이다. 

이는 데이터 셋의 크기와 상관없이 합리적인 답을 제공한다 

 

 

 

 

 

---

https://kosen.kr/info/kosen/REPORT_0000000000125

 

KOSEN - 확률적 기계학습 및 인공지능