ice rabbit programming

지난 글에서 앙상블 중 Bagging까지 정리했었다. 앙상블 - 부스팅(Boosting) 부스팅은 여러 개의 약한 모델을 합쳐서 강한 모델을 만드는 기법이다. 랜덤 포레스트 알고리즘이 사용된다. 랜덤 포레스트는 입력 변수에 대해서 복원 추출을 하는 알고리즘으로, 의사 결정 트리와 Bagging 알고리즘이 결합된 형태이다. 여러 개의 나무(트리)로 숲을 생성하는 의미이다. 1. 데이터 SET에서 Bootstrap을 통해 N개의 훈련 데이터 SET을 생성한다. 2. 생성한 N개의 의사 결정 트리를 학습한다. 3. 학습된 트리들의 예측 결과값의 평균 또는 다수결 투표 방식으로 결합한다. 이러한 절차를 거치고, 변수의 중요성(어떤 변수가 중요한지)을 파악할 수 있고 과적합을 방지할 수 있다는 특징을 가진다. A..

의사 결정 트리(Decision Tree)는 복잡하고 이해하기 어려운 모델들을 시각적으로 쉽게 이해할 수 있도록 해준다. 이진 트리(Binary Tree)와 비슷한 컨셉으로 생각하면 되는데, root node부터 출발해서 질문에 따라 분기되어 terminal node까지 연결된다. root node에는 모든 데이터가, terminal node에는 예측값이 들어 있다. 의사 결정 트리는 회귀, 분류 모두에 적용이 가능하다. 의사 결정 트리 - 회귀 위에서 아래로 갈수록 데이터의 구역을 나눈다. 특정 구역에 데이터가 있으면, 그 데이터의 예측값은 해당 구역의 평균값이 된다. 구역은 RSS(데이터 실제값과 예측값의 오차 제곱의 합)가 최소화 되는 구역을 선택 위에서부터 내려오면서 순간마다 최선의 선택(Gree..