Ridge & Lasso (리지, 라소)

Ridge와 Lasso 규제화에 대해 이해한 바를 간단하게 정리해 놓고자 한다.

먼저 리지와 라소는 모형의 과대적합이 의심되는 경우에 사용된다.

 

1. Ridge

리지 규제화 (L2 규제화)의 기본 형식은 아래와 같다. 이 때, l(w)은 손실함수이며 wj 는 특성변수 x에 대한 가중치이다. 

중요하게 보아야 할 것은 lambda 이다. lambda는 규제의 강도(regularization strength)를 나타내는 초모수이다. 

 

만일 lambda 가 크다면:

= 원이 작아진다

= w값이 작아진다

= 가중치가 작아진다

= 규제화의 정도가 낮아진다 (weight에 대한 restriction이 낮아진다)

= 모형을 원래대로 살려놓는다.

 

Lasso와 다른 점은, wj가 0에 가까워질 수는 있지만 정확히 0의 값을 가질 수는 없다는 것이다.

 

2. Lasso

라소 규제화 (L1 규제화)의 기본 형식은 아래와 같다.

가중치가 제곱의 형태가 아니라 절댓값의 형태라는 점에서 리지와 차이가 있다.

라소에서는 가중치를 0으로 만들어줄 수 있다는 특징이 있다.

즉, lambda를 크게 만들면 사각형이 원점으로 점점 작아지게 되어 덜 가파른 순으로 wj를 0으로 만든다.

따라서 lamda가 커질수록 wj가 0인 개수가 증가한다고 할 수 있다.

그러므로 이는 통계학에서 모수가 0인지 검정하는 것과 거의 동일하다고 할 수 있다.

다만, 특정 모수를 0으로 만들기 위해서 다른 모수까지 0으로 접근시키는 것은 문제가 있을 수 있다. 

 

---

이를 logistic regression에 적용시켜 본다면,

Lasso 에서 lambda가 커질수록 0이 되는 계수가 많아진다.