범주형 피처와 임베딩
범주형 피처와 임베딩: 왜 필요하고 무엇을 의미하는가?
기계는 '남성', '여성' 또는 '월요일', '화요일' 같은 문자열 데이터를 직접 이해하지 못합니다. 그래서 우리는 보통 이런 범주(Category)들을 숫자로 바꿔줍니다. (예: 월요일=0, 화요일=1, ..., 일요일=6)
기존 방식(Label Encoding)의 문제점
LabelEncoder를 사용해 0, 1, 2, ... 와 같은 숫자로 바꾸는 것은 간단하지만, 심각한 문제가 있습니다. 모델은 이 숫자들을 크기나 순서가 있는 값으로 오해할 수 있습니다.
- 예를 들어, '일요일(6)'이 '월요일(0)'보다 6배 더 중요하다거나, '화요일(1)'과 '수요일(2)'의 관계가 '토요일(5)'과 '일요일(6)'의 관계와 같다고 잘못 학습할 수 있습니다.
- 즉, 범주 간의 실제적인 관계나 유사성을 전혀 표현하지 못합니다.
임베딩(Embedding)을 통한 해결 💡
- *임베딩(Embedding)**은 이 문제를 해결하기 위해 각 범주를 **저차원의 연속적인 벡터(Vector)**로 변환하는 기법입니다. '하나의 숫자'가 아닌 '숫자들이 모인 좌표'로 표현하는 것이죠.
- 의미: 임베딩은 각 범주(단어)를 '의미 공간(Semantic Space)'의 한 점으로 매핑(mapping)하는 과정입니다.
- 원리: 처음에는 각 범주에 대한 벡터값이 무작위로 초기화됩니다. 하지만 모델이 학습을 진행하면서, 비슷한 특성을 가진 범주들은 서로 **비슷한 벡터값(가까운 좌표)**을 갖도록 스스로 업데이트합니다.
- 예를 들어, 모델은 '월요일'과 '화요일'이 클릭 패턴에서 유사하다는 것을 학습하면서 두 벡터를 공간상에서 가까운 위치로 이동시킵니다. 반면, '토요일'과는 먼 위치에 두게 됩니다.
- 결과: 단순한 정수
[5]로 표현되던 '토요일'이, [0.12, -0.45, 0.88, ...] 와 같은 풍부한 정보를 담은 벡터로 표현됩니다. 이 벡터 자체가 '토요일'이 가진 속성(주말, 휴일 등)을 함축하게 됩니다.