- 고급 피처 엔지니어링: 데이터에 숨겨진 '습관'과 '경향성'을 명시적인 피처로 추출합니다.
- 어텐션(Attention) 메커니즘: 순차 데이터(seq)의 핵심 정보를 더욱 스마트하게 포착하도록 딥러닝 모델을 업그레이드합니다.
- 하이브리드 앙상블 (NN + LightGBM): 순차 데이터와 임베딩에 강한 딥러닝 모델과, 통계/정형 피처에 압도적인 성능을 보이는 LightGBM 모델을 함께 사용하여 서로의 약점을 보완합니다.
✨ 핵심 개념 설명: 전문가의 무기
1. 고급 피처 엔지니어링: 통계적 집계 (Aggregation)
- 의미: 단순히 주어진 피처만 사용하는 것을 넘어, 특정 기준(예: 광고 ID)으로 데이터를 그룹화하여 **통계값(평균, 개수, 고유값 개수 등)**을 계산하고 이를 새로운 피처로 활용하는 기법입니다.
- 왜 강력한가?: 이 방법은 데이터에 잠재된 **'경향성'**을 명시적으로 드러냅니다.
- 예를 들어, "이 광고(
inventory_id)는 평균적으로 어떤 시간대에 많이 클릭되는가?" 또는 "이 광고는 총 몇 번이나 노출되었는가?" 와 같은 정보는 모델이 특정 광고의 인기도나 특성을 파악하는 데 매우 강력한 단서가 됩니다.
- 이는 모델이 스스로 학습하기 어려운 '관계'를 우리가 직접 계산해서 알려주는 것과 같아, 예측 성능에 결정적인 영향을 미칩니다.
2. 어텐션 메커니즘 (Attention Mechanism)
- 기존 LSTM의 한계: LSTM은 순차 데이터의 정보를 마지막 은닉 상태(hidden state)라는 하나의 고정된 크기 벡터에 모두 압축해야 합니다. 시퀀스가 길어질수록 초반의 중요한 정보가 소실될 수 있는 정보 병목(Information Bottleneck) 현상이 발생합니다.
- 어텐션의 해결책: 마지막 정보만 사용하는 대신, 예측이 필요한 시점에 시퀀스의 모든 스텝을 다시 한번 둘러보고, 현재 예측과 가장 관련이 깊은 스텝에 더 높은 가중치(Attention Score)를 부여하여 정보를 종합합니다.
- 마치 우리가 긴 문장을 읽고 질문에 답할 때, 질문과 관련된 핵심 단어에 더 집중해서 다시 읽는 것과 같은 원리입니다.
- 효과: 정보 병목 현상을 해결하고, 시퀀스 내의 핵심적인 상호작용을 포착하여 모델의 성능을 한 단계 끌어올립니다.
3. 하이브리드 앙상블 (Hybrid Ensemble)
- "서로 다른 시각을 가진 전문가 팀":
- 신경망 (NN) 모델: 임베딩을 통해 범주형 데이터의 잠재적인 관계를 학습하고, LSTM/Attention으로 순차 데이터의 맥락을 파악하는 데 특화된 '관계 분석 전문가'입니다.
- LightGBM (LGBM): 결정 트리(Decision Tree) 기반의 부스팅 모델로, 수치형/통계적 피처들의 명시적인 상호작용과 조건을 매우 정교하고 빠르게 학습하는 '규칙 발견 전문가'입니다.
- 시너지: 신경망이 놓칠 수 있는 데이터의 규칙을 LGBM이 잡아내고, LGBM이 파악하기 힘든 순차적 맥락과 잠재적 관계는 신경망이 보완합니다. 이 두 전문가의 예측을 종합(앙상블)하면, 단일 모델로는 도달하기 어려운 더 강건하고 정확한 예측이 가능해집니다.