REF.
https://github.com/shenweichen/DeepCTR-Torch
https://www.ijcai.org/proceedings/2017/0239.pdf
https://www.kaggle.com/code/pavansanagapati/ad-ctr-prediction-with-din-model/notebook
https://www.kaggle.com/code/akishen74/ctr-practice
https://www.kaggle.com/code/siavrez/deepfm-model
대회에서 활용할 수 있는 주요 모델들은 피처(Feature) 간의 상호작용(Interaction)을 얼마나 효과적이고 자동화된 방식으로 학습하는지에 따라 발전해왔습니다.
| 모델 계열 | 핵심 아이디어 | 피처 상호작용 학습 방식 |
|---|---|---|
| Factorization Machines (FM) 계열 | 각 피처를 저차원의 잠재 벡터(Embedding)로 표현하고, 벡터 내적을 통해 2차 상호작용을 학습합니다. | 명시적, 2차 상호작용: 데이터가 희소해도 안정적으로 학습 가능합니다. |
| Wide & Deep 계열 | 선형 모델(Wide)의 '암기' 능력과 딥러닝 모델(Deep)의 '일반화' 능력을 결합합니다. | Wide: 수동으로 설계된 2차 상호작용. Deep: 딥러닝을 통한 암시적 고차원 상호작용. |
| DeepFM 계열 | Wide & Deep의 Wide 부분을 FM으로 대체하고, FM과 DNN이 피처 임베딩을 공유하여 효율성을 극대화합니다. | FM: 자동화된 2차 상호작용. Deep: 딥러닝을 통한 암시적 고차원 상호작용. |
| Deep & Cross (DCN) 계열 | Cross Network를 통해 특정 차수(bounded-degree)의 고차원 상호작용을 명시적이고 효율적으로 학습합니다. | Cross: 명시적, 자동화된 고차원 상호작용. Deep: 딥러닝을 통한 암시적 고차원 상호작용. |
| Deep Interest (DIN) 계열 | 어텐션 메커니즘을 사용해 사용자의 행동 이력 중 현재 광고와 관련된 부분에 집중하여 동적인 관심 벡터를 생성합니다. | 어텐션 기반: 후보 광고(Context)에 따라 동적으로 가중치가 부여되는 상호작용. |
대회 데이터의 피처가 익명화되어 있으므로, 수동 피처 엔지니어링의 의존도가 낮고 자동으로 피처 상호작용을 학습하는 모델이 유리합니다.
추천 모델: DeepFM