핵심 개념
본 논문에서는 bias label 없이 spurious correlation을 완화하는 새로운 학습 방법인 DPR(Disagreement Probability based Resampling)을 제안합니다. DPR은 bias model의 예측과 실제 label 간의 불일치 확률을 활용하여 bias-conflicting sample을 식별하고 upsampling하여 모델의 spurious correlation에 대한 의존도를 줄입니다.
초록
DPR: Disagreement Probability based Resampling for Debiasing
본 논문은 bias label 없이 spurious correlation을 완화하는 새로운 방법인 DPR(Disagreement Probability based Resampling)을 제안하는 연구 논문입니다.
기계 학습 모델은 학습 데이터 내 spurious correlation으로 인해 특정 데이터 그룹에서 성능이 저하되는 문제가 발생합니다. 본 연구는 bias label 없이 모델의 spurious correlation에 대한 의존도를 줄여 일반화 성능을 향상시키는 것을 목표로 합니다.
DPR은 bias model의 예측과 실제 label 간의 불일치 확률을 활용하여 bias-conflicting sample을 식별하고 upsampling하는 방법을 사용합니다.
Bias Model 학습: 먼저, Generalized Cross-Entropy (GCE) loss를 사용하여 bias model을 학습시킵니다. GCE loss는 bias-aligned sample에 대한 예측 확률을 높여 모델의 bias를 증폭시키는 역할을 합니다.
Disagreement Probability 계산: 학습된 bias model을 사용하여 각 학습 데이터에 대한 disagreement probability를 계산합니다. Disagreement probability는 target label과 bias model의 예측 사이의 불일치 정도를 나타냅니다.
Bias-Conflicting Sample Upsampling: Disagreement probability가 높은 샘플, 즉 bias-conflicting sample을 upsampling하여 학습 데이터의 분포를 조정합니다.
Debiased Model 학습: Upsampling된 데이터를 사용하여 cross-entropy loss로 debiased model을 학습시킵니다.