게임봇(Game Bot) 탐지
예선
탐지 정확도 100%
본선
탐지 정확도 80% + 발표 점수 20%
탐지 정확도
정확도 측정을 위해 F1-score를 사용합니다.
카테고리 | 실제결과 | ||
Positive | Negative | ||
실험결과 | Positive | True Positive | False Positive |
Negative | False Negative | True Negative |
- True Positive는 실제 게임봇을 정확하게 예측한 상황을 의미함
- True Negative는 실제 일반유저를 정확하게 예측한 상황을 의미함
- False Positive는 실제 일반유저를 게임봇으로 예측한 상황을 의미함 (오탐)
- False Negative는 실제 게임봇을 일반유저로 예측한 상황을 의미함 (미탐)
\[ Precision = \frac{True Positive}{True Positive+False Positive} , \ Recall= \frac{True Positive}{True Positive+False Negative} \]
- Precision(정밀도)은 제안한 알고리즘이 게임봇으로 예측한 유저 중 실제로 게임봇인 비율을 나타냄
- Recall(재현율)은 실제로 게임봇인 유저 중 제안한 알고리즘이 게임봇으로 정확히 예측한 비율을 나타냄
\[ F1 \ score = 2 \times \frac{Precision \times Recall}{Precision + Recall} \]
- F1-Score는 Precision과 Recall의 조화평균으로, 클래스(일반유저, 게임봇) 분포가 불균형한 상황에서 성능을 합리적으로 평가할 수 있음