완료 업무에 대한 피드백 (정중은)
배포된 AI 성능 모니터링 시스템 구축 피드백
데이터 샘플링
1) 연 중 모니터링 시스템 구축 필요
- 초안은 12월을 기준으로만 작성됨.
- 1월~12월까지 어떻게 샘플링 하겠다는 계획 필요
2) 맑은 날 AI에 대한 동작 검증 필요
- 초안에서는 비 또는 눈 오는 날만 데이터를 수집함.
- 맑은 날 데이터도 모으겠다는 계획 필요
3) 데이터 규모에 대한 상세 설명 필요
- 분류 클래스 (3종, 또는 4종) 각 종별로 최소 테스트 수량은 보장되어야 함
- 기기별로 최소 테스트 수량도 보장되어야 함
- 각각에 대해 최소 수량을 확보하지 못했을 때 대안으로 어떻게 월별 테스트셋을 구성할 것인지 계획 필요
4) 샘플링 방법에 대한 설명 필요
- "데이터 샘플링을 어떻게 하겠다" 가 "Daily DB 처럼" 이라면, Daily DB가 무엇인지에 대한 설명 필요
- 정확도 측정 과목
1) 전체적인 정확도 퍼센티지에 대한 설명 필요
- 전체적인 정확도 지표로 무엇을 보며, 어떤 조건일 때 어떻게 조치하겠다는 내용 필요
2) 클래스별 정확도 퍼센티지에 대한 설명 필요
- 클래스별 정확도 지표로 무엇을 보며, 어떤 조건일 때 어떻게 조치하겠다는 내용 필요
- 정확도 측정 지표
1) 추론 결과값과 라벨링 값 비교하는 방법에 대한 설명 필요
- 어떻게 비교 확인할 것인지 계획 설명 필요
2) 추론 성공/실패 2가지로 나누는 것에 대한 설명 필요
- 현재 AI 는 4분류로 준비되었을 것임 (Dry, Humid, Wet, Iced)
- 각 클래스에 대한 성공/실패를 본다는 것은 각 클래스에 대해 Recall 만 보겠다는 것으로 보임
3) 평균의 함정에 주의한다는 것에 대한 설명 필요
- 평균의 함정에 주의해서 평가한다는 것이 어떻게 작업하겠다는 것인지 설명 필요
전체적으로,
- "배포된 AI 성능 모니터링" 업무를, 어떻게 수행하겠다는 계획이 필요 ``
