(1, 1) AI 상용화 및 ML Ops (인프라)

AI 성능 모니터링 계획 초안으로부터 아래의 내용을 보완해주시길 바랍니다.

1. 데이터 샘플링 1) 연 중 모니터링 시스템 구축 필요 　- 초안은 12월을 기준으로만 작성됨. 　- 1월~12월까지 어떻게 샘플링 하겠다는 계획 필요

2) 맑은 날 AI에 대한 동작 검증 필요
　- 초안에서는 비 또는 눈 오는 날만 데이터를 수집함.
　- 맑은 날 데이터도 모으겠다는 계획 필요

3) 데이터 규모에 대한 상세 설명 필요
　- 분류 클래스 (3종, 또는 4종) 각 종별로 최소 테스트 수량은 보장되어야 함
　- 기기별로 최소 테스트 수량도 보장되어야 함
　- 각각에 대해 최소 수량을 확보하지 못했을 때 대안으로 어떻게 월별 테스트셋을 구성할 것인지 계획 필요

4) 샘플링 방법에 대한 설명 필요
　- "데이터 샘플링을 어떻게 하겠다" 가 "Daily DB 처럼" 이라면, Daily DB가 무엇인지에 대한 설명 필요

1. 정확도 측정 과목 1) 전체적인 정확도 퍼센티지에 대한 설명 필요 　- 전체적인 정확도 지표로 무엇을 보며, 어떤 조건일 때 어떻게 조치하겠다는 내용 필요

2) 클래스별 정확도 퍼센티지에 대한 설명 필요
　- 클래스별 정확도 지표로 무엇을 보며, 어떤 조건일 때 어떻게 조치하겠다는 내용 필요

1. 정확도 측정 지표 1) 추론 결과값과 라벨링 값 비교하는 방법에 대한 설명 필요 　- 어떻게 비교 확인할 것인지 계획 설명 필요

2) 추론 성공/실패 2가지로 나누는 것에 대한 설명 필요
　- 현재 AI 는 4분류로 준비되었을 것임 (Dry, Humid, Wet, Iced)
　- 각 클래스에 대한 성공/실패를 본다는 것은 각 클래스에 대해 Recall 만 보겠다는 것으로 보임

3) 평균의 함정에 주의한다는 것에 대한 설명 필요
　- 평균의 함정에 주의해서 평가한다는 것이 어떻게 작업하겠다는 것인지 설명 필요

전체적으로,

1. "배포된 AI 성능 모니터링" 업무를, 어떻게 수행하겠다는 계획이 필요