(1, 1) AI 상용화 및 ML Ops (인프라)

AI 성능 모니터링 계획 초안 작성이 완료되었습니다.

노트 링크: https://note.mv-w.com/s/5ab7c2f3-f5de-4ab4-a938-27c26c6e7e49
노트 경로: 개발팀 -> 개발2팀 -> AI Part -> 인프라센서 AI -> 성능 모니터링 -> AI 상용화 및 ML Ops (인프라) -> 1. 배포된 AI 성능 모니터링 시스템 구축
저장 경로: Z:\DEV_AI\AI 상용화 및 ML Ops (인프라)\20240112초안\배포된 AI 성능 모니터링 시스템 구축.docx

1. 완료 업무에 대한 피드백 (정중은)

2. 배포된 AI 성능 모니터링 시스템 구축 피드백

3. 데이터 샘플링
   1) 연 중 모니터링 시스템 구축 필요
   　- 초안은 12월을 기준으로만 작성됨.
   　- 1월~12월까지 어떻게 샘플링 하겠다는 계획 필요

2) 맑은 날 AI에 대한 동작 검증 필요
　- 초안에서는 비 또는 눈 오는 날만 데이터를 수집함.
　- 맑은 날 데이터도 모으겠다는 계획 필요

3) 데이터 규모에 대한 상세 설명 필요
　- 분류 클래스 (3종, 또는 4종) 각 종별로 최소 테스트 수량은 보장되어야 함
　- 기기별로 최소 테스트 수량도 보장되어야 함
　- 각각에 대해 최소 수량을 확보하지 못했을 때 대안으로 어떻게 월별 테스트셋을 구성할 것인지 계획 필요

4) 샘플링 방법에 대한 설명 필요
　- "데이터 샘플링을 어떻게 하겠다" 가 "Daily DB 처럼" 이라면, Daily DB가 무엇인지에 대한 설명 필요

1. 정확도 측정 과목 1) 전체적인 정확도 퍼센티지에 대한 설명 필요 　- 전체적인 정확도 지표로 무엇을 보며, 어떤 조건일 때 어떻게 조치하겠다는 내용 필요

2) 클래스별 정확도 퍼센티지에 대한 설명 필요
　- 클래스별 정확도 지표로 무엇을 보며, 어떤 조건일 때 어떻게 조치하겠다는 내용 필요

1. 정확도 측정 지표 1) 추론 결과값과 라벨링 값 비교하는 방법에 대한 설명 필요 　- 어떻게 비교 확인할 것인지 계획 설명 필요

2) 추론 성공/실패 2가지로 나누는 것에 대한 설명 필요
　- 현재 AI 는 4분류로 준비되었을 것임 (Dry, Humid, Wet, Iced)
　- 각 클래스에 대한 성공/실패를 본다는 것은 각 클래스에 대해 Recall 만 보겠다는 것으로 보임

3) 평균의 함정에 주의한다는 것에 대한 설명 필요
　- 평균의 함정에 주의해서 평가한다는 것이 어떻게 작업하겠다는 것인지 설명 필요

전체적으로,

1. "배포된 AI 성능 모니터링" 업무를, 어떻게 수행하겠다는 계획이 필요 ``