TASK #71
완료됨
마일스톤 #67: 1. 2023년 겨울 인턴십
[충대 근로] [AI 파트] 2. Data Augmentation R&D
정중은이(가) 약 2년 전에 추가함. 일년 이상 전에 수정됨.
100%
설명
< 개요 >
현장에 설치된 센서로 데이터 수집하는 데이터 중 특정 군의(결빙 노면) 한계를 극복하기 위해,
다른 분류 종과 혼동되지 않는 범위에서 데이터의 변화/다양성을 가질 수 있도록 데이터 변형 기술 연구 개발
주차 별 연구 진행 사항은 댓글로 보고
권현준이(가) 약 2년 전에 변경
2주차 진행 사항(2024.01.08~2024.01.12)
RX 데이터 분석 진행
- 20231106 ~ 20231225 Daily DB 데이터 활용
- 20220428_000_41P0S1R1AX_1
- 20220826_001_40P0S0R0A0_0
- 20221109_001_40P0S1R1A0_0
- 20230216_003_40P0S1R1AX_0 센서 4대에 대해, RX 임의구간 데이터 평균, 최대, 최소의 분포를 scatter plot으로 확인 완료
- 전체 센서의 노면에 따른 평균 분포를 scatter plot으로 확인 완료
- 노면 분류 별 상관관계 파악을 위한 학습 진행
저장 경로: Z:\DB4intern\2023 겨울 인턴십_송민경\Data Augmentation R&D
권현준이(가) 약 2년 전에 변경
- 진척도을(를) 20에서 30(으)로 변경되었습니다.
3주차 진행 사항(2024.01.15~2024.01.19)
RX 데이터 상관관계 파악 진행
20231106 ~ 20231225 Daily DB 데이터 활용
20220428_000_41P0S1R1AX_1
20220826_001_40P0S0R0A0_0
20221109_001_40P0S1R1A0_0
20230216_003_40P0S1R1AX_0 센서 4대에 대해 노면에 따른 상관관계 파악 진행
dry
Batch 범위: 79-102, Mean 최솟값: 2050, 상관 계수: 0.4553
Batch 범위: 77-105, Mean 최댓값: 2033.220, 상관 계수: -0.5507
wet
Batch 범위: 66-101, Mean 최솟값: 2050.1, 상관 계수: 0.50077
Batch 범위: 75-106, Mean 최댓값: 2033.4, 상관 계수: -0.58707
저장 경로: Z:\DB4intern\2023 겨울 인턴십_송민경\Data Augmentation R&D
권현준이(가) 약 2년 전에 변경
- 진척도을(를) 30에서 50(으)로 변경되었습니다.
4주차 진행 사항(2024.01.22~2024.01.26)
RX 데이터 상관관계 파악 진행
20231106 ~ 20240118 Daily DB 데이터 활용
20220428_000_41P0S1R1AX_1
20220826_001_40P0S0R0A0_0
20221109_001_40P0S1R1A0_0
20230216_003_40P0S1R1AX_0 센서 4대에 대해 노면에 따른 상관관계 파악 진행
데이터 전처리
각 센서의 노면 별로 100개의 json 파일을 임의 추출
40,000개의 rx 데이터 중 27,000부터 32,000까지 5,000개의 rx 데이터만을 추출
상관관계 분석
추출된 데이터를 기반으로 센서 별로 노면의 rx 데이터 상관관계 분석
노면 당 100개의 파일 간 상관관계를 파악 (1개의 파일이 5,000개의 rx 데이터 포함)
상관관계 파악을 위한 지표로 Pearson 상관계수를 이용
결과: 상관계수 모두 0.1 미만, 동일한 노면 분류에서의 rx 데이터 간 유의미한 상관관계 X
저장 경로: Z:\DB4intern\2023 겨울 인턴십_송민경\Data Augmentation R&D
권현준이(가) 약 2년 전에 변경
- 진척도을(를) 50에서 70(으)로 변경되었습니다.
5주차 진행 사항(2024.01.29~2024.02.02)
RX 데이터 상관관계 파악 진행
20231106 ~ 20231231 Daily DB 데이터 활용
20220428_000_41P0S1R1AX_1
20220826_001_40P0S0R0A0_0
20221109_001_40P0S1R1A0_0
20230216_003_40P0S1R1AX_0 센서 4대에 대해 노면에 따른 상관관계 파악 진행
데이터 전처리
각 센서의 노면 및 기상 분류가 동일한 json 파일 추출 (dry_clear, humid_snowy 등)
40,000개의 rx 데이터 중 27,000부터 32,000까지 5,000개의 rx 데이터만을 추출
상관관계 분석
추출된 데이터를 기반으로 센서 별로 동일 노면, 동일 기상 간의 rx 데이터 상관관계 분석
combination으로 선택된 2개의 파일에 대해 상관관계를 파악
(correlation = data1['rx'].corr(data2['rx']))
상관관계 파악을 위한 지표로 Pearson 상관계수를 이용
상관계수 0.95 이상인 파일(csv) 정리 진행
20220428_000_41P0S1R1AX_1 센서 dry_clear: 625, humid_clear: 459, humid_rainy 57, humid_snowy: 2, wet_clear: 74, wet_rainy: 468, wet_snowy: 35
20220826_001_40P0S0R0A0_0 센서 dry_rainy: 2, humid_clear: 249, humid_rainy: 131, humid_snowy: 41, wet_clear: 100, wet_snowy: 6
저장 경로: Z:\DB4intern\2023 겨울 인턴십_송민경\Data Augmentation R&D
권현준이(가) 약 2년 전에 변경
- 진척도을(를) 70에서 90(으)로 변경되었습니다.
6주차 진행 사항(2024.02.05~2024.02.08)
RX 데이터 상관관계 파악 진행
20231106 ~ 20231231 Daily DB 데이터 활용
20220428_000_41P0S1R1AX_1
20220826_001_40P0S0R0A0_0
20221109_001_40P0S1R1A0_0
20230216_003_40P0S1R1AX_0 센서 4대에 대해 노면에 따른 상관관계 파악 진행
상관계수 0.98 이상인 파일(csv) 정리 완료
20220428_000_41P0S1R1AX_1 센서 dry_clear: 74, humid_clear: 114, humid_rainy 18, wet_clear: 12, wet_rainy: 67, wet_snowy: 4
20220826_001_40P0S0R0A0_0 센서 dry_clear: 2,274, humid_clear: 100, humid_rainy: 112, humid_snowy: 13, wet_clear: 54, wet_rainy: 539, wet_snowy: 2
20221109_001_40P0S1R1A0_0 센서 dry_clear: 1,309, humid_clear: 55, humid_rainy: 15, humid_snowy: 4, wet_clear: 92, wet_rainy: 323, wet_snowy: 84
20230216_003_40P0S1R1AX_0 센서 dry_clear: 365, humid_clear: 4, humid_snowy 2, wet_rainy: 42
서로 다른 노면 간 상관계수 분석 완료: 상관관계분석_2차(미완).docx
패턴화를 위한 상관관계 히트맵 파악 완료: 노면간상관계수.txt
저장 경로: Z:\DB4intern\2023 겨울 인턴십_송민경\Data Augmentation R&D
권현준이(가) 일년 이상 전에 변경
- 진척도을(를) 90에서 100(으)로 변경되었습니다.
7주차 진행 사항(2024.02.13~2024.02.16)
RX 데이터 상관관계 파악 진행
20231106 ~ 20231231 Daily DB 데이터 활용
20220428_000_41P0S1R1AX_1
20220826_001_40P0S0R0A0_0
20221109_001_40P0S1R1A0_0
20230216_003_40P0S1R1AX_0 센서 4대에 대해 노면에 따른 상관관계 파악 완료
서로 다른 노면 및 동일 노면 분류 간 상관계수 0.9 이상, 0.98 이상 정리 완료
동일 노면에서 상관관계에 따른 패턴화 진행: 상관관계분석_2차.docx
저장 경로: Z:\DB4intern\2023 겨울 인턴십_송민경\Data Augmentation R&D
권현준이(가) 일년 이상 전에 변경
- 상태을(를) 진행에서 완료(으)로 변경되었습니다.
보고서 및 csv 파일(raw data 정리): C:\Users\intern2024\Desktop\correl
Z:\DB4intern\2023 겨울 인턴십_송민경\Data Augmentation R&D
상관관계 분석 코드: C:\Users\intern2024\Desktop\DailyDB가이드\DailyDB가이드\data_corr_R&D
0,98correl.ipynb: 동일 노면에 대해 상관계수 0.98 이상인 파일명 출력 -> dry_clear0.98.txt 와 같이 텍스트 파일로 저장해놓음
text_sorting.ipynb: 1에서 나온 dry_clear0.98.txt 에 대해 상관계수 높은 순으로 정렬
text_to_folder.ipynb: dry_clear0.98.txt에 적힌 파일들을 새로운 폴더로 복사
different_class.ipynb: 서로 다른 노면 간 상관계수 히트맵 확인 (ex. dry1-humid1 간 상관관계)
same_class.ipynb: 동일 노면 간 상관계수 히트맵 확인 (ex. dry1-dry2 간 상관관계)
correl, correl2.ipynb: 단순 파일 이동 및 csv 파일 정리