안녕하세요. 최공이지팀입니다.

저희는 이번 변경 제6회 Creative Space G A.I & IoT 해커톤에서

실시간으로 들어오는 영상 분석 통해 공간별 “COVID-19 전파 위험도 추정” 소프트웨어를 개발하려 합니다.

< 그림 1 아이디어 회의>

COVID-19 의 전파 위험도 추정을 위해서는 위험도를 산출하는 기준이 필요했고,

그 기준은 보건복지부에서 정한 방역 수칙을 참고하여, “마스크 착용 여부”, “사람들 간의 거리”, “실내외 여부”로 정했습니다.

< 그림 2 > “생활 속 거리 두기–기본수칙” (출처 : 중앙사고수습본부)

따라서, 저희는 Mask, Person, Indoor/Outdoor 탐지를 기준으로, Deep learning 모델을 학습하려 합니다.

팀원 5명이 Mask, Person, Indoor/Outdoor 을 2명, 2명 1명으로 인원을 나누어, 개발에 도움이 될 만한 오픈소스와 데이터셋을 조사했습니다.

Mask 관련 오픈소스 및 데이터셋은 최근 COVID-19으로 인해 관련된 연구 및 자료가 많아서 순조롭게 찾을 수 있었습니다.

• https://github.com/vijayg15/Keras-FaceMask-Detection-System
• https://github.com/AkhilGKrishnan/Face-Mask-Detector
• https://dev.to/chandrikadeb7/face-mask-detection-my-major-project-3fj3

< 그림 3  프로젝트 진행과정 >

Person 과 관련된 오픈소스 및 데이터셋은 저희가 생각했던 밀집도에 관련된 자료보다는 People Count 쪽이 많았고,

사람들 간의 거리를 나타내는 자료를 찾는 데는 시간이 좀 걸렸습니다.

• https://github.com/poojavinod100/People-Counting-Crowd-Density-Detection
• https://github.com/NanoNets/nanonets-pedestrian-detection
• https://github.com/augmentedstartups/YOLOv4-Tutorials
• https://www.crowdhuman.org/

마지막으로 Indoor/Outdoor를 관련 자료를 조사했습니다. Indoor/Outdoor 만을 탐지해주는 model은 따로 찾지 못했고,

place recognition 후 그 반환 값 중에서 Indoor/Outdoor Label을 같이 반환하는 모델을 찾았습니다.

< 그림 4 > CSAILVision/places365 (출처 : https://github.com/CSAILVision/places365)

조사한 오픈소스들의 코드 내용 분석과 수집한 데이터셋을 토대로 Mask와 Person 데이터셋을 저희 모델에 맞게 Labeling 작업을 했습니다.

우선, 베이스 학습 모델은 응용이 쉽고 real-time에 적용하기에 적합한 Yolo version 4를 사용하기로 결정했습니다.

모델 학습을 최대한 빨리 진행 해야 추후 개발을 순조롭게 진행할 수 있는데, 이전에 얻어낸 dataset이

1. Labeled for Mask Conditions

2. Labeled for Person

두 가지 케이스로 나뉘어져 있었기 때문에 첫번째 dataset들은 Person에 대해 

두번째 dataset들은 face mask에 대해 추가적인 labeling 작업이 필요했습니다.

labeling tool을 이용하여 빠르게 저희에게 적합한 dataset을 구비하였습니다.

<그림 5 Yolo labeling tool 실행 화면>

모델 학습 완료 후 현재까지 작성한 프로그램에서 

저희가 사용할 4가지 classes(person, mask conditions(good, bad, none)에 대해

Object Detection이 정확하게 되는지 확인 후, 세부적인 알고리즘 작성을 진행했습니다.

<그림 6 학습된 Model  및 Scene Detection 적용 중>

새롭게 학습한 Model과 저희만의 알고리즘을 프로젝트에 적용하여, 다양한 환경의 Demo 영상들에 테스트해보았습니다.

<그림 7 프로젝트 Demo 화면>

< 소감 >

해커톤을 진행하면서 좋은 팀원들과 의미 있는 프로젝트를 진행할 수 있어서 좋았고,

최근 가장 이슈사항이었던 코로나를 주제로 도움이 될만한 프로젝트를 진행할 수 있어서 뜻깊었습니다.

또한 산출물이 도출되어서 향후 유사 프로젝트에 활용할 수 있을거 같습니다

어려운 환경에서도 팀원들이 서로 열심히 노력하여, 프로젝트를 무사히 마칠 수 있어 수고했다고 전해주고 싶습니다.

감사합니다!