시각장애인과 비시각장애인 모두 즐길 수 있는 소리와 핸드트래킹 기술을 이용한 게임
서울여자대학교 프로젝트종합설계 수업에서 진행한 소프트웨어융합학과 졸업 프로젝트입니다.
https://github.com/Yeon09a/SoundCatch
게임 소개
'SoundCatch'는 별도 보조기기 및 프로그램을 사용하지 않아도 시각장애인이 비시각장애인과 가능한 동일한 플레이를 경험할 수 있는 게임입니다.
핸드트래킹 기술과 오디오 중심 플레이를 제공하여 게임 자체 접근성을 향상하고, 시각장애인과 비시각장애인의 문화 격차 해소, 공감대 형성을 프로젝트 목적으로 하고 있습니다.
https://www.youtube.com/watch?v=lwgDjd2JFuY
사용 기술
- Unity 2022.3.11f1 : 팀원 모두 Unity를 사용해 본 경험이 있으며, 높은 퀄리티의 그래픽을 요구하지 않는 게임이므로 Unity를 채택하였습니다.
- Python CVZone, OpenCV, Mediapipe : 카메라를 활용하여 손을 인식하기 위 OpenCV, Mediapipe 라이브러리를 사용하였습니다. 또한 CVZone 라이브러리에서 손 동작, 손 인식을 간편하게 할 수 있는 클래스를 제공해 CVZone 라이브러리를 사용하였습니다.
- Google Teachable Machine : 이미지 분류 머신러닝 모델을 쉽게 배우고 활용할 수 있으며, 제작한 모델을 파이썬에서 사용하는 레퍼런스가 많아 채택하였습니다.
게임 구조
게임 Scene 구조
수행업무
프로젝트 팀원은 3명으로 그 중 개발에 참여하여 다음과 같은 부분을 담당하였습니다.