저번 포스팅에서 인물의 수어 영상을 프레임별 관절 좌표를 추출한 json파일로 변환 후 DB에 저장하였다.https://bes99.tistory.com/73 [Mediapipe] 프레임별 인물의 관절 좌표 추출하기음성을 수어 영상으로 번역하는 기능 (Speech2Sign) 개발 중 DB에 저장된 수어 영상을 프레임별 키포인트로 변환하는 작업이 필요하여 파이썬의 Mediapipe 기능을 활용하여 이를 구현해보고자 한다. bes99.tistory.com Speech2Sign을 최종적으로 수행하기 위해서는 추출한 json좌표를 읽어 영상으로 변환하는 과정이 필요하여 개발을 진행하였다.유사도 검색 이후 json파일이 매칭되면, OpenCV를 통해 키포인트 시각화 비디오 생성 후 반환하는 로직을 FastAPI를 ..

음성을 수어 영상으로 번역하는 기능 (Speech2Sign) 개발 중 DB에 저장된 수어 영상을 프레임별 키포인트로 변환하는 작업이 필요하여 파이썬의 Mediapipe 기능을 활용하여 이를 구현해보고자 한다. 📌 MediaPipe란?MediaPipe는 Google에서 개발한 오픈소스 멀티모달(Multimodal) 머신러닝 프레임워크이다.Hand Tracking, Face Mesh, Pose Estimation, Object Detection과 같은 기능을 제공하여 수어 번역에 필수적인 라이브러리고 생각하여 도입하게 되었다. 우선 인물의 수어 영상을 보았을 때 필요한 것은 얼굴에서의 특징 좌표, 몸의 관절 좌표, 손가락 하나하나의 관절 좌표이며, 이를 위해 Mediapipe 기능을 분석 후 개발을 진행하..