AR 피아노 웹용 - 화면에서 몸의 움직임으로 피아노를 칠 수 있는 프로그램

스마트폰이나 웹캠 화면에서 직접 몸을 움직여서 피아노를 칠 수 있는 프로그램입니다.

웹캠이나 스마트폰을 잘 고정시키고 스마트폰카메라를 통해 본인 모습이 나타나면 화면위에 나타난 건반을 손으로 치면 됩니다.

아래 링크에서 실행하면 됩니다. 실행되면 전체화면을 눌러 화면을 크게 하고 보세요

https://sciencej.cafe24.com/p5js/piano/

피아노를 칠 때는 손으로 내려 치는 것이 아니라 디스코 추듯이 손이나 손가락을 위아래로 움직이면서 머리위에 있는 피아노 건반을 찌르듯이 쳐야 합니다.
(작동원리는 화면에 변화가 생기는 부분을 인식해서 피아노 건반을 치기 때문에 손을 건반위에 올려 놓고 있으면 계속 소리가 납니다. 따라서 건반 아래로 손을 내렸다가 올리면서 쳐야 합니다.

또 카메라를 움직이면 모든 건반이 소리가 납니다. 모든 화면이 변하기 때문입니다. 따라서 스마트폰은 잘 고정시켜 놓고 피아노를 쳐야 합니다. )

연주 동영상을 보면 이해가 쉬울 듯 

https://youtu.be/gZNC-dvE8vM

 

 

배경에 따라 인식률이 많은 차이가 납니다. 너무 어둡거나 너무 밝으면 인식을 잘 못할 수 있습니다. 그리고 밤에 형광등 아래에서는 형광등 깜박 거림 때문에 오동작을 하기도 합니다. 

링크에 접속해서 프로그램을 실행시키고  화면에 자신의 모습이 보이면 손을 위아래로 움직여 피아노를 쳐 보세요.

학급운영을 하거나 학급행사를 할때는 학생들 여러명을 카메라에서 멀리 떨어뜨려 피아노 건반밑에 앉게 한 다음, 일어나면서 머리로 피아노 건반을 쳐서 학교종이와 같은 노래를 연주하게 할 수 있습니다. 이때 노래를 선정하고 어떤 모둠이 연주를 더 잘하는지 겨루기를 해도 좋습니다. 예전에 쟁반노래방이라는 프로그램이 있었지요.

 

스마트폰을 발 아래로 비추면 발을 앞으로 내밀면서 피아노를 연주할 수도 있습니다.

화면의 움직임을 감지하여 연주되므로 다양한 방법으로 운영이 가능합니다. 계단에 잘 맞추어 설치해 놓으면, 학생들이 계단을 오르락내리락 할때 마다 피아노 소리가 나게 할 수도 있습니다.

복도 창가에 설치해 놓으면 쉬는시간에 학생들 지나다닐때 마다 피아노 소리가 납니다.
교무실 문쪽을 향하게 설치해 놓으면 경보장치 대용으로도 사용이 가능할 듯 합니다.

예전에 앱용으로 만들었던 것은 아래 링크 참고

더이상 앱이 잘 설치 되지 않아서 웹용으로 다시 만들어 보았습니다. 

https://sciencelove.com/2202

피아노 AR(웹캠) - 카메라를 이용해서 피아노를 칠 수 있는 앱