カーネギーメロン大学のエンターテイメントテクノロジーセンター（大学院生らのチーム）は、ピアノの即興演奏などをアシストするARプロジェクト「Music Everywhere」を開発しました。
Music Everywhereは、AR技術とMIDIプロトコルの強みを活かして、効果的に楽器の学習を支援するARプロジェクトです。デバイスは、マイクロソフトのHoloLensが使用され、ピアノ上に次に何をすればいいかの情報をARキーとしてオーバーレイするなどでアシストします。仮想の手が鍵盤の上に表示されるバーチャルハンドもあります。
また、ソロではなくバンドで実践練習するために、3Dモデルの仮想バンドがAR空間で一緒に演奏してくれるモードもあります。バーチャルバンドスタイルも選択することが可能で、ロック、ジャズ、クラシック、ブルースなど多様な環境で即興練習することができます。
本プロジェクトは、ピアニストのSeth Glickman氏、UI / UXデザイナーのFu Yen Hsiao氏、プログラマーのShantanu Das氏/Byunghwan Lee氏によって2016年9-12月に行われたものです。
