ニューヨーク大学の研究チームは、スマートフォンを使用して手話をリアルタイムに翻訳するAR技術と組み合わせたアプリを発表しました。
ASLRと呼ぶ本アプリは、スマートフォンのカメラでキャプチャする特定の手話の手振りを、選択した言語にリアルタイム翻訳しテキストベースで提供してくれます。
また、逆に音声を手話に翻訳する機能もあり、スマートフォンに文章を発すると、ユーザに重なるデジタルボディが手話の動きをし相手に伝えます。このことで、手話で話すユーザと、手話で話せないユーザ同士の円滑なコミュニケーションを援助します。
Heng Li氏、Jacky Chen氏、Mingfei Huang氏によって開発されました。
関連
手話から「文章」にリアルタイム自動翻訳するコンピュータビジョンと機械学習を用いたシステム「SignAll」手だけでなく上半身の動作や表情なども加味 | Seamless