ニューヨーク大学、スマートフォンを使用して手話を文字にリアルタイム翻訳するAR技術を発表。音声を手話に翻訳することも可能

ニューヨーク大学の研究チームは、スマートフォンを使用して手話をリアルタイムに翻訳するAR技術と組み合わせたアプリを発表しました。

ASLRと呼ぶ本アプリは、スマートフォンのカメラでキャプチャする特定の手話の手振りを、選択した言語にリアルタイム翻訳しテキストベースで提供してくれます。

また、逆に音声を手話に翻訳する機能もあり、スマートフォンに文章を発すると、ユーザに重なるデジタルボディが手話の動きをし相手に伝えます。このことで、手話で話すユーザと、手話で話せないユーザ同士の円滑なコミュニケーションを援助します。

Heng Li氏、Jacky Chen氏、Mingfei Huang氏によって開発されました。

 

関連

手話から「文章」にリアルタイム自動翻訳するコンピュータビジョンと機械学習を用いたシステム「SignAll」手だけでなく上半身の動作や表情なども加味 | Seamless

アーカイブ

ページ上部へ戻る