サイモンフレーザー大学、AltumView Systems、Adobe Research、山東大学、スタンフォード大学、東京大学、香港科技大学、Microsoft Research Asiaの研究者らは、自然言語を使用して3D屋内シーンを生成/編集するためのフレームワーク「Text2Scene」を発表しました。
論文：Language-Driven Synthesis of 3D Scenes from Scene Databases
著者：RUI MA, AKSHAY GADI PATIL, MATTHEW FISHER, MANYI LI, SÖREN PIRK, BINH-SON HUA, SAI-KIT YEUNG, XIN TONG, LEONIDAS GUIBAS, HAO ZHANG
本論文は、注釈付き3Dシーンデータベースを使用して、自然言語を使用した3D屋内シーンの合成と編集をサポートするインタラクティブなモデリングツールを提案します。本ツールを使用することで、初心者でも、簡単な自然言語コマンドで3D屋内シーンを生成/編集することが可能になります。
入力言語は、シーングラフに変換され、3Dシーンデータベースから適切なサブシーンを検索し、サブシーンが取得されると、入力されたテキストとシーンのコンテキストに基づいてオブジェクトが追加されます。次に、この拡張されたサブシーンは、現在のシーンと意味的に整列されます。
例えば、「ベッドがあります。ベッドの隣には、散らかったオフィスデスクがあります。ベッドとオフィスデスクを交換する。」という指示をすると、そのまま編集してくれ、その様子は、デモ映像で確認できます。