Facebook Reality LabsとTU Darmstadt (or Technische Universität Darmstadt）の研究者らは、AprilTag（2Dマーカ）を用いたキャプチャリグで、鏡やガラスなどの平面反射面を3Dスキャンし再構築する技術を発表しました。
論文：Reconstructing Scenes with Mirror and Glass Surfaces
著者：Thomas Whelan, Michael Goesele, Steven J. Lovegrove, Julian Straub, Simon Green, Richard Szeliski, Steven Butterfield, Shobhit Verma, Richard Newcombe
（左からAprilTagが組み込まれたキャプチャリグ、鏡を考慮しない再構築、鏡を考慮した再構築、鏡を考慮したレンダリング結果。）
本稿は、シーン内の鏡やガラスなどの反射面を自動的に検出し、より正確に再構築するアプローチを提案します。本提案手法は、キャプチャリグにAprilTagを追加し、鏡に反射するリグを捉えることで平面反射面を再現します。
（左：AprilTagを含むキャプチャリグ。右：バックライト付きAprilTag）
本システムは、反射されたAprilTagの画像を取り込むためにRGBカメラを使用していますが、3Dキャプチャシステム（深度センサ）とも統合されおり、また、照明に対してより強固にするため、AprilTagにはバックライトも整備しています。
これらのことで、鏡のような反射面の再構築に加え、透過と反射の混合物であるガラスも再構築することを可能にします。制限としては、キャプチャリグの動きが速かったり、湾曲した反射面だったり、なんらかの理由でAprilTagがはっきりと検出できない場合は不安定になるとしています。