MIT CSAILなどによる研究チームは、deep learningと3Dプリンタを組み合わせて絵画を再現するRePaintシステムを発表しました。
論文:Deep Multispectral Painting Reproduction via Multi-Layer, Custom-Ink Printing
著者:LIANG SHI, VAHID BABAEI, CHANGIL KIM, MICHAEL FOSHEY, YUANMING HU, PITCHAYA SITTHI-AMORN, SZYMON RUSINKIEWICZ, WOJCIECH MATUSIK
所属:MIT CSAIL, MPI Informatik & Saarland University MMCI, Chulalongkorn University, Princeton University
本論文は、3Dプリンタを用いて光のスペクトル(分光分布)を再現できるdeep learningを用いたパイプラインを提案します。異なる照明条件でも正確な色を再現することを可能にします。
本提案手法は、deep learningモデルを訓練して、異なるインクの最適なスタックを予測するデータ駆動アプローチを採用します。訓練後のネットワークに絵画のイメージを与えると、絵画の特定の領域でどの色を使うべきかを決定します。
これにより、分光反射率を再現し、フルカラー&マルチマテリアル3Dプリンタを用いて複製することを可能にします。現段階では、印刷に時間を要するため名刺サイズ程度の複製のみですが、将来的にはより大きな複製を生成したいとしています。