早稲田大学の研究者らは、機械学習を用いて対話的にラフスケッチのペン入れができるリアルタイム編集ツール「Smart Inker」を発表しました。
論文：Real-Time Data-Driven Interactive Rough Sketch Inking
著者：シモセラ エドガー, 飯塚里志, 石川博
© Krenz Cushart, Krenz’s Artwork Sketch Collection 2004-2013 (www.krenzartwork.com)
本稿は、FCN（Fully Convolutional Networks）を用いて、ラフスケッチを入力に自動で線画を出力する手法を提案します。途切れた線を自然につなぎ、不要な線を効率的に消し、自動出力された線画を効果的に修正することができます。編集機能は以下の3つ。
- インカーペン：ユーザ編集が完璧でなくても途切れた線を自然につなげることが可能な線画を細かく編集するための機能。
- インカーブラシ：線が途切れている箇所をブラシストロークで指定するだけで、ラフスケッチに合ったきれいな線を生成してくれる機能。
- スマートイレイサー：指定された線を消しつつ重要な線を保持する機能。
これらのことで、能率的に編集することを可能にします。
© 2列目の画像はDavid Revoy氏(www.davidrevoy.com)、3列目の画像は窪之内英策氏(@EISAKUSAKU)
本提案手法は、ユーザ編集とラフスケッチ両方を入力に正確な線画を出力できるように学習します。訓練データに入っている正解線画を細線化ネットワークに通すことで線の太さを標準化する手法と、ユーザ編集をシミュレーションして学習データを作成するデータ拡張手法、これらを組み合わせることにより、 実際のユーザ編集データを用意することなく様々な編集パターンを含む学習データを大量に作成でき、効果的にそれぞれのネットワークを学習させることを可能にします。
実際に提案ツールを用いてラフスケッチにペン入れをするユーザテストを行った結果、商用のイラスト制作ソフトに比べ提案ツールは簡単かつ短時間で線画作成が可能となり、イラスト作成経験がほとんどないユーザでもきれいな線画を作成できることを実証しました。