スペイン：カタルーニャ工科大学、マサチューセッツ工科大学（MIT CSAIL）、QCRIの研究者らは、料理の写真から成分を推測し食材とレシピを提案するAIシステム「Pic2Recipe」を論文にて公開しました。
Learning Cross-modal Embeddings for Cooking Recipes and Food Images（ PDF）
Pic2Recipeは、料理の画像があれば、小麦粉、卵、バターなどの成分を特定し、データベースからの画像に類似していると判断されたいくつかのレシピを提案することができます。
本システムは、2014年にスイスの研究者らによって作成された食品識別アルゴリズム「Food-101 Data Set」の101,000フード画像データベースを使用して構築されました。
その情報は、グローバルなレシピサイト「All Recipes」や「Food.com」のような有名なサイトから集められた100万以上のレシピからの独自データセット「Recipe1M」と連結する事で可能にします。
現時点では、65%の精度としており、クッキーやマフィンのようなデザートには効果的ですが、一方で寿司ロールやスムージーなどより曖昧な食材の成分を決定するのは難しいとしています。
オンラインデモサイトも公開されており、こちらから試す事ができます。
GitHubページはこちら。
関連
Google、機械学習データセットの理解と分析を支援するインタラクティブ視覚化ツール「Facets」をGitHubにて公開。操作できる体験デモサイトもあり | Seamless