ワシントン大学の研究チームは、車椅子に取り付けて食事のサポートを行うロボットアームシステムを発表しました。
論文：Towards Robotic Feeding: Role of Haptics in Fork-Based Food Manipulation
著者：Tapomayukh Bhattacharjee; Gilwoo Lee; Hanjun Song; Siddhartha S. Srinivasa
所属：Paul G. Allen School of Computer Science and Engineering, University of Washington, Seattle, WA, USA
本論文は、コップを運んだり、口元に食品を持っていったり、もう一つの手として食事を手助けしてくれるロボットアームシステムを提案します。ロボットを自律モードにすると、お皿に乗っているさまざまな食べ物を見て識別し、その中からフォークを用いて目的の食物を串刺し、ユーザの口に届ける一連の動作を行います。
実験では、ロボットアーム付きの車椅子に乗ったユーザに、プレート上に用意された約12種類の食品（硬い人参から柔らかいバナナ、皮が硬く中身が柔らかいブドウやトマト等）を食べさせることができるかを検討します。
ロボットアームは、指先にゲルベースの触覚力センサが整備されており、3Dプリンタで作成した特注フォークを指定の場所から上手に掴み、掴んだフォークを駆使して目的の食品を串刺します。食品の特定は、ロボットアーム手首に整備してあるカメラから物体検出を行い、刺した食品を落とさないために、食品毎に適した角度と力を考慮し串刺します。
刺した食品をユーザの口元に運びますが、棒状の食品だと、ただ口元に持って行っただけでは食べにくい現象が起こります。口に入らない方向で棒状の食品を持って来られても前方から食べられないといった具合です。そこで、食べやすいように棒状の食品の端にフォークを刺し、刺していない方を傾けてユーザの口元に差し出すといったことをします。ユーザ調査から学びました。また、カメラからユーザの顔を認識しているため、食べる時に顔が動いても追跡し口元へ持っていきます。食事が終わると、フォークを元の場所に戻し自律モード終了で、制御モードに切り替わります。
本手法は、2つのアルゴリズムが用いられます。1つは、プレートをスキャンし、その上にある食べ物の種類を識別する物体検出アルゴリズム「RetinaNet」。もう1つは、特定のフレーム内の食品の種類を調べ、食品をピックアップするための最良の方法をロボットに伝えるアルゴリズム「SPNet」です。