触覚（Haptics）HCI（Human-Computer Interaction）の最新研究まとめ[論文一覧]

TRANS-DOCK: Expanding the Interactivity of Pin-based Shape Displays by Docking Mechanical Transducers

いろんな形状のモジュールを取り替えて多様な触覚を生成する汎用性が高いピンベース の立体ディスプレイ。ピン間隔、描画エリア、ピン配置などの構成を変更でき、曲げ、膨張、回転等の様々な動きも可能。動画

Understanding the Effectiveness of Ultrasonic Microphone Jammer

人に聞こえない超音波でスマホやスマートスピーカー等の音声録音をジャミング（近隣マイクを全て無効）するブレスレットの研究。人に装着なので動くたびに角度範囲が広がり死角を軽減。録音機が布で隠れていても妨害する。動画 

Licker: A Tongue Robot for Representing Realistic Tongue Motions

舌の動きを模倣するロボット。4つの動作（前後運動、左右に振る、上下運動、横の両サイドから巻く）を組み合わせてリアルな動きと触覚を再現。舌はシリコーンカバーで覆い化粧水でぬるぬるにする。動画

Derma:皮膚運動計測によるサイレントスピーチインタラクション

目立ちにくい顎下2箇所に装着の加速度/角速度センサーで無声発話による皮膚運動を検知し深層学習で識別、音声合成に変換する研究。認識率94％以上。将来はウェアラブルや身体埋め込み型との融合を目指す。 動画

AuraRing: Precise Electromagnetic Finger Tracking

ウェアラブルデバイスのインタフェースとして指の動きをミリレベルの細かさで追う、5自由度に対応する自己完結型の電磁トラッカーシステムの研究。リングから特定周波数の振動磁場を生成しリストバンドがそこから取得する誘導電圧で位置と方向を深層学習を用い計算。空中で文字や絵を描く、テーブルや太ももに押し当てテキスト入力。約1日間連続駆動。動画

Haptiple: A Wearable, Modular and Multiple Haptic Feedback System for Embodied Interaction

身体のいろいろな部位に対して、振動覚、圧覚、温冷覚・風覚を同時に与えられるウェアラブルデバイスの研究。デバイスを手・足首、胴体に装着。振動覚、圧覚、温冷覚・風覚を単一に制御。モジュールと連携し魔法の杖で炎や氷の魔法をかける、シャワーノズルで体を洗う等の触覚を再現。

LiftTiles: Constructive Building Blocks for Prototyping Room-scale Shape-changing Interfaces

巨大巻き笛モジュールで部屋を拡張する研究。 複数のモジュールを自由に連結し床や壁を作成。各モジュールは空気圧と電磁弁で制御し150cmまで伸縮可能。使用例：タイルを付けて椅子や机。パーテーションや巨大看板。VRオブジェクトの再構築など。動画

Foxels: Build Your Own Smart Furniture

木箱ブロックを自由に配置できる多機能スマート家具システムの研究。一辺36cmのカスタマイズ可能な木製立方体を複数組み合わせ机や椅子等に。近隣の木箱同士が連動し検出し合う。組み替えても検出する。例：人を感知しライトをON、書類をスキャンしプロジェクタに映すなど。動画

Embroidered Resistive Pressure Sensors: a Novel Approach for
Textile Interfaces

衣類などの生地に刺繍（ししゅう）できる100％繊維製の圧力センサーの研究。生地に抵抗材料を重ね導電糸で縫合。Arduinoボードを別途縫合し電子デバイスにする。使用例：押すと色が変化するライト、オートバイのグローブとシートに縫合し運転中の乗車姿勢を検出等。動画

Watch+Strap: Extending Smartwatches with Interactive StrapDisplays

腕時計の画面が3つになるバンド。タッチ操作。バンド内側画面は腕をひねる事なく見える。外側は見えないので交通機関や電子マネーで使用等。既存腕時計に着脱可。パノラマ映像を横長表示も。動画

First-in-human evaluation of a hand-held automated venipuncture device for rapid venous blood draws

血液サンプルを採取するロボットの研究。採血した31人の参加者の全体的な成功率は87％。静脈にアクセスしやすい25人の場合、成功率は97％。装置内には、静脈から血液を採取する超音波画像誘導システムが組み込まれている。

Hapballoon: Wearable Haptic Balloon-Based Feedback Device

親指と人差し指の腹にあるバルーンの膨張を制御しバーチャルオブジェクトに触れた力覚（つかむ、握る）を生成する研究。ペルチェ素子で温度、LRAで振動も生成。組み合わせて温かいモノをつかむ等が可能。動画 

Soft Inkjet Circuits: Rapid Multi-Material Fabrication of Soft Circuits using a Commodity Inkjet Printer

家庭用プリンタ1台で電子回路を印刷する研究。空インクカートリッジに導電性銀ナノ粒子/導電性ポリマー/絶縁インクを入れ市販プリンタにセットでデザインツール設計の電子回路を印刷。ゴム素材。タトゥーペーパー等に印刷可能。動画

Hanger Drive: Driver Manipulation System for Self-balancing Transporter Using the Hanger Reflex Haptic Illusion

「ハンガー反射」を用い、バランススクーターに乗車したユーザーの運転方向を制御する手法。ハンガーを頭にかぶると意図せず頭が回ってしまうハンガー反射の腰版で、体をねじれさせSegway Drift等の乗車者を遠隔制御する。ラジコン風に操作。ハンガーの代わりにバルーンを使用。動画

Masque: Exploring Lateral Skin Stretch Feedback on the Face with Head-Mounted Displays

HMD着用者の顔面に映像に合う触覚を提供するデバイスを研究。顔を囲み配置する6箇所の丸いシリコンで最大15mmでせん断する。運転中ヘルメットの振動や速度に合う風圧。雪合戦の顔面強打。VR博物館でのガイドナビ等。動画

Optimizing Portrait Lighting at Capture-Time Using a 360 Camera as a Light Probe

どこから撮影すれば被写体に太陽光が綺麗に当たり、明るいポートレート写真が撮れるか事前に教えてくれるツールを提案する研究。物理的に撮影者の撮影場所を提示。撮影前に被写体の顔を置く箇所から360°カメラで太陽光を計測。動画

Biofeedback Interactive VR System Using Biological Information Measurement HMD

生体情報(光電容積脈波と呼吸波形)を計測するHMD着脱式システムを提案する研究。覚醒度を心拍変動から推定。活用例：心拍変動から推定の恐怖度で視野範囲を変えゲーム難易度を調整、呼吸に基づく胸部動作、心臓鼓動音の提示等。動画

An ambient-stable and stretchable ionic skin with multimodal sensation

人間の皮膚以上に伸縮性があり丈夫なスキンセンサー 「AISkin」を提案する研究。人の皮膚が約50％に対しスキンセンサーは破壊せず400％伸ばせる。圧力、ねじれ、温度、湿度等の変化を電気信号で測定。皮膚に貼り付けるタッチパッド、関節の曲がりを測定、ソフトロボットに活用等。  動画

Making chocolate colourful

見る角度で色が変わるカメレオン・チョコレートを提案する研究。合成着色料を添加せず虹色に変化させる。シャボン玉やディスクの発色現象、カメレオンの変色特性等に見る構造色を刻印し実現。特許出願中、一度に大量刻印できる金型開発中、スピンオフ会社設立予定。動画

Listen to Look: Action Recognition by Previewing Audio

動画編集時に音の質から視覚的に余分/重複シーンを推定し排除する技術。デモ動画：左が元映像で右が加工後。ダウンヒル、ヘアカット等。動画後半では採用/不採用の音を確認できる 。動画

RFTouchPads: Batteryless and Wireless Modular Touch Sensor Pads Based on RFID

バッテリーレスで完全ワイヤレスの組立て自由なモジュール式タッチセンサーパッドシステム「RFTouchPads」を提案する研究。各タイル型パッドにはRFIDのRFタグが内蔵、RFIDリーダーが届く範囲2mで検出。RFIDとはSuica等で使用の近距離無線通信の事。人体などの曲面に張り付け、組み立てて使用等。動画

Carpentry Compiler

木工作品の設計図から製作プロセスを生成する日曜大工サポートシステムを提案する研究。利用できる材料と工具を入力し、どの木材をどれだけ使い、どこをどの順番で切るかの作り方に変換。さまざまなコスト（製作時間、作品の精度、費用）を優先した製作プロセスプランが提案され選択できる。画像：左が完成品、右が作成図。番号が切る順で番号色が工具の種類。動画

AlteredWind: Manipulating Perceived Direction of the Wind by Cross-Modal presentation of Visual, Audio and Wind Stimuli

2台の扇風機で多様な風向き知覚する研究。前後の扇風機2台、立体音響、流れる風の立体映像の3つを同時に制御し少ない風源で様々な風向きを生成。視聴触クロスモーダル効果により現実とは違う方向から風が来たように感じる。2台のみなので低コスト。動画

KirigamiTable: Designing for Proxemic Transitions with a Shape-Changing Tabletop

スクリーンが変形する共同作業向け切り紙式テーブル「KirigamiTable」を提案する研究。フラットな状態から、中央が山形に盛り上がり、個別に2人用モニター、4人用モニターを作れ、フラットに戻して情報を共有できる。動画

Pursuit Sensing: Extending Hand Tracking Space in Mobile VR Applications

VRのハンドトラッキング範囲を拡張する「Pursuit Sensing」を提案する研究。アクションカメラ用3軸ジンバルとLeap Motionを統合し胸部で固定、手の動きによりセンサーの角度を変化させ追跡エリアを拡張する。縦/ピッチに290度,142%の増加、横/ヨーに216度,44%の増加。動画

Comic-Guided Speech Synthesis

漫画キャラのせりふを感情のこもった音声合成に変換する研究。漫画本ページを入力に各キャラクターが発する吹き出しのせりふを分析（性別,年齢,感情を推定）物語に沿って適切な感情をこめた音声に変換。違う言語で音声を出力する外国語学習への応用も。動画

Stick User Interface

天井などの任意の表面に固定できるロボットアーム型プロジェクターカメラシステムを提案する研究。真空グリッパーを使用し凸凹表面にも安定吸着。ハンドジェスチャーや音声入力でページ切替などを操作。天井と壁の関係は直角が多いためキャリブレーションが容易。動画

Rapid Prototyping of Paper Electronics Using a Metal Leaf and Laser Printer

プリンタとアイロンを用いて、金属箔を電子回路にするプリンテッド・エレクトロニクスのラピッドプロトタイピング手法。一般的なプリンタでトナー転写紙にデザインした電子回路を印刷、様々な素材に転写し上からアイロンで金属箔を熱圧着。LED等を加え電子デバイス作成。銅箔と低融点ハンダで電子部品を半田付け可。素材によって電子部品を曲げても壊れない。動画

Auditory Uta-KARUTA: Sonificated Card Game towards Inclusive Design

視覚障害者向けかるたシステムを提案する研究。読まれる音声をカードに見立てたスマートフォンへ音として変換することで、どのカードを取ればよいかを提示する。これにより、視覚情報がなくてもカードが取れる。動画

ThermAirGlove: A Pneumatic Glove for Material Perception in Virtual Reality through Thermal and Force Feedback

手袋に組み込まれたエアバッグに送り込まれる空気の量と温度を制御することで、手に熱と力のフィードバックを同時に提供する空気圧グローブを提案する研究。

LightAnchors: Appropriating Point Lights for Spatially-Anchored Augmented Reality Interfaces

既存のマーカーのように大きく目障りな手法ではなく、小さく目立たないポイントライトを用いて、現実にデジタル情報をオーバーレイするAR法。例えば、Wi-Fiルーターのステータスライト、PCの電源ライトや電化製品のライト、加えて電球などの一般的な照明などでも可能。動画

Light’em: A Multiplexed Lighting System

同じ空間で複数の人がそれぞれ好みの照明環境下で過ごせる多重化照明システムを提案する研究。高速で開閉するシャッターメガネと高速に点灯状態を変化させる光源を同期し制御する手法。同じ空間の人達がお互い邪魔せず各々好きな照明（白く明るい光、暖かみあるオレンジ色の光等）を同時実行できる。動画

SensorSnaps: Integrating Wireless Sensor Nodes into Fabric Snap Fasteners for Textile Interfaces

ボタン部分に取り付け可能なセンサーを提案する研究。タップで入力、回してボリューム調整、手足のモーションキャプチャなどが可能。全て無線接続。本体重量は2.4グラム、直径19ミリ、厚さ9ミリ。静電容量式タッチセンサーで触れたことを検出し、ジャイロスコープで回転を検出。動画

ReFriction: Remote friction control on polystyrene foam by ultrasound phased array

超音波を用いて、遠隔で発泡スチロールの摩擦を変えて触覚を生成する装置を提案する研究。発泡スチロールの表面に超音波を当てると、スクイーズ膜効果による表面摩擦の低減で多様な触覚を生成。超音波は画面に触れたときのみ放射される。発泡スチロールな為、衛生的で使い捨て大型スクリーンにも可能。

SpaceInk: Making Space for In-Context Annotations

電子文書（デジタルドキュメント）に後から手書きメモを書く場合、余白ではなく、文字をどかせて空白を作り、そこに書く手法を提案する研究。メモは後から場所移動も可能。動画

Three-dimensional Interaction Technique Using an Acoustically Manipulated Balloon

超音波を用い、操作する風船に映像を投影するバルーン型ディスプレイシステムを提案する研究。天井に下向きの超音波フェイズドアレイを複数並べ、音響放射圧でヘリウム風船を3次元操作。風船を追跡し投影することで映像やバーチャルオブジェクトが空中を移動しているかのように感じる。手で動かすことも可能。動画

TipText: Eyes-Free Text Entry on a Fingertip Keyboard

人差し指の腹、第一関節までをキーボードエリアに、同じ手の親指で26アルファベットをブラインドタッチ入力できる手法を提案する研究。単語決定は予測候補から選択する方式。最小限のタイポに抑える配列を実証。動画

Compact single-shot metalens depth sensors inspired by eyes of jumping spiders

蜘蛛にヒントを得た超小型深度センサーを提案する研究。従来のTime of Flightではなく、フラットメタレンズで異なる2枚のボケ画像を生成し深度計算する手法。だから超小型、ARグラスやワイヤレスイヤフォンへの搭載に期待。

SWISH: A Shifting-Weight Interface of Simulated Hydrodynamics for Haptic Perception of Virtual Fluid Vessels

手持ち容器内の流体を再現する触覚デバイス「SWISH」を提案する研究。モーター作動システムを使用して、手持ち容器の重心を再配置し続け、液体を含む手持ち式容器の重心移動をシミュレートする。動画

StickyTouch: An adhesion changeable surface

表面の粘着力を動的に変化させることでフィードバックする触覚ディスプレイ「StickyTouch」を提案する研究。温度で粘着力が変わる感温性粘着シートや冷却/加熱面が入れ替わるペルチェ素子等で表面の粘着力を局所的に制御。モニターと重ね納豆の質感を提示、粘着でスワイプ指を止め指定場所を伝達など。動画

ElastImpact: 2.5D Multilevel Instant Impact Using Elasticity on Head-Mounted Displays

VRにおける顔への触覚（パンチ、打撃、衝突ど）を再現するデバイス「ElastImpact」を提案する研究。モーターとブレーキで制御。頭部の両側に取り付けられ、VRシーンに合わせて、顔に向かって法線方向に衝撃を与える。動画

Hopping-Pong: Changing Trajectory of Moving Object Using Computational Ultrasound Force

ピンポン玉の軌道を変化させる「Hopping-Pong」を提案する研究。ピンポン玉位置の高速センシングと軌道予測、及び超音波による非接触力を組み合わせることで動的物体の起動制御を実現。動画

EchoTube: Robust Touch Sensing along Flexible Tubes using Waveguided Ultrasound

柔軟で丈夫なチューブ型プレスセンシング技術「EchoTube」を提案する研究。 導波管使用のフレキシブルチューブ内で超音波パルスを放射し、チューブの変形によって引き起こされる反射を検出することでインタラクションを検知する。踏まれたりの衝撃や、水圧の水中でも使用可能。動画

Aero-plane: A Handheld Force-Feedback Device that Renders Weight Motion Illusion on a Virtual 2D Plane

2台の小型プロペラを搭載したリアルタイムに力覚を生成するVR向け触覚フィードバックデバイス「Aero-plane」を提案する研究。事例として、平面上を転がるボールの再現や、異なる形状とサイズのキッチンツールの再現などを紹介。動画

PseudoBend: Producing Haptic Illusions of Stretching, Bending, and Twisting Using Grain Vibrations

棒状の剛体デバイスから曲げ、伸縮、ねじるの錯覚を生成する触覚フィードバック技術「PseudoBend」を提案する研究。6自由度力センサーと振動アクチュエータが備わっており、デバイスに加えられる力またはトルクの変化に基づいて、オブジェクトの変形中に発生する振動をシミュレートし再現。動画

Tessutivo: Contextual Interactions on Interactive Fabrics with Inductive Sensing

布地上に電気を通す物体を置くとそれが何かリアルタイムに特定するセンシング装置を提案する研究。提案する布地上に、物体を 27個を置き識別。93.9％の精度で分類に成功。動画

Mantis: A Scalable, Lightweight and AccessibleArchitecture to Build Multiform Force Feedback Systems

安価で手軽に構築できるアーム型触覚フィードバックシステム「Mantis」を提案する研究。アームの押し返す力で触覚を再現。 同等品の20分の1の費用で構築できる。動画

Skin-On Interfaces: A Bio-Driven Approach for Artificial Skin Design to Cover Interactive Devices

人工皮膚をつねったりなぞったりして入力するインターフェース技術を提案する研究。人工皮膚は、シリコンをベースに作成し、内部に層になるようセンサー類を組み込む。タップしたり、なぞったり、つねったり、人の皮膚を触っているかのように操作できる。動画

Midair Hand Guidance by an Ultrasound Virtual Handrail

超音波による空中触覚を用いた案内用ヴァーチャル手すりシステムを提案する研究。 超音波による触覚は、点ベースで振動による刺激が与えられ、点を切り替えることによって目的地までのパス、つまり触覚ラインを提示する。動画

Closed-Loop Haptic Feedback Control Using a Self-Sensing Soft Pneumatic Actuator Skin

人工皮膚のような触覚をリアルタイムに提供する柔軟で伸縮性のあるデバイスを提案する研究。シリコンと電極で作られたデバイスは、着用者の手の形状に適合し、圧力と振動で触覚フィードバックをリアルタイムに提供する。動画

Digital Texture Voxels for Stretchable Morphing Skin Applications

薄くて軽く伸縮性が高い触覚スキンを作成できる3Dディスプレイ技術を提案する研究。デバイスは、複数のねじれたらせん状の人工筋肉（TSAM）からできており、わずか0.2 V / cmの入力電圧で動作する。動画

ShearSheet: Low-Cost Shear Force Input with Elastic Feedback for Augmenting Touch Interaction

タッチパネルに透明なシートを重ねて動かすと、スクロールやズームなどジョイスティックのような操作ができるインタフェース「ShearSheet」を提案する研究。スマートフォン上に透明シートを重ね、シート自体をスライドさせ操作。デモ映像では、高速スクロール、地図の拡大 、動画の早送り、カーレースゲームの運転操作などで活用。動画

PrivateTalk: Activating Voice Input with Hand-On-Mouth Gesture Detected by Bluetooth Earphones

発話中に口を手で押さえると小声で音声入力ができるインタフェース「PrivateTalk」を提案する研究。片側から口を手で覆うしぐさをして小声で話すと音声入力され、押さえず話すと入力されない仕様。両耳のAirPodsが取得する音声信号で区別する。精度は98.33％。動画

Tailored Controls: Creating Personalized Tangible User Interfaces from Paper

好きにカットした紙をオリジナルのインタフェースの部品として使える「Tailored Controls」を提案する研究。テーブルの上に取り付けたRGB-Dカメラを使用して紙の色と深度を取得し、ユーザーの指と紙の形状をマーカーレスで追跡する。30種類以上の応用方法が紹介される。動画

A volumetric display for visual, tactile and audio presentation using acoustic trapping

超音波を用いて、触覚と音と映像を同時に空中で生み出すディスプレイ「Multimodal Acoustic Trap Display」（MATD）を提案する研究。超音波浮遊させた粒子に照射し表示。目の残像効果より速く粒子を動作させ3次元像を再現。動画で音「Three, two, one」を確認可能。動画

BEXHI: A Mechanical Structure for Prototyping Bendable and EXpandable Handheld Interfaces

伸縮させたり曲げたりできるスクリーンを搭載したデバイス「BEXHI」を提案する研究。広げたり曲げたりするスクリーンを追跡し、外部プロジェクターがコンテンツを投影する。動画

BubBowl: Display Vessel Using Electrolysis Bubbles in Drinkable Beverages

電気分解を利用し、飲料表面にドットの文字や数字を表示できる“泡ディスプレイ”「BubBowl」を提案する研究。飲料表面にドットの文字や数字を表示。泡なので混ぜると消え、味も変わらない。カフェオレやオレンジでも可。感電防止装置も装備。朝、天気予報をコーヒーに表示する応用例など。動画

HAPTIC PLASTeR: soft, thin, light and flexible haptic display using DEA composed of slide-ring material for daily life

軟性素材を使用した薄くて軽く柔軟な触覚デバイス「HAPTIC PLASTeR」を提案する研究。指に装着できるサイズの柔軟素材上にSRMで構成されるDielectric Elastomer Actuators （DEA）である「e-Rubber」を配置し、電圧を印加すると収縮し触覚を生成する。動画

MagniFinger: Magnified perception by a fingertip probe microscope

指先に装着した顕微鏡カメラで触れると拡大画像をディスプレイに映し出し、同時に触覚も提供する指先装着型顕微鏡装置「MagniFinger」 を提案する研究。指に小型顕微鏡カメラを装備することで、直感的に対象物へ接触でき、また好きな位置にスライドして観察できる。動画

Preemptive Action: Accelerating Human Reaction using Electrical Muscle Stimulation Without Compromising Agency

EMSを用いて、意志よりも早く動かされる身体と「自分がやった」知覚の境界を探求する研究。 実験の件か、「自分がやった」と思いながら、身体を約0.08秒早く動かすことに成功。動画

Prototyping of glove that turns metallic tableware into electric taste devices

食べ物の味を変える手袋型デバイスを提案する研究。手袋型デバイスを着用し、人差し指部に取り付けられている電極から金属製の食器、または手づかみで食べる食品を介して、舌に電気味覚（味覚器に電気刺激が加わることで生じる味質変化のこと）を付与する。動画

AttentivU: a Biofeedback System for Real-time Monitoring and Improvement of Engagement 

脳活動と眼球運動から注意力の低下を検出し音声および触覚で警告する眼鏡型デバイス「AttentivU」を提案する研究。 目頭領域に眼電図（EOG）センサ、メガネのテンプル端に脳波（EEG）センサを整備し、 脳の活動と眼球の動きの両方を利用して注意レベルを予測する。動画

TORC: A Virtual Reality Controller forIn-Hand High-Dexterity Finger Interaction

ゴムボールのような弾性物体の柔らかさ等を再現する触覚ハンドヘルドコントローラ「TORC」を提案する研究。力覚センサとVCA（Voice Coil Actuator）方式の振動アクチュエータをベースに、親指と人差し指、中指を使って触覚を再現。動画

Contactless warmth display using visible light LED for HMDVR

手を囲むように配置したLEDからの光で温覚を再現するVR向け非接触型温覚提示装置を提案する研究。内側に取り付けた12枚のLEDにから、可視光出力により、触覚を伴わずに温覚を提示する 。動画

Transformative Electronics Systems to Broaden Wearable Applications

体温で融ける金属で、皮膚にぴったり合うように変形するウェアラブルシステム「Transformative Electronics Systems」を提案する研究。融点が約29.8度のガリウム金属が用いられるため、人の体温で融け腕にぴったりフィットするスマートウォッチなどが可能になる。動画

Metal oxide semiconductor nanomembrane–based soft unnoticeable multifunctional electronics for wearable human-machine interfaces

伸縮性のある電子パッチを皮膚に貼ってロボットハンドを制御する技術を提案する研究。 伸縮性のある電子パッチはフォトリソグラフィーを用いた構造で、厚さ50nmの電気伝導体、インジウム・亜鉛酸化物、ポリイミド、SU-8などから構成。 電子パッチを手の甲に装着し、ロボットハンドを制御する。動画

TacTiles: Electromagnetic Actuators for Rendering Haptics in VR

片手15箇所にピンを押し当てることで触覚を再現する軽量低電力のハプティクスデバイス「TacTiles」を提案する研究。片手に対して局所的に15箇所、電磁アクチュエータの中心には動作するピンがあり、これが皮膚に押し当たる事で触覚を生成する。動画

PaCaPa: A Handheld VR Device for Rendering Size, Shape, and Stiffness of Virtual Objects in Tool-based Interactions

バーチャルスティックを物体に衝突させた際の触覚を再現するハンドヘルドVRデバイス「PaCaPa」を提案する研究。開閉する部分（翼と呼ぶ）を2つ搭載する直方体の機器。ユーザの手を軸として移動しようとしているのとは反対の方向に回転しているように感じる触覚を再現。動画

Local Light Field Fusion: Practical View Synthesis  with Prescriptive Sampling Guidelines

スマートフォンで撮影した画像から実世界の3Dシーンをよりリアルに再構築する手法を提案する研究。スマートフォンで格子状に撮影した複数枚の画像を入力に、実世界の3Dシーンを合成する。動画

BBeep: A Sonic Collision Avoidance System for Blind Travellers and Nearby Pedestrians

混雑した環境における視覚障害者と歩行者の衝突回避支援スーツケース「BBeep」を提案する研究。 視覚障害者が空港などの混雑した環境を移動する際、ユーザと周囲の歩行者両方に対して警告音を用いて衝突の危険性を通知することで、歩行者と衝突しない経路をユーザに提供するシステム 。動画

Springlets: Expressive, Flexible and Silent On-Skin Tactile Interfaces

ステッカーに埋め込んだ形状記憶合金スプリングを用いて、肌に直接触覚を再現するインタフェースを提案する研究。6種類の触覚（つまむ、伸縮、押す、引き、ドラッグ、拡張）を再現し、ユーザが座る歩くの6つの身体の位置（手首、上腕、肩、首、胸、背中）で実証。耳の上のメッセンジャー、背中でガイドインターフェース、胸の上で呼吸コーディネーター、そして肩でリュックを背負っているようなバーチャルリアリティバックパックなど。動画

Gill+Man: Breathing Through Gills Experience System

人間がエラ呼吸を体感できる人工エラ呼吸システム「Gill+Man」を提案する研究。呼吸感知装置、嚥下感覚提示装置（SSPD）、鰓感覚提示装置（GSPD）の3つの装置を備えており、本来人間には備わっていないエラ機能を使用する感覚を生成。

Softness Estimation Based on Images of Pushing Action Using Deep Learning

人の触動作を計測し、人の触れている対象の触覚情報を映像ベースで推定するCNNを用いた手法を提案する研究。テレビでの食事レポートの際に、対象表面を押下してその柔らかさを伝えることに着想を得たもの。

Beyond The Force:Using Quadcopters to Appropriate Objects andthe Environment for Haptics in Virtual Reality

VR内のバーチャルショッピング体験の触覚を再現するシステム「HoverHaptics」を提案する研究。ホバリングや移動を用いて、ハンガーを物理的に手に取ったり、生地の素材を提示したりなどの触覚フィードバックを生成する。動画

TactGAN: vibrotactile designing driven by GAN-based automatic generation

素材に触れた時の触振動を画像からそれっぽく生成し、効率的な触感デザインを可能とするCNNを用いた手法「TactGAN」を提案する研究。素材の表面画像や表面属性の入力から、それらに適合した振動による触覚を生成する触覚フィードバック設計システム。動画

FlyingHand: extending the range of haptic feedback on virtual hand using drone-based object recognition

遠隔のドローン（UAV, 無人航空機）をハンドジェスチャで操作し、伸縮するバーチャルハンドと超音波ベースの触覚フィードバックを用いて遠隔地を探索できるVRシステムを提案する研究。ドローンから見える画像に対して、表示されるバーチャルハンドの長さを伸び縮みさせ、対象物に触った感触を超音波アレイから受け取りながら探索する。動画

Leg-Jack: Generation of the sensation of walking by electrical and kinesthetic stimuli to the lower limbs

座ったままバーチャル空間の歩行感覚を提示できるVRシステム「Leg-Jack」を提案する研究。バーチャル歩行中に、足首の前後にあるアキレス腱および前脛骨筋に電気刺激を与え、下肢駆動装置で運動感覚刺激を発生させることによって歩行感覚を提示する。動画

Wearable Haptic Device that Presents the Haptics Sensation Corresponding to Three Fingers on the Forearm

バーチャルオブジェクトを触った際に、本来指先で生じる触覚情報を前腕部に提示する触覚フィードバックデバイスを提案する研究。 前腕に装着するM字型の構造を採用した5節リンク機構で、3本の指（親指、人差し指、中指）で仮想オブジェクトに触れた際を、前腕の3箇所に提供することで再現する。動画

DualPanto: A Haptic Device that Enables Blind Users to Continuously Interact with Virtual Worlds

視覚障害者がバーチャル空間で移動しながら他の動くオブジェクトを追跡できる触覚デバイス「DualPanto」 を提案する研究。上部ハンドルでは、自身のアバターを移動させるのに使用し、下部ハンドルでは、下部ハンドルで受動的に動く他のオブジェクトを知覚する。動画

Movelet: a Self-Actuated Movable Bracelet for Positional Haptic Feedback on the User’s Forearm

前腕に沿って動くことで触覚フィードバックを生成する自己駆動型ブレスレットを提案する研究。メールが何通未読になっているかの量をデバイスの位置がどこにあるかによって表現したり、電話がかかってきたときに振動する瞬間的な触覚を表現したり、そして、進行状況（移動距離でパラメータとして時間を再現）や、ナビゲーション（次の角を曲がるまでの距離を徐々に動いて再現）など。動画

FacePush: Introducing Normal Force on Face with Head-Mounted Displays

VRにおいて、ユーザの顔に垂直に圧力を発生させるヘッドマウントディスプレイ・システム「FacePush」を提案する研究。HMDの両サイドに整備するプーリーシステムを用いて、ユーザの顔を押す2つのモーターによって触覚を提供する。動画

HydroRing: Supporting Mixed Reality Haptics Using Liquid Flow

指先での触覚（圧力、振動、温度）を再現する装着型ハプティックデバイス「HydroRing」を提案する研究。チューブ内の液体の特性を動的に調整することにより、触覚フィードバック（圧力、温度、振動）の範囲を作り出す。振動はバルブを連続して開閉することで生成し、圧力はバルブを閉じ逆流も防ぐことで生成。動画

VR Grabbers:Ungrounded Haptic Retargeting For Precision Grabbing Tools

VR内のバーチャルオブジェクトを知覚できない程度に調整することで多様な触覚を再現するお箸デバイスを提案する研究。箸の動きはすべて同じでありながら、バーチャルオブジェクト側を動的に調整することで錯覚させ、それぞれの触覚を再現。動画

PuPoP: Pop-up Prop on Palm for Virtual Reality

空気圧を用いたVR向け触覚フィードバックデバイス「PuPoP」を提案する研究。何もないときは折りたたまれており、バーチャルオブジェクトを把握すると、空気圧で形状が変化し（膨らませ）触覚を提供する。形状は、球体や筒状、長方形など。動画

DextrES: Wearable Haptic Feedback for Grasping in VR via a Thin Form-Factor Electrostatic Brake

バーチャルオブジェクトをつかんだ把持感を再現する力覚と振動を備えた触覚フィードバック・デバイス「DextrES」を提案する研究。ユーザーがバーチャルオブジェクトをつかむと、人差し指ブレーキと親指ブレーキ、そして指先振動を同時に作動させ、あたかも物体を掴んでいる錯覚を提供する。動画

Taste Controller: Galvanic Chin Stimulation Enhances, Inhibits, and Creates Tastes

「味覚電気刺激（GTS、Galvanic Tongue Stimulation）」を用いて、味覚を制御する手法を提案する研究。電極を顎、顎より下、および首の後部に取り付けて味覚をコントロールする。顎から口腔内の液体（唾液等）や舌、口腔内壁を経て首の後ろに到達することで、味覚を増強させる。

Wind-Blaster: aWearable Propeller-based Prototype that Provides Ungrounded Force-Feedback

VRの触覚を再現するプロペラベースの手首装着型デバイス「Wind-Blaster」を提案する研究。手首に装着する2つの無人機プロペラを回転させて、触覚フィードバックを発生させる。異なる4つの武器（銃、盾、剣、魔法の剣）の触覚を再現。

Transcalibur: Weight Moving VR Controller for Dynamic Rendering of 2D Shape Using Haptic Shape Illusion

1台のハンドヘルドコントローラを用いて、重量と角度を動的に変化させることで、VR内の手持ちオブジェクトの様々な形状の触覚を再現するVRハプティクデバイスを提案する研究。剣、盾、弓などのさまざまな形状の触覚をVRに合わせて再現する。動画

LevioPole: Mid-air Haptic Interactions using Multirotor

VR/ARにおける触覚を再現する2つのロータユニットで構成された棒状デバイス「LevioPole」を提案する研究。ロータユニットは、コンテンツの用途に応じて駆動し、回転運動および直線運動を生成する。ボートを漕ぐ、上向きの力で高いジャンプ、重量挙げ、さらにユーザー誘導に使用したりも可能にする。動画

Force Jacket: Pneumatically-Actuated Jacket for Embodied Haptic Experiences

カーネギーメロン大学の研究者らは、VRにおける接触時の触覚を上半身に伝える空気圧式エアバッグを備えた着用型触覚システム「Force Jacket」を提案する研究。腕や胴体に配置された26個のエアバックは、それぞれが独立して膨張、収縮、振動し、VRと連動して目標の力を提供する。動画

A Functional Optimization Based Approach for Continuous 3D Retargeted Touch of Arbitrary, Complex Boundaries in Haptic Virtual Reality

VRの触覚フィードバックにおける物理オブジェクトと仮想オブジェクトの不一致を最小限に抑える連続的な触覚リターゲッティング技術を提案する研究。不一致を緩和させるために空間を歪ませることでリターゲットし、最小の不一致にする事で滑らかな体験をもたらす。動画

Wall++: Room-Scale Interactive and Context-Aware Sensing

通常の壁面をスマートウォールに変え、ユーザのジェスチャやタッチを感知したり、姿勢推定、部屋内の電気機器を検知したりできる低コストのセンシング技術「Wall++」を提案する研究。静電容量センサと電磁センサという2つのモードで動作。壁に対して、ユーザのタッチやジェスチャを検出し、近くに立っている人の姿勢を推定、電磁ノイズを捉えることでアプライアンスがいつ実行されているのか、どの位置にあるのかを検知できる。動画

Adding Force Feedback to Mixed Reality Experiences and Games using Electrical Muscle Stimulation

ARオブジェクトに触れる感覚を電気筋肉刺激（EMS）を用いて再現する触覚フィードバック・システムを提案する研究。ユーザの手首、上腕二頭筋、三頭筋および肩の筋肉を作動させ触覚を再現。例えば、バーチャルソファを両手で押す場面、押すと肩と手首が引っ張られる感覚が与えられ、押している触覚を得られる等。動画

Interactive Soft Pnuematic Actuator Skin for Tactile Feedback

VR/AR向けに柔らかい空気圧アクチュエータ（SPA：Soft Pneumatic Actuator）を用いた触覚スキンデバイスを提案する研究。VRでの接触を触覚として再現する機能をもたらす。例えば、背中を押したり、こすったり、くすぐったりなど、複数の刺激モードを介して触覚フィードバックをシミュレート。動画

CLAW: A Multifunctional Handheld Haptic Controller for Grasping, Touching, and Triggering in Virtual Reality

人差し指に動作を加えてVR内の触覚を再現するハンドヘルドVRハプティックコントローラ「CLAW」を提案する研究。3つの異なる触覚（仮想物体の把持、仮想表面の接触、拳銃などのトリガ）を再現。ハードだけでなくソフトの感触も可能。動画

Haptic Revolver: Touch, Shear, Texture, and Shape Rendering on a Reconfgurable Virtual Reality Controller

ユーザーの指がバーチャルオブジェクトの表面に触れると、車輪を回転させ感触を伝えるハプティックコントローラ「Haptic Revolver」を提案する研究。接触するとホイールが上昇して人差し指に接触し感触を伝える。また、表面に沿った手の動きの速度に基づいて回転し、指先の表面との摩擦をシミュレートする。動画

Haptic Links: Bimanual Haptics for Virtual Reality Using Variable Stiffness Actuation

両手それぞれに持つVRモーションコントローラ同士を統合させる触覚フィードバックツール「Haptic Links」を提案する研究。ライフルの場合は前後に固定、車のハンドルも丸くなるように固定。固定だけでなく、レンチを回した時や弓矢を引いて離した時のフィードバックなどといった摩擦、粘性、張力等を与えるために、範囲に沿って剛性を設定する。動画

Thor’s Hammer: An Ungrounded Force Feedback Device Utilizing Propeller-Induced Propulsive Force

6つのプロペラの推進力でVR内での抵抗力を再現する触覚フィードバックデバイス「Thor’s Hammer」を提案する研究。各プロペラは重心から離れた外向きの気流を作り出し、押したり引っ張ったりなど3次元の力を生成する。動画

Visuo-Haptic Illusions for Improving the Perceived Performance of Shape Displays

VR空間においてバーチャルオブジェクトの触覚を動的に再現できる立体ディスプレイを提案する研究。下から突きあがる複数のピンがバーチャルオブジェクトの接触時にその形状に変位し再現する。動画

Enabling People with Visual Impairments to Navigate Virtual Reality with a Haptic and Auditory Cane Simulation

視覚障害者がVRでナビゲートできるようにする白杖をシミュレーションした新しい触覚杖コントローラ「Canetroller」を提案する研究。杖コントローラを駆使して適切に歩行する訓練をする。杖がバーチャルオブジェクトに触れたとき、ブレーキ、振動、音の3つで知らせる。動画

VibVid: VIBration Estimation from VIDeo by using Neural Network

動画に含まれる画像や音から機械学習を用いて適切な触覚情報を推定し視聴者に提供するモデル「VibVid」を提案する研究。画像フレームと音データを含むビデオから適切な加速度を推定し、視聴者に正確な振動触覚を与える事でより質の高い視聴体験を提供するニューラルネットワークモデル。テニスの一人称視点ビデオからテニスラケットに伝達する振動を推定など。動画

HMD を介したポールを引っ張り合うことによる腕が伸縮する感覚の誘発

「腕が伸びる感覚」をVR体感できるシステム「Stretchar(m)：ストレッチャー」を提案する研究。HMDを装着した体験者と協力者とが対面となり、⼀対⼀でポールを引っ張り合う過程で表現する。自分の腕が表示され、「（現実世界の）腕を引っ張られる強さ」に応じて、「（イメージの世界の）腕の⻑さ」を滑らかに伸ばし、あたかも腕が伸びる感覚を再現。動画

HaptoCloneAR: mutual haptic-optic interactive system with 2D image superimpose

隣り合って離れた2人が「触覚付きAR」を裸眼と素手でリアルタイムに空中操作できる超音波ベースの視触覚クローンシステム「HaptoCloneAR」を提案する研究。A地点に紙風船をセットすると、B地点にも光で生成された紙風船クローンが表示され、B地点のユーザが紙風船クローンを指で突っつくとA地点のリアル紙風船も動くといった感じで、触覚付きの双方向性が生まれる。動画

Vocktail: A Virtual Cocktail for Pairing Digital Taste, Smell, and Color Sensations

色、匂い、味（舌への電気刺激）を制御し様々な風味を作成できるバーチャルカクテル・システムを提案する研究。ビジュアル（飲み物に投影されたRGB光）、味（舌の先端での電気刺激）、匂い刺激（マイクロエアポンプによって放出される）の組み合わせによって様々なフレーバーを体験する。動画

DeformWear: Deformation Input on Tiny Wearable Devices

ウェアラブルデバイスの入力用にエンドウ豆くらいの大きさの変形する半球体「DeformWear」を提案する研究。DeformWearは、直径10mm、高さ7mm（エンドウ豆くらい）の大きさで、柔軟な半球体を2本の指でつまんだり、押したりすることで操作する。つまんで前後左右斜めに動かしたり、押して前後左右斜めに動かしたりといった細かな入力を検知。動画

Feeling Fireworks

打ち上げ花火の感触を伝えるシステムを提案する研究。スクリーンの背面からウォータージェットを噴霧し表面に触覚効果を生じさせるというもので、ユーザーは打ち上げ花火が投影されるスクリーンを手で触ることで同時に花火を感じる。視覚障害者の方にも花火を新たな角度から提供できる。動画

Pyro: Thumb-Tip Gesture Recognition Using Pyroelectric Infrared Sensing

指から放射される熱信号を感知して親指と人差し指の微小動作でジェスチャー認識する技術「Pyro」を提案する研究。親指と人差し指をこすり合わせる微小の動作でコントロールすることができ、6つの種類（丸、三角形、二重線、長方形、はてなマーク、チェックマーク）を区別する。動画

Mutual Human Actuation

同時に体験する2人ペアのVRユーザーに対し、別々のシチュエーションでありながら相互に関連する行動を紐付けて実行する研究。例えば、一方が魚釣りで竿の反発力を再現し、一方が凧揚げの引きを再現する。一方は出現する柱を踏んで前進するのに対して、一方がパズルを解くためにボックスを再配置する。動画

Grabity: A Wearable Haptic Interface for Simulating Weight and Grasping in Virtual Reality

VRにおけるバーチャルオブジェクトをつかんだときの「把握力」と「重さ」の2つをシミュレートする装着可能な触覚デバイス「Grabity」を提案する研究。人差し指と親指にブレーキが作動し、両サイドの外側への力が把持力フィードバックを生成。持ち上げると2つのボイスコイルモータ型アクチュエータが作動し、重力および慣性を生成する。動画

Future smartwatches could sense hand movement using ultrasound imaging

超音波イメージングを使用して手のジェスチャーを感知する新しいハンドトラッキング技術を提案する技術。画像処理アルゴリズムと機械学習を使用して、筋肉の動きをジェスチャーとして分類。動画

Desktop VR using a Mirror Metaphor for Natural User Interface

ユーザーがモニター内に配置されたバーチャルオブジェクトを指で掴んだりといったインタラクティブに操作するデスクトップVR環境の研究。バーチャル内ミラーも提案しており、鏡に写ったハンドでコントロールしたりも可能。動画

EM-Comm: Touch-based Communication via Modulated Electromagnetic Emissions

無線機能がない電子機器でも指タッチするとデータ送信が可能になる技術「EM-Comm」を提案する研究。リストバンド型デバイスを装着しタッチするとデータが移動する。例えば、プリンタとスマートフォンをリンクし印刷。公共のLCDディスプレイから地図をスマートフォンに取得。コーヒーマシン上のボタン機能のツールチップを表示など。動画

Live User-Guided Intrinsic Video For Static Scenes

物体にタッチすることで質感/光/色変更などの編集をリアルタイムで可能な技術を提案する研究。物体をRGB-Dセンサーを使用してジオメトリモデルを取得、ボリュームフレームワークを使用して3Dシーンを再構成、ユーザーが物体にタッチなどすることで、質感変更、色変更、光変更などの編集をリアルタイムに操作できる。動画

ThermoVR: Exploring integrated thermal haptic feedback with head mounted displays

VRヘッドセット内側5箇所に熱フィードバックモジュールを統合させVR体験に熱冷触覚を与える「ThermoVR」を提案する研究。熱い、温かい、冷たいを表現することができ、また、5箇所を組み合わせて左方向が温かいなど位置的にも表現できる。動画

Submerged haptics: A 3-DOF fingertip haptic display using miniature 3D printed airbags

3Dオブジェクトの感触を伝える指先触覚フィードバック・デバイス「Submerged Haptics」を提案する研究。指の腹にエアーバッグを膨らませ圧力をかけることで3Dオブジェクトの触覚フィードバックを提供。電子部品が一切入ってないので水中の環境でも動作する。動画

FaceDisplay: Enabling Multi-User Interaction for Mobile Virtual Reality

HMDに3つのディスプレイを追加し非HMDユーザーを同じVR空間で操作させることを可能にするデバイス「FaceDisplay」を提案する研究。Oculus Riftのフロントに3つのディスプレイを設置し、そのディスプレイから非HMDユーザーが視聴およびタッチでインタラクティブに参加もできる。動画

Fingertip Tactile Devices for Virtual Object Manipulation and Exploration

VR内バーチャルオブジェクトを触った時の感触を伝えてくれる指先装着型触覚フィードバック・デバイスを提案する研究。指の腹に圧迫、縦、横の3自由度で動く。把持、圧迫、押し上げ、持ち上げ、ストロークなどの運動に対しての相互作用を感じる。動画

haptics for walls & heavy objects in virtual reality using electrical muscle stimulation

VR内のバーチャル壁や重い物体の感触を再現する電気筋肉刺激（EMS）を用いた触覚フィードバック・システム「Haptics for VR walls」を提案する研究。電気による筋肉刺激で手首、上腕二頭筋、三頭筋、肩の4つの筋肉群を作動させ、腕を後ろに引っ張る反作用力を生成する。壁の再現、ビリっと反発壁の再現、キューブを持ち上げる、物体をスライドさせる、ボタンを押す、投射物が当たる感触など。動画

Wolverine: A Wearable Haptic Interface for Grasping in Virtual Reality

VR内のモノの感触を伝える低電力ブレーキベースの触覚フィードバックデバイス「Wolverine」を提案する研究。低電力ブレーキベースのロックスライダーの作用を利用して、指それぞれのフィードバック制御により抵抗を与えVR内のオブジェクトを伝える。動画

TongueBoard: An Oral Interface for Subtle Input

口にくわえたマウスピース型静電容量センサーから口腔内の舌の動きを検出し、無発声音声や舌ジェスチャを認識するシステム「TongueBoard」を提案する研究。単語レベルの無発声音声分類および舌スワイプ検出のために、support vector machine (SVM)を用いて分類。入力用の21単語と9つの舌ジェスチャを持つサイレントスピーチインタフェースを構築。動画

Prediction of Volleyball Trajectory Using Skeletal Motions of Setter Player

バレーボールにおけるトスの動きから0.3秒後のボール軌道を予測するニューラルネットワークを用いた手法を提案する研究。深度センサーを用い、トスをする動きに対して3次元骨格座標をセッターの正面から計測し、時系列順に並べたデータセットをニューラルネットワークの入力に使用。ボール軌道との誤差が小さくなるように学習。動画

SottoVoce: An Ultrasound Imaging-Based Silent Speech Interaction Using Deep Neural Networks

声を出すことなく口パク動作を行うだけで発話内容を認識する無発声音声を、超音波エコー映像とdeep learningを組み合わせて検出するシステム「SottoVoce」を提案する研究。顎の下側に取り付けた超音波イメージングプローブによって口腔内の状況を計測し、観察される口腔内の情報からニューラルネットワークを用いて音響特徴を生成する。オーディオスピーカから再生することで音声合成として無発声音声を出力する。動画

EarTouch: 耳の入力インタフェース化

光センサと機械学習を用いて耳を引っ張るジェスチャ入力を可能にするイヤフォン型デバイス「EarTouch」の研究。 イヤフォンに装着した4つの反射型光センサを用いて耳の変形（耳を引っ張ることで変化するイヤフォンから耳の皮膚までの距離）を取得し、取得したセンサデータを基に教師ありSVMでジェスチャを識別する。動画