Googleは、NVIDIA TensorRTとTensorFlow 1.7の統合を発表しました。
NVIDIAのDeep learning推論を最適化し高性能で実行するライブラリTensorRTと、Googleのオープンソースで公開している機械学習ライブラリTensorFlowが統合しました。
これはTensorFlow時にGPUの推論待ち時間を最小限に抑えます。NVIDIA Volta Tensor Coreを使用したTensorFlowで、7msのレイテンシで8倍速く実行されたと述べます。
関連
Googleのモバイル／組込機器向け機械学習ライブラリ「TensorFlow Lite」、Appleの機械学習フレームワーク「Core ML」をサポート | Seamless