TensorFlow と TensorRTを使用したモデル推論

この記事のサンプル ノートブックでは、Databricks が推奨する、TensorFlow と TensorFlowRT を使用した ディープラーニング推論ワークフロー を示します。 この例では、モデル推論のために TensorRT を使用してトレーニング済みの ResNet-50 モデルを最適化する方法を示します。

NVIDIA TensorRT は、ディープラーニング推論アプリケーション向けに低遅延と高スループットを実現する高性能推論オプティマイザーおよびランタイムです。 TensorRT は、Databricks Runtime for Machine Learning の GPU 対応 バージョンにインストールされます。

モデル推論 TensorFlow-TensorRT ノートブック

ノートブックを新しいタブで開く