Tesla T4 GPU及全新TensorRT软件可助力实现智能语音、视频、图像和推荐服务。

    NVIDIA近日推出全新人工智能数据中心平台，为语音、视频、图像和推荐服务提供业界超级先进的推理加速，从而推动全球AI服务的发展。

    NVIDIA TensorRT™ 超大规模推理平台采用基于突破性的NVIDIA Turing™架构的NVIDIA® Tesla® T4 GPU，以及一整套完整的新推理软件。

     该平台可为端到端应用提供更快性能和更低延迟，助力超大规模数据中心提供全新服务，例如增强型自然语言交互，以及对搜索查询的给出直接答案而非模糊匹配的一系列结果。

    NVIDIA副总裁兼加速业务总经理Ian Buck表示：“未来人工智能将触及每种产品和服务并为之带来改进，我们的客户正在朝此方向发展。NVIDIA TensorRT超大规模平台的设计旨在实现这一目标，即比以往设想的更快、更高效。”每天大规模数据中心都会处理数以亿计的语音查询、翻译、图像、视频、推荐和社交媒体交互。所有这些应用的处理过程都需要在位于服务器上不同类型的神经网络进行。

    为优化数据中心以实现更高吞吐量和服务器利用率，NVIDIA TensorRT超大规模平台包括实时推理软件和Tesla T4 GPU，处理查询的速度比仅采用CPU时快40倍。

 业界先进的AI推理平台

    NVIDIA TensorRT超大规模平台包括一整套硬件和软件产品，这些产品针对强大、高效的推理进行了优化。关键要素包括：

   NVIDIA Tesla T4 GPU - 搭载320个Turing Tensor Core和2560个CUDA® Core，这款全新GPU具有突破性的性能，以及灵活的多精度功能，从FP32到FP16再到INT8及INT4。它采用高能效的75瓦小型PCIe封装，可轻松适用于大多数服务器。FP16的峰值性能为65 teraflops，INT8为130 teraflops，INT4为260 teraflops。

   NVIDIA TensorRT 5 - 推理优化器和运行时引擎，NVIDIA TensorRT 5支持Turing Tensor Core，并对适用于多精度工作负载的神经网络优化集进行了扩展。

   NVIDIA TensorRT推理服务器 - 这一容器化的微服务软件使应用能够在数据中心生产中采用AI模型。其在NVIDIA GPU Cloud容器注册中免费提供，可实现数据中心吞吐量和GPU利用率的最大化，支持所有常用AI模型和框架，并集成了Kubernetes和Docker。

                          本文转载自英伟达NVIDIA企业解决方案