英伟达宣布 TensorRT 登陆 Windows，为消费类 PC 带来巨大的 AI 性能提升(英伟达宣布不岀售中国)

10月18日消息:在过去的一年里，生成式人工智能已经成为一种变革趋势。随着其快速增长和可用性的不断提高，消费者现在拥有简化的界面和用户友好的工具，可以利用 GPU 优化的人工智能、机器学习和高性能计算 (HPC) 软件的强大功能。

英伟达已经在拥有大量 GPU 的数据中心实现了大部分人工智能革命，现在它正在将其引入全球超过 1 亿台 Windows PC 上基于 RTX 的 GPU。将 AI 集成到主要 Windows 应用程序中已经经历了五年的历程，GeForce RTX 和 Nvidia RTX GPU 中的专用 AI 处理器（称为 Tensor Core）推动了 Windows PC 和工作站上的生成式 AI 功能。

现在英伟达宣布将支持其 TensorRT-LLM SDK 适用于 Windows 以及 Stable Diffusion 等模型，以使大型语言模型（LLM）和相关工具运行更快。

TensorRT 加速了推理过程，即通过预训练信息进行计算，以得出结果，比如生成新的 Stable Diffusion 图像。通过这款软件，英伟达希望在生成式人工智能的领域扮演更重要的角色。

TensorRT-LLM 将 LLMs（如 Meta 的 Llama 2）和其他 AI 模型（如 Stability AI 的 Stable Diffusion）进行分解，以在英伟达的 H100 GPU 上运行更快。该公司表示，通过运行 LLMs，TensorRT-LLM 能够「显著改善更复杂的 LLM 用途的体验，比如写作和编码助手」。

这样，英伟达不仅可以提供训练和运行 LLMs 所需的 GPU，还可以提供软件，使模型能够更快地运行和工作，以使用户不再寻求其他方法来提高生成式人工智能的成本效益。该公司表示，任何希望使用或集成该软件的人都可以公开使用 TensorRT-LLM，并可以在其官网上访问 SDK。

英伟达已经几乎垄断了用于训练 LLMs（如 GPT-4）的强大芯片市场，要训练和运行 LLM 通常需要大量 GPU。对其 H100 GPU 的需求已经急剧增加，估计价格已经达到每片 40000 美元。该公司宣布将在明年推出其 GPU 的新版本——GH200。这使得英伟达的收入在第二季度达到 135 亿美元。

但是，生成式人工智能的世界发展迅速，已经出现了不需要大量昂贵 GPU 的运行 LLM 的新方法。微软和 AMD 等公司宣布将推出自己的芯片，减少对英伟达的依赖。

各家公司都把目光投向了人工智能开发的推理领域。AMD 计划收购软件公司 Nod.ai，以帮助 LLMs 专门在 AMD 芯片上运行，而像 SambaNova 这样的公司已经提供了使模型更容易运行的服务。

目前，英伟达仍然是生成式人工智能领域的硬件领军企业，但看起来它已经在谋求一个人们不必依赖购买大量 GPU 的未来。