生成式 AI 的领域取得了重大进展，NVIDIA 在推动这一创新方面发挥着关键作用。GeForce RTX 和 NVIDIA RTX GPU 的推出將為超過 100 億台 Windows PC 和工作站帶來生成式 AI，標誌著個人計算的重要趨勢。这些GPU在加速AI方面发挥了重要作用，Windows的TensorRT-LLM的引入使PC上的生成AI速度提高了4倍。
GeForce RTX With TensorRT-LLM
生成式人工智能是人工智能和其他软件新管道的核心，可以自动分析数据并生成大量内容。像Llama 2和Code Llama这样的大型语言模型（LLM）是这些发展的核心。TensorRT-LLM的使用加速了LLM推理，使LLM在RTX驱动的Windows PC上的运行速度提高了4倍。当将LLM功能与其他技术集成时，这种加速特别有益，例如在检索增强生成（RAG）中，LLM与矢量库或矢量数据库配对。
NVIDIA发布了帮助开发人员加速LLM的工具。其中包括使用 TensorRT-LLM 优化自定义模型的脚本、TensorRT 优化的开源模型和开发人员参考项目。这些工具使开发人员更容易实现和优化这些模型，从而为该领域的增长和发展做出贡献。
生成式 AI 性能增强
TensorRT加速的重要应用之一是通过Automatic1111分布在流行的Web UI中进行稳定扩散。此应用程序将生成式 AI 扩散模型的速度提高了之前最快的实现速度的 2 倍。稳定扩散是图像生成中使用的一种扩散模型，TensorRT 提供的加速使其更高效、更快速。
除了加速LLMs，NVIDIA还推出了RTX视频超分辨率（VSR）版本1.5，以提高视频质量。RTX VSR是AI像素处理的突破，通过减少或消除视频压缩引起的伪影来提高流视频内容的质量。更新后的版本进一步提高了视觉质量，去除了以原始分辨率播放的内容，并增加了对基于 NVIDIA 图灵架构的 RTX GPU 的支持。
NVIDIA 的软件、工具、库和 SDK 已帮助消费者带来了 400 多种支持 AI 的应用程序和游戏。该公司已经在 ngc.nvidia.com 和GitHub等平台上提供了TensorRT优化的开源模型和RAG演示。这些资源旨在帮助开发人员进一步探索和利用生成式 AI 和 AI 加速工具的功能。
展望未來，NVIDIA 計劃從 NVIDIA Developer 網站提供 TensorRT-LLM 下載。此举有望进一步使对这些先进工具的访问民主化，并促进生成式人工智能的发展和应用。
NVIDIA在生成AI和AI加速工具方面的进步，特别是通过引入GeForce RTX，NVIDIA RTX GPU和TensorRT-LLM，对该领域产生了重大影响。这些进步不仅加速了人工智能的发展，还改善了所有用户的日常 PC 体验。随着 NVIDIA 不断创新和发布新工具，生成式 AI 和 AI 加速的潜在应用和优势将进一步扩大。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun261266.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 