點亮未來：TensorRT-LLM 更新加速 AI 推理性能，支持在 RTX 驅動的 Windows PC 上運行新模型

微軟Ignite全球技術大會發布的新工具和資源包括OpenAIChatAPI的TensorRT-LLM封裝接口、RTX驅動的性能改進DirectMLforLlama2、其他熱門LLM

WindowsPC上的AI標誌著科技史上的關鍵時刻,它將徹底改變玩家、創作者、主播、上班族、學生乃至普通PC用戶的體驗。

AI為1億多台采用RTX GPU的Windows PC和工作站提高生產力帶來前所未有的機會。NVIDIA RTX技術使開發者更輕鬆地創建AI應用,從而改變人們使用計算機的方式。

在微軟Ignite大會上發布的全新優化、模型和資源將更快地幫助開發者提供新的終端用戶體驗。

TensorRT-LLM是一款提升AI推理性能的開源軟件,它即將發布的更新將支持更多大語言模型,在RTXGPU8GB及以上顯存的PC和筆記本電腦上使要求嚴苛的AI工作負載更容易完成。

Tensor RT-LLM for Windows即將通過全新封裝接口與OpenAI廣受歡迎的聊天API兼容。這將使數以百計的開發者項目和應用能在RTXPC的本地運行,而非雲端運行,因此用戶可以在PC上保留私人和專有數據。

定製的生成式AI需要時間和精力來維護項目。特別是跨多個環境和平台進行協作和部署時,該過程可能會異常複雜和耗時。

AI Workbench 是一個統一、易用的工具包,允許開發者在 PC 或工作站上快速創建、測試和定製預訓練生成式 AI 模型和 LLM。它為開發者提供一個單一平台,用於組織他們的AI項目,並根據特定用戶需求來調整模型。

這使開發者能夠進行無縫協作和部署,快速創建具有成本效益、可擴展的生成式AI模型。加入搶先體驗名單,成為首批用戶以率先了解不斷更新的功能,並接收更新信息。

為支持AI開發者,NVIDIA與微軟發布DirectML增強功能以加速最熱門的基礎AI模型之一的Llama2。除了全新性能標準,開發者現在有更多跨供應商部署可選。

便攜式AI

10月,NVIDIA發布TensorRT-LLMfor Windows -- 一個用於加速大語言模型(LLM)推理的庫。

本月底發布的TensorRT-LLMv0.6.0 更新將帶來至高達5倍的推理性能提升,並支持更多熱門的LLM,包括全新Mistral7B和Nemotron-38B。這些LLM版本將可在所有采用8GB及以上顯存的GeForceRTX30係列和40係列GPU上運行,從而使最便攜的WindowsPC設備也能獲得快速、準確的本地運行LLM功能。

TensorRT-LLM v0.6.0 帶來至高達5倍推理性能提升

新發布的TensorRT-LLM可在/NVIDIA/TensorRT-LLM GitHub代碼庫中下載安裝,新調優的模型將在ngc.nvidia.com提供。

從容對話

世界各地的開發者和愛好者將OpenAI的聊天API廣泛用於各種應用——從總結網頁內容、起草文件和電子郵件,到分析和可視化數據以及創建演示文稿。

這類基於雲的AI麵臨的一大挑戰是它們需要用戶上傳輸入數據,因此對於私人或專有數據以及處理大型數據集來說並不實用。

為應對這一挑戰,NVIDIA即將啟用TensorRT-LLM for Windows,通過全新封裝接口提供與OpenAI廣受歡迎的ChatAPI類似的API接口,為開發者帶來類似的工作流,無論他們設計的模型和應用要在RTXPC的本地運行,還是在雲端運行。隻需修改一兩行代碼,數百個AI驅動的開發者項目和應用現在就能從快速的本地AI中受益。用戶可將數據保存在PC上,不必擔心將數據上傳到雲端。

使用由 TensorRT-LLM 驅動的 Microsoft VS Code 插件 Continue.dev 編碼助手

https://images.nvidia.cn/cn/youtube-replicates/-P17YXulhDc.mp4

此外,最重要的一點是這些項目和應用中有很多都是開源的,開發者可以輕鬆利用和擴展它們的功能,從而加速生成式AI在RTX驅動的WindowsPC上的應用。

該封裝接口可與所有對TensorRT-LLM進行優化的LLM(如,Llama2、Mistral和NVLLM)配合使用,並作為參考項目在GitHub上發布,同時發布的還有用於在RTX上使用LLM的其他開發者資源。

模型加速

開發者現可利用尖端的AI模型,並通過跨供應商API進行部署。NVIDIA和微軟一直致力於增強開發者能力,通過DirectMLAPI在RTX上加速Llama。

在10月宣布的為這些模型提供最快推理性能的基礎上,這一跨供應商部署的全新選項使將AI引入PC變得前所未有的簡單。

開發者和愛好者可下載最新的ONNX運行時並按微軟的安裝說明進行操作,同時安裝最新NVIDIA驅動(將於11月21日發布)以獲得最新優化體驗。

這些新優化、模型和資源將加速AI功能和應用在全球1億台RTXPC上的開發和部署,一並加入400多個合作夥伴的行列,他們已經發布了由RTXGPU加速的AI驅動的應用和遊戲。

隨著模型易用性的提高,以及開發者將更多生成式AI功能帶到RTX驅動的WindowsPC上,RTXGPU將成為用戶利用這一強大技術的關鍵。

關於NVIDIA
自1993年成立以來,NVIDIA (NASDAQ: NVDA) 一直是加速計算領域的先驅。NVIDIA 1999年發明的GPU驅動了PC遊戲市場的增長,並重新定義了現代計算機圖形,開啟了現代AI時代,正在推動跨市場的工業數字化。NVIDIA現在是一家全棧計算公司,其數據中心規模的解決方案正在重塑整個行業。更多信息,請訪問https://nvidianews.nvidia.com/ 。

# # #

媒體谘詢:

Jade Li

NVIDIA GeForce, Studio PR

郵箱:jadli@nvidia.com