新火種
2024-03-04 
現在哪些AIGC筆記本電腦值得入手：開學季RTX4070筆記本電腦暢快玩轉AI
一、Chat with RTX：部署在本地的聊天機器人應用
往年大學生選購筆記本主要看游戲性能和性價比，但時代不同了，如今不會玩AI就注定無法跟上時代的節奏。對于生成式AI來說，目前主要依賴GPU進行加速，RTX 40系GPU最高可以提供686 TOPS的AI算力，輕松應對各種復雜任務，提升學習效率和工作成果！
正值開學季，NVIDIA聯合諸多游戲本廠商在京東平臺開展了盛大的促銷活動，現在購買RTX筆記本，可享限時優惠！
說到AI，很多人可能第一時間就會想到ChatGPT，只是ChatGPT的服務器在云端，或多或少存在著一些安全隱患。另外普通用戶能用的只有ChatGPT 3.5，更高級的4.0版需要每個月支付20美元（約合人民幣145元）才能使用，對于大多數用戶而言，算是一筆不菲的開銷。
有鑒于此，NVIDIA推出了“ChatwithRTX”，這是一款部署于本地的聊天機器人應用，只要你擁有一塊搭載8GB以上顯存的RTX 30/40顯卡，就可以實現本地、快速、信息定制的生成式AI。
Chat with RTX 可以在Windows RTX PC 和工作站上以本地部署的方式運行，再加上用戶的數據還是保留在本地設備裝置上，因此能夠快速提供查詢結果。與依賴云端環境的 LLM 服務不同，Chat with RTX 讓用戶能夠在 PC 桌面端處理敏感資料，無需分享給第三方或是連接到網絡。
Chat with RTX工具支持包括.txt、.pdf、.doc/.docx和.xml在內的多種文件格式。將應用程序指向含有這些資料的文件夾，Chat with RTX 工具在幾秒鐘內就能將它們載入到資料庫中。
另外，用戶還能加入YouTube視頻和播放列表里的信息。在Chat with RTX里加入視頻網址，用戶便能將這些知識與聊天機器人進行整合，進行上下文查詢。
Chat with RTX可以在Windows RTX PC和工作站上以本地部署的方式運行，再加上用戶的數據還是保留在本地設備裝置上，因此能夠快速提供查詢結果。與依賴云端環境的LLM服務不同的是，Chat with RTX讓用戶能夠在PC桌面端處理敏感資料，無需分享給第三方或是連接到網絡
除了Chat With RTX之外，不久前NVIDIA還對谷歌全新開放式語言模型 Gemma 進行了優化，Chat with RTX 技術演示版也即將支持 Gemma。
該Demo使用檢索增強生成(RAG)和TensorRT-LLM軟件，為用戶提供在本地WindowsRTX PC 上的生成式AI功能。
現在Chat with RTX已經開放了免費下載，只不過安裝的時候需要注意只能安裝在默認文件夾，手動變更安裝路徑會造成安裝失敗。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
