新火種
2024-12-11 
微軟「AI伴侶」CopilotVision，讓你用嘴瀏覽網頁，還能和你一起打游戲
昨天，就在 OpenAI 12 天連發的第一天發布火遍全網的同時，微軟也發布了一款重量級 AI 產品：Copilot Vision。這是一款集成在 Edge 瀏覽器中的 AI 助手，可以與你實時「協作上網」，并能隨時提供幫助。
微軟 AI CEO Mustafa Suleyman 的推文。
據微軟博客介紹：「Copilot 現在可以理解您在線活動的全部上下文。當您選擇啟用 Copilot Vision 時，它會查看您正在瀏覽的頁面，并與您一起閱讀，然后你們可以一起討論遇到的問題。瀏覽不必再是一種只有您和所有標簽頁的孤獨體驗?！剐枰⒁?，目前 Copilot Vision 僅有數量有限的 Pro 版訂閱者可以搶先使用。Copilot Vision 發布后，雖然沒能得到 OpenAI ο1 正式版那樣的關注，但也有些 Copilot Labs 的 Pro 用戶進行了嘗試。
Copilot Vision 發布后不久，微軟 AI CEO Mustafa Suleyman 還接受了著名 AI Newsletter「The Rundown AI」運營者 Rowan Cheung 的專訪，他在其中介紹了 Copilot Vision 的基本功能和工作方式以及其它很多話題。他在介紹 Copilot Vision 時使用了「AI 伴侶（AI companion）」這個詞。
詳細采訪請訪問：https://x.com/rowancheung/status/1864716671317086384AI 伴侶正是他們想要達成的目標。Suleyman 指出：「在我看來，AI 伴侶能聽你所聽，見你所見，本質上就是陪同你一起生活。你的 AI 伴侶有能力記憶你說過的一切，理解你瀏覽的網頁內容，還能夠像人一樣與你交談。」值得一提的是，Copilot Vision 是一項完全可選的體驗，用戶必須明確授予 Copilot Vision 權限才能讀取 Microsoft Edge 瀏覽器中的網頁。例如，讓它幫助你計劃如何在博物館度過有趣的一天，Copilot Vision 會在你參觀之前指出你需要知道的所有信息。
或者 Vision 可以幫助你進行假日購物，指出頁面上哪些產品符合自己的需求和偏好。下面更詳細地展示了一個旅行規劃的演示：
Vision 甚至可以簡化信息和學習。觀看 Vision 幫助你學習如何玩新游戲，例如 Geoguessr。
至于 Copilot Vision 的工作方式，微軟暫時并未詳細說明，但 Suleyman 在接受采訪時稍微透露了一些。Copilot Vision 包含三個組件：一是底層 LLM，它具備網絡上的知識。第二，它能即時讀取你正在瀏覽的網頁上的所有文本，并且無需用戶執行滾動等操作。第三，它能看到你能看到的所有圖片，實現多模態理解。Suleyman 還簡單預測了十年后人們的智能生活。他指出，現在人們常用的計算機圖形界面就是為不懂編程的人設計的，而十年之后，這些東西將被 AI 接替，因為 AI 助手或 AI 伴侶將有能力理解有關你的一切，不管是情緒狀態還是日程安排，又或是興趣愛好、個人知識圖譜、人際關系。它們還能根據我們日常的所見所聞、所思所想進行推理。AI 將「不僅僅是一個交互接口，而是一個新的連接面，將會有根本性的不同。」Suleyman 甚至將其比作是一個新的數字種族（new digital species），就像是人們的一個家庭成員或第二大腦。
隱私安全微軟也強調了對安全的重視，該公司稱在構建 Copilot Vision 時，將用戶的安全、控制和隱私作為首要任務。首先，Vision 完全是選擇性加入的，因此用戶可以決定何時啟用或打開它，作為用戶在網絡上的第二雙眼睛。此外，一旦用戶結束與 Vision 的會話，有關用戶所說內容以及用戶與 Copilot 共享的上下文的所有數據都將被刪除。每次使用 Vision 時，用戶的數據都會根據 Microsoft 隱私聲明進行處理和保護。僅記錄 Copilot 的響應以改進安全系統。目前，Vision 僅能與一組選定的網站進行交互。隨著時間的推移，微軟會謹慎地擴大這個網站列表。微軟承諾，Vision 不會捕獲、存儲或使用來自出版商的任何數據來訓練模型。對于這個被 OpenAI o1 光芒掩蓋的產品發布，你有什么看法？
參考鏈接：https://www.microsoft.com/en-us/microsoft-copilot/blog/2024/12/05/copilot-vision-now-in-preview-a-new-way-to-browse/https://x.com/rowancheung/status/1864716671317086384?t=688
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
