新火種
2023-10-24 
重磅發布，「類腦科學」或是人工智能大語言模型算力消耗與上下文長度問題最優解！
在一場科幻與科學的盛會上，科幻突然照進了現實。近日，在深圳先進院，深圳理工大學教育基金會和科學與幻想成長基金開辦了一場以科幻和AI涌現為背景的活動。一個來自深圳名為陸兮科技的團隊，首次公開發布了他們的人工智能大語言模型---NLM(Neuromorphic Generative Pre-trained Language Model) ，一個不基于Transformer的大語言模型。與國內外眾多的大模型不同的是，該團隊以類腦科學與類腦智能為核心，同時融合循環神經網絡的特性，以大腦的高效運算特性為啟發開發大語言模型。
更驚人的是，該模型在同級別參數下的算力消耗為Transformer架構的1/22；在上下文長度問題上，NLM也交出了滿分答卷：上下文長度窗口可以實現無限增長，無論是開源LLM的2k限制，又或是其他32k，100k的上下文長度限制都不在話下。什么是類腦計算？類腦計算是一種模仿人腦結構和功能的計算模式，它在架構、設計原理和信息處理方式上模擬人腦的神經網絡連接。這種計算不僅僅是簡單地嘗試模擬生物神經網絡的表面特征，而是深入到如何模擬生物神經網絡的基本構造方式——即通過神經元和突觸的大規模互聯來處理和存儲序列信息。與傳統的基于規則的算法不同，類腦計算依賴于大量的互聯神經網絡自主學習和提取信息，就像人類大腦一樣。這種方法允許計算系統從經驗中學習、適應新情況、理解復雜的模式，并能進行高級決策和預測。由于其高度的自適應性和并行處理能力，類腦計算系統在處理大數據、圖像和語音識別、自然語言處理等領域表現出了極高的效率和準確性。這些系統不僅能快速處理復雜多變的信息，而且在能耗和計算資源上遠遠低于傳統的計算架構，因為它們不需要進行大量的預先編程和數據輸入。總的來說，類腦計算開辟了一種全新的計算范式。它超越了傳統的人工神經網絡，向著能夠自我學習、自我組織、甚至具有一定自我意識的高級智能系統邁進。類腦大模型的先進性在活動上，陸兮團隊的周芃博士詳細解釋了類腦大模型的實現機理。作為新一代的神經網絡模型，又稱類腦神經網絡，它突破了前兩代神經網絡的缺點。- 第一代神經網絡（又稱：MLP多層感知機），在傳輸信號上為0和1，無法處理過于復雜的任務，算力開銷也不多。- 第二代神經網絡，也就是人工神經網絡，將傳輸信號變為了[0-1]的連續區間，有了足夠的復雜度，但是算力開銷也飆升。- 第三代神經網絡，也就是類腦神經網絡，將信號變成了脈沖序列，擁有足夠復雜度的同時，也將算力開銷變得可控。這種脈沖序列是模仿神經結構中的動力學特性得以實現的。同時，序列意味著時間，第三代神經網絡可以有效的將信息中的時間信息融合和輸出。- 相較于前兩代神經網絡，它更有效地處理有時間維度的序列信息，更有效地認識真實世界。
基于類腦算法的大模型，在推理時的原理也和Transformer迥然不同。在推理過程中，Transformer模型和類腦模型的運作機制存在顯著差異。每當Transformer模型進行推理時，其將會綜合考慮全部的上下文信息以產生下一個token。這一操作可以類比為在聊天過程中，每當我們說出一個字時，都需要回想當天所有的經歷。這也是目前大型模型在參數持續增長的同時，其計算成本隨之上升的主要原因。相對而言，類腦模型在推理時只需要依賴其內部狀態和一個token。這可以比喻為，我們在說話時脫口而出下一個字是什么，而不必具體回憶之前的所有情境，說話內容也與之前的經歷有內在關聯。此種機制是NLM能大幅減少算力開銷的關鍵，使其能更接近人類大腦的運作方式，并因此顯著提高了其性能。
同樣因為腦啟發的特性，上下文長度有限也不再是令人困擾的問題。使用第三代神經網絡的NLM大模型由于處理下一個token時需要的算力并不跟上下文長度相關，所以不存在上下文長度的瓶頸。公開可用的Transformer架構的大語言模型上下文長度僅為100k，向上增加上下文長度不僅僅是算力開銷的問題，更是“能不能”的問題。NLM無限長度的上下文將可以打開大語言模型應用的想象力之門，無論是研究復雜的財報、閱讀數十萬字的小說，亦或是通過長度無限的上下文來使大模型“更懂你”，都可以成為現實。陸兮團隊眼中的AI在這次活動上，陸兮科技的創始人CTO周芃博士闡釋了團隊在當下的使命-賦智萬物。一個人工智能時代，需要人工智能處處普及，正如互聯網和電力已經在我們的身邊處處可見。目前的人工智能在能力上雖然令人驚嘆，但其運行成本卻為企業和消費者帶來巨大負擔。絕大多數手機、手表、平板和筆記本電腦在當前技術下無法完整、系統、高效、高質量地運行生成式人工智能大語言模型，研發大模型應用的門檻也讓許多有志于此的優秀開發者望而卻步。在活動現場，陸兮科技向觀眾展示了如何在一臺普通安卓手機的離線模式下使用「NLM-GPT」大模型完成工作與生活中常見的各項任務，將活動推向了高潮。- 參與演示的手機搭載了市面上常見的芯片架構，與C端市場常見安卓機型的性能相仿。在手機處于飛行模式、未連接網絡的前提下，陸兮科技展示了「NLM- GPT」大模型在這臺手機上與用戶實時對話、回答用戶提出的問題、完成包括詩詞創作、菜譜撰寫、知識檢索、文件解讀等復雜程度高、對手機硬件性能參數要求較高、傳統意義上需要聯網才能完成的各項指令。- 整個演示過程中，手機的能耗平穩，對正常待機時長影響極低，對手機整體使用性能未造成任何影響。- 該演示成功證明了「NLM-GPT」大模型擁有在諸如智能手機、平板電腦等小型C端商用設備中全場景、高效率、低功耗、零流量消耗運行的潛力。這意味著，得益于「NLM-GPT」大模型的賦能，手機、手表、平板、筆記本電腦等設備可以更加準確高效地理解人類的真實意圖，在辦公、學習、社交、娛樂等各類應用場景下更高質量地完成人類提出的各項指令與任務，極大地提升社會生產和人類生活的效率與質量。陸兮科技認為，「類腦科技」驅動的「生成式人工智能大語言模型」將全面拓展人類在學習、工作和生活等各個領域的思維力、感知力和行動力，提升全人類的整體智慧。得益于類腦科技的賦能，人工智能將不再是替代人類的新智能體，而是會成為人類改變世界、創造更加美好未來的高效智能工具。正如古人訓練了獵犬和獵鷹，但獵人這一職業并不會因為獵犬和獵鷹的出現而消失。相反，獵人因此獲益，掌握了獵犬和獵鷹所擁有的、人類自身并不具有的力量，更高效地獲取獵物、為人類族群的壯大和人類文明的發展提供了動力和養分。在未來，在日常工作生活中應用人工智能大語言模型將不再是一項復雜的多流程系統工程，而是將如同「結賬時打開付款碼」、「拍照時按下快門」、「刷短視頻時一鍵三連」一般簡單、自然、流暢。陸兮團隊將會持續耕耘于類腦計算領域，深入研究大腦這個大自然送給人類最寶貴的禮物，將類腦智能帶入日常生活。也許，在不久的將來，人類會擁有更多的人工智能新伙伴。他們身體里不流淌血液，他們的智慧不會取代人類。在類腦技術的加持下，他們將會與我們一起，共同探索宇宙的奧秘，拓寬社會的邊界，創造更加美好的未來。聲明：本文為推廣信息，不代表本網觀點，如有違規或您認為該頁面內容侵犯您的權益，請聯系我們，我們將及時處理。
更驚人的是，該模型在同級別參數下的算力消耗為Transformer架構的1/22；在上下文長度問題上，NLM也交出了滿分答卷：上下文長度窗口可以實現無限增長，無論是開源LLM的2k限制，又或是其他32k，100k的上下文長度限制都不在話下。什么是類腦計算？類腦計算是一種模仿人腦結構和功能的計算模式，它在架構、設計原理和信息處理方式上模擬人腦的神經網絡連接。這種計算不僅僅是簡單地嘗試模擬生物神經網絡的表面特征，而是深入到如何模擬生物神經網絡的基本構造方式——即通過神經元和突觸的大規模互聯來處理和存儲序列信息。與傳統的基于規則的算法不同，類腦計算依賴于大量的互聯神經網絡自主學習和提取信息，就像人類大腦一樣。這種方法允許計算系統從經驗中學習、適應新情況、理解復雜的模式，并能進行高級決策和預測。由于其高度的自適應性和并行處理能力，類腦計算系統在處理大數據、圖像和語音識別、自然語言處理等領域表現出了極高的效率和準確性。這些系統不僅能快速處理復雜多變的信息，而且在能耗和計算資源上遠遠低于傳統的計算架構，因為它們不需要進行大量的預先編程和數據輸入。總的來說，類腦計算開辟了一種全新的計算范式。它超越了傳統的人工神經網絡，向著能夠自我學習、自我組織、甚至具有一定自我意識的高級智能系統邁進。類腦大模型的先進性在活動上，陸兮團隊的周芃博士詳細解釋了類腦大模型的實現機理。作為新一代的神經網絡模型，又稱類腦神經網絡，它突破了前兩代神經網絡的缺點。- 第一代神經網絡（又稱：MLP多層感知機），在傳輸信號上為0和1，無法處理過于復雜的任務，算力開銷也不多。- 第二代神經網絡，也就是人工神經網絡，將傳輸信號變為了[0-1]的連續區間，有了足夠的復雜度，但是算力開銷也飆升。- 第三代神經網絡，也就是類腦神經網絡，將信號變成了脈沖序列，擁有足夠復雜度的同時，也將算力開銷變得可控。這種脈沖序列是模仿神經結構中的動力學特性得以實現的。同時，序列意味著時間，第三代神經網絡可以有效的將信息中的時間信息融合和輸出。- 相較于前兩代神經網絡，它更有效地處理有時間維度的序列信息，更有效地認識真實世界。基于類腦算法的大模型，在推理時的原理也和Transformer迥然不同。在推理過程中，Transformer模型和類腦模型的運作機制存在顯著差異。每當Transformer模型進行推理時，其將會綜合考慮全部的上下文信息以產生下一個token。這一操作可以類比為在聊天過程中，每當我們說出一個字時，都需要回想當天所有的經歷。這也是目前大型模型在參數持續增長的同時，其計算成本隨之上升的主要原因。相對而言，類腦模型在推理時只需要依賴其內部狀態和一個token。這可以比喻為，我們在說話時脫口而出下一個字是什么，而不必具體回憶之前的所有情境，說話內容也與之前的經歷有內在關聯。此種機制是NLM能大幅減少算力開銷的關鍵，使其能更接近人類大腦的運作方式，并因此顯著提高了其性能。同樣因為腦啟發的特性，上下文長度有限也不再是令人困擾的問題。使用第三代神經網絡的NLM大模型由于處理下一個token時需要的算力并不跟上下文長度相關，所以不存在上下文長度的瓶頸。公開可用的Transformer架構的大語言模型上下文長度僅為100k，向上增加上下文長度不僅僅是算力開銷的問題，更是“能不能”的問題。NLM無限長度的上下文將可以打開大語言模型應用的想象力之門，無論是研究復雜的財報、閱讀數十萬字的小說，亦或是通過長度無限的上下文來使大模型“更懂你”，都可以成為現實。陸兮團隊眼中的AI在這次活動上，陸兮科技的創始人CTO周芃博士闡釋了團隊在當下的使命-賦智萬物。一個人工智能時代，需要人工智能處處普及，正如互聯網和電力已經在我們的身邊處處可見。目前的人工智能在能力上雖然令人驚嘆，但其運行成本卻為企業和消費者帶來巨大負擔。絕大多數手機、手表、平板和筆記本電腦在當前技術下無法完整、系統、高效、高質量地運行生成式人工智能大語言模型，研發大模型應用的門檻也讓許多有志于此的優秀開發者望而卻步。在活動現場，陸兮科技向觀眾展示了如何在一臺普通安卓手機的離線模式下使用「NLM-GPT」大模型完成工作與生活中常見的各項任務，將活動推向了高潮。- 參與演示的手機搭載了市面上常見的芯片架構，與C端市場常見安卓機型的性能相仿。在手機處于飛行模式、未連接網絡的前提下，陸兮科技展示了「NLM- GPT」大模型在這臺手機上與用戶實時對話、回答用戶提出的問題、完成包括詩詞創作、菜譜撰寫、知識檢索、文件解讀等復雜程度高、對手機硬件性能參數要求較高、傳統意義上需要聯網才能完成的各項指令。- 整個演示過程中，手機的能耗平穩，對正常待機時長影響極低，對手機整體使用性能未造成任何影響。- 該演示成功證明了「NLM-GPT」大模型擁有在諸如智能手機、平板電腦等小型C端商用設備中全場景、高效率、低功耗、零流量消耗運行的潛力。這意味著，得益于「NLM-GPT」大模型的賦能，手機、手表、平板、筆記本電腦等設備可以更加準確高效地理解人類的真實意圖，在辦公、學習、社交、娛樂等各類應用場景下更高質量地完成人類提出的各項指令與任務，極大地提升社會生產和人類生活的效率與質量。陸兮科技認為，「類腦科技」驅動的「生成式人工智能大語言模型」將全面拓展人類在學習、工作和生活等各個領域的思維力、感知力和行動力，提升全人類的整體智慧。得益于類腦科技的賦能，人工智能將不再是替代人類的新智能體，而是會成為人類改變世界、創造更加美好未來的高效智能工具。正如古人訓練了獵犬和獵鷹，但獵人這一職業并不會因為獵犬和獵鷹的出現而消失。相反，獵人因此獲益，掌握了獵犬和獵鷹所擁有的、人類自身并不具有的力量，更高效地獲取獵物、為人類族群的壯大和人類文明的發展提供了動力和養分。在未來，在日常工作生活中應用人工智能大語言模型將不再是一項復雜的多流程系統工程，而是將如同「結賬時打開付款碼」、「拍照時按下快門」、「刷短視頻時一鍵三連」一般簡單、自然、流暢。陸兮團隊將會持續耕耘于類腦計算領域，深入研究大腦這個大自然送給人類最寶貴的禮物，將類腦智能帶入日常生活。也許，在不久的將來，人類會擁有更多的人工智能新伙伴。他們身體里不流淌血液，他們的智慧不會取代人類。在類腦技術的加持下，他們將會與我們一起，共同探索宇宙的奧秘，拓寬社會的邊界，創造更加美好的未來。聲明：本文為推廣信息，不代表本網觀點，如有違規或您認為該頁面內容侵犯您的權益，請聯系我們，我們將及時處理。 相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
