首頁 > Transformer

Transformer

  • 五倍吞吐量，性能全面包圍Transformer：新架構Mamba引爆AI圈

    文章來源：機器之心屹立不倒的 Transformer 迎來了一個強勁競爭者。由無界 AI 生成在別的領域，如果你想形容一個東西非常重要，你可能將其形容為「撐起了某領域的半壁江山」。但在 AI 大模型領域，Transformer 架構不能這么形容，因為它幾乎撐起了「整個江山」。自 2017

  • Transformer不讀《紅樓夢》，上下文長度真的越長越好？

    原文來源：硅星人由無界 AI生成在 Transformer 的自注意力（self-attention）機制中，每個token都與其他所有的token有關聯。所以，如果我們有n個token，那么自注意力的計算復雜性是O(n^2)。隨著序列長度n的增加，所需的計算量和存儲空間會按平方增長，這會

  • 馬斯克讓盜夢空間成真？初創公司用Transformer誘導清醒夢，Neuralink技術操控夢境效果驚人

    原文來源：新智元由無界 AI生成你是否曾有過在自己夢中醒來的奇怪經歷？那時，你還沒有完全清醒，能感覺到周圍有一個夢境，但你已經有足夠的意識，來控制幻影的一部分。對于大約一半的成年人來說，這種「清醒夢」有著非凡的意義，根據調查，他們一生中至少做過一次清醒夢。這就是為什么科技初創公司Proph

  • 簡化版Transformer來了，網友：年度論文

    原文來源：機器之心由無界 AI生成Transformer 架構可以說是近期深度學習領域許多成功案例背后的主力軍。構建深度 Transformer 架構的一種簡單方法是將多個相同的 Transformer 「塊」（block）依次堆疊起來，但每個「塊」都比較復雜，由許多不同的組件組成，需要以

  • Transformer變革3D建模，MeshGPT生成效果驚動專業建模師，網友：革命性idea

    原文來源：機器之心連續「預測下一個 token」能生成句子，同理，連續「預測下一個三角形網格」也能生成 3D 模型。由無界 AI生成在計算機圖形學中，「三角形網格」是 3D 幾何物體的主要表現形式，也是游戲、電影和 VR 界面中主要使用的 3D 資產表示方法。業界通常基于三角形網格來模擬復

  • 黑客帝國真實存在？矩陣模擬！Transformer大模型3D可視化，GPT-3、Nano-GPT每一層清晰可見

    原文來源：新智元由無界 AI生成黑客帝國中，「矩陣模擬」的世界或許真的存在。模擬人類神經元，不斷進化的Transformer模型，一直以來都深不可測。許多科學家都試著打開這個黑盒，看看究竟是如何工作的。而現在，大模型的矩陣世界，真的被打開了！一位軟件工程師Brendan Bycroft制作

  • Transformer王者歸來！無需修改任何模塊，時序預測全面領先

    原文來源：新智元由無界 AI生成近年來，Transformer在自然語言處理以及計算機視覺任務中取得了不斷突破，成為深度學習領域的基礎模型。受此啟發，眾多Transformer模型變體在時間序列領域中被提出。然而，最近越來越多的研究發現，使用簡單的基于線性層搭建的預測模型，就能取得比各類魔