新火種
2023-12-26 
DeepMind開源Sonnet：可在TensorFlow中快速構(gòu)建神經(jīng)網(wǎng)絡(luò)
選自DeepMind作者：Malcolm Reynolds等機器之心編譯參與：李澤南、Ellen Han
昨天，DeepMind 發(fā)布了 Sonnet，一個在 TensorFlow 之上用于構(gòu)建復(fù)雜神經(jīng)網(wǎng)絡(luò)的開源庫。這是繼 DeepMind Lab 后，這家谷歌旗下的公司的又一次開源舉措。Sonnet 的開源意味著 DeepMind 構(gòu)建的模型可以更輕松地與所有開發(fā)者共享。距 DeepMind 做出決定，在整個研究機構(gòu)中使用 TensorFlow(TF) 已將近一年。事實證明這是一個明智的選擇——較之以往，我們很多模型的學(xué)習(xí)速度變得更快，而分布式訓(xùn)練中的嵌入式特征極大地簡化了我們的代碼。同時，我們發(fā)現(xiàn) TensorFlow 的靈活性和自適應(yīng)性使得為特定目的構(gòu)建更高級的框架成為可能，DeepMind 內(nèi)部已經(jīng)開發(fā)了一個框架來用 TF 快速構(gòu)建神經(jīng)網(wǎng)絡(luò)模塊。我們正積極開發(fā)的這個代碼庫以讓它更好地滿足我們的研究需求，今天我們很高興宣布今天它已開源化。我們把這個框架命名為 Sonnet。
自從 2015 年 11 月首次推出以來，圍繞 TensorFlow 出現(xiàn)了許多更高級的庫，使得很多常用任務(wù)得以更快實現(xiàn)。除了和現(xiàn)存的一些神經(jīng)網(wǎng)絡(luò)庫具有許多相似性外，Sonnet 還具有一些根據(jù) DeepMind 的研究需求設(shè)計的特性。和我們 Learning to learn 論文一同發(fā)布的代碼是 Sonnet 的初級版本，其它即將發(fā)布的代碼則基于我們今天發(fā)布的完整庫而完成。將 Sonnet 開源化使其它在 DeepMind 內(nèi)創(chuàng)建的模型得以在社區(qū)中共享，我們也希望社區(qū)能使用 Sonnet 將他們的研究向前推進。在最近幾個月，我們也將自己的旗艦平臺 DeepMind Lab開源化了，并且正和暴雪一同工作來開發(fā)一個開源 API 以支持《星際爭霸 2》中的人工智能研究。還有更多的發(fā)布版即將到來，并且它們將出現(xiàn)在我們新的開源頁面。
與 Torch/NN 類似，Sonnet 庫使用面向?qū)ο蟮姆椒ǎ试S創(chuàng)建定義一些前向傳導(dǎo)計算的模塊。模塊用一些輸入 Tensor 調(diào)用，添加操作到圖里并返回輸出 Tensor。其中一種設(shè)計選擇是通過在隨后調(diào)用相同的模塊時自動重用變量來確保變量分享被透明化處理。在各類文獻中，很多模型都可以被視為分層形式，如可微分神經(jīng)計算機可能包含 LSTM 控制器，可以實現(xiàn)為包含標準線性層。我們已經(jīng)發(fā)現(xiàn)，編寫明確表示子模塊的代碼可以輕松實現(xiàn)代碼重用和快速實驗——Sonnet 可以在內(nèi)部聲明其他子模塊的編寫模塊，或在構(gòu)建時傳遞其他模塊。
我們發(fā)現(xiàn)最有意義的技術(shù)是允許某些模塊在任意嵌套的 Tensors 組中進行操作。循環(huán)神經(jīng)網(wǎng)絡(luò)的最佳表現(xiàn)形式通常是一些異構(gòu) Tensor 的集合，如果表示為一個平面列表則會容易出錯。Sonnet 提供了用于處理這些層次結(jié)構(gòu)的實用工具，這樣在你需要更換另一種 RNN 的時候就不需要繁瑣的代碼更改了。我們已經(jīng)對 TensorFlow 內(nèi)核進行了更改，對這種用例增加了更多支持。
Sonnet 專為 TensorFlow 設(shè)計，因此它不會阻止你訪問 Tensor 和 variable_scope 這樣的底層細節(jié)。用 Sonnet 編寫的模型可以與原始 TensorFlow 代碼，及其他高級庫中的代碼自由融合。
Sonnet 的發(fā)布不是一次性的，我們將持續(xù)更新 Github 以使其符合 DeepMind 的內(nèi)部版本。我們對目前 Sonnet 的功能還有很多想法，它們將陸續(xù)成為現(xiàn)實。我們非常感謝來自開源社區(qū)的貢獻。
安裝步驟
若想安裝 Sonnet，你需要使用 bazel 依靠 TensorFlow 頭文件對這個庫進行編譯。請按照指定步驟安裝 TensorFlow：
該庫兼容Linux/Mac OS X 和Python2.7。TensorFlow 的版本必須至少為 1.0.1。Sonnet 支持 TensorFlow 的 virtualenv 安裝模式，以及 nativ pip 安裝。
安裝 BAZEL
請確保你擁有最新版本的 bazel（至少為 0.4.5 版）
Virtualenv TensorFlow 安裝
如果你想使用 virtualenv，請在安裝時急活你的 virtualenv，或跳過此步驟：
$ source $VIRTUALENV_PATH/bin/activate # bash, sh, ksh, or zsh
$ source $VIRTUALENV_PATH/bin/activate.csh # csh or tcsh
配置 TensorFlow 頭文件
首先復(fù)制 Sonnet 和 TensorFlow 的源代碼作為一個子模塊：
$ git clone --recursive
然后使用 configure:
$ cd sonnet/tensorflow
$ ./configure
$ cd ../
你可以在 TensorFlow 配置期間選擇建議的默認值。注意：這不會修改你現(xiàn)有的 TensorFlow 安裝。這一步是讓 Sonnet 構(gòu)建于 TensorFlow 頭文件上的必要步驟。
構(gòu)建和運行安裝程序
運行安裝腳本，在臨時目錄中創(chuàng)建一個 wheel file：
$ mkdir /tmp/sonnet
$ bazel build --config=opt :install
$ ./bazel-bin/install /tmp/sonnet
pip install 生成的 wheel file:
$ pip install /tmp/sonnet/*.whl
如果已安裝 Sonnet，卸載 wheel file 上之前的 pip install ：
$ pip uninstall sonnet
你可以通過嘗試重采樣（resampler op）這樣的操作來驗證 Sonnet 是否安裝成功：
$ cd ~/
$ python>>> import sonnet as snt>>> import tensorflow as tf>>> snt.resampler(tf.constant([0.]), tf.constant([0.]))
預(yù)計的輸出應(yīng)該是：
<tf.Tensor 'resampler/Resampler:0' shape=(1,) dtype=float32>
當然，如果引入了 ImportError，C++組件未找到時，請確保你沒有導(dǎo)入復(fù)制的源代碼（即在復(fù)制的資源庫外調(diào)用 Python），并在安裝 wheel file 前卸載 Sonnet。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責(zé)任。
