新火種
2023-10-28 
【CISPA張陽分享】量化機器學習模型的隱私風險
IEEE x ATEC
IEEE x ATEC科技思享會是由專業技術學會IEEE與前沿科技探索社區ATEC聯合主辦的技術沙龍。邀請行業專家學者分享前沿探索和技術實踐，助力數字化發展。
在萬物互聯的大數據時代，數據鏈接了我們生活的方方面面。一方面，大數據極大便利了我們的工作與生活；另一方面，數據的海量化也增加了諸多隱私信息泄露的風險與挑戰。本期科技思享會邀請到了四位重磅嘉賓，共同圍繞“隱私保護的前沿技術及應用”這個主題，分別從機器學習算法、通訊協議、APP及操作系統等不同層面，就隱私安全風險及技術創新應用展開討論。
以下是德國CISPA亥姆霍茲信息安全中心研究員張陽的演講《量化機器學習模型的隱私風險》。
演講嘉賓 |張 陽
德國CISPA亥姆霍茲信息安全中心研究員
ATEC科技精英賽高級咨詢委員會專家
《量化機器學習模型的隱私風險》
大家好，我是張陽，我來自德國亥姆霍茲信息安全中心。今天我分享的主題是《量化機器學習模型的隱私風險》。
我們已經進入了機器學習的時代，機器學習的模型被應用在諸多領域，包括自動駕駛車、人臉識別、家庭智能助手在內的一系列應用都是由機器學習來提供技術支持。
機器學習在過去20年有了長足的發展，核心原因是智能化時代每時每刻每分每秒都在產生大量的數據，因為數據的質量、數據的精細度越來越好，我們的模型表現也越來越好。但很多情況下，機器學習模型基于有隱私風險的數據進行訓練，比如醫生用生物樣本去判斷疾病，或者更常見的例子是當我們每天用各種各樣的軟件打字，會發現一段時間以后，我們打出字的下一個提示詞會越來越準確。因為機器每天在學習你會打出什么樣的句子，它把這些數據學習了以后會反饋給模型，讓模型表現得更好。雖然機器學習應用越來越強大，大家生活也會越來越方便。但換一個角度想，這些數據包括了很多隱私信息，如果機器學習模型訓練好之后隱私數據泄露了，就會造成很大的風險。
所謂量化機器學習模型隱私風險的研究方向，就是在研究一個機器學習模型訓練好后會不會泄露它的數據隱私。
今天的Talk會分為三個部分。我首先會分享成員推理攻擊，第二會分享數據重構攻擊，第三個是分享鏈路竊取攻擊。其中，第二個分享是針對特殊的在線學習，第三個分享是針對于一種特殊的神經網絡模型，叫圖神經網絡。
Membership Inference
我給大家講數據成員推理攻擊之前會給大家快速回顧一下機器學習的一個簡單流程。現在做機器學習比以前要簡單得多，你只需在網上下載一個你最愛的數據集，然后打開你喜歡用的庫，選你最喜歡的模型，再把數據集拿到模型上訓練。模型訓練好之后，（比如說做一個圖片分類模型）拿一張圖片放到這個模型里去，這個模型會告訴我：這個圖片有80%概率是一只熊貓，10%是一只狗，10%是一只貓，這就是很典型的機器學習流程。
所謂的成員推理攻擊（Membership Inference），就是我想知道這一張圖片是不是在原模型的訓練集里。而從一個攻擊者的角度，你只能去用這張圖片去探測模型產生它的輸出，然后用這個輸出來判斷它是member還是非member。你當然是沒有原始數據信息的，因為如果有原始數據信息，只要輕松地做一個查表，攻擊就可以完成。
我今天分享的是我們2019年的一篇paper《ML Leaks》，我們不是第一個做成員推理攻擊的小組，第一個做的大約是2017年Cornell Attack的一個組。我給大家快速回顧一下他們的工作：我有一個Target Model，和一個Target數據集，假設本地攻擊者有一個Shadow數據集，這個數據集和Target數據集來自于同分布的。攻擊者把它的Shadow數據集分成兩部分，Training和Testing。訓練集就訓練一堆所謂的Shadow Models（影子模型）。這里的影子模型的影子是指Target Model的影子。如果Target Model是一個貓、狗、熊貓的三分類，那么影子模型也是貓、狗、熊貓的三分類。你也可以假設它的影子模型的結構和Target Model也是一樣的。
如果Shadow Models訓練好了以后，再把訓練集和測試集全部送入Shadow Models，會產生訓練集和測試集里每一個sample的output值。所有Shadow訓練集，就是Shadow Models的成員，所有的Shadow Models的測試集，就是Shadow Models的非成員。這么做就產生了label的數據集，可以去訓練攻擊模型。成員推理攻擊是一個二分類，一個sample只可以是member或非member，沒有第三種可能性。所以，所有的Shadow Models、一整套的流程、一系列的操作只是為了構建數據集去訓練Attack Model。這里Attack Model（攻擊模型）也是一個機器學習模型。因為我的目標還是想知道這個熊貓圖片（sample）是不是Target Model的一部分。那我把這個圖片送到Model里去，Target Model產生了output，我把output放入攻擊模型里去，攻擊模型就可以告訴我這是不是一個成員。
成員推理攻擊之所以可以成功，核心原因就是過擬合。所謂的過擬合就是一個Model訓練好以后，它會對訓練過的圖片（數據）更加自信，而對沒見過的圖片（數據）沒有那么自信。通過這個“自信”的區別，就可以區分出一個圖片是member還是非member。這個work便是Shokri et al.大約2017年做的，他們是第一個work。這個work里邊有三個假設：第一個是攻擊者本地有個數據集和原來的Model數據集是來自于同分布，這個假設當然沒有問題，但問題是這個假設比較強。因為如果真的攻擊一個頂級的互聯網公司，它背后有大量的數據訓練Model，它的數據集質量非常高，很難去要求一個攻擊者有一個同樣質量、甚至同分布的數據集，這個是很難的。第二個假設、第三個假設的前提是攻擊者需要建立一堆影子模型和一堆攻擊模型。而我們要做的是怎么去放松這些假設，把它做一個輕量級的成員推理攻擊。如果我們輕量級的成員推理攻擊也可以成功且表現得和原來差不多，那就證明了Attack可以通過很簡單的方法進行攻擊，而這就造成這個Attack對現實生活中的ML Model的威脅會相應地變大。因為你的攻擊可以變得更簡單，并達到同樣的效果。
通過這個思路，我們做了三個攻擊。第一個攻擊本地訓練一個Shadow Model、訓練一個Attack Model。
結果左邊是Attack Precision，右邊是Attack Recall。因為Membership Influence是二分類攻擊，只可以是member或非member。綠色的柱子是我們的攻擊，就是一個Shadow Model,一個Attack Model。藍色的柱子是原來的攻擊，多個Shadow Models，多個Attack Models。你會發現Precision、Recall在十幾個數據集上表現差不多。就證明你不需要多個Shadow Models和多個Attack Models，一個就夠。這種情況下，攻擊者就省了很多的計算資源。
但這不是最核心、最要緊的假設，最要緊的假設還是Attacker在本地有一個和Target Model同分布的數據集。
那怎么去掉這個假設呢？
我們的方法是在本地找一個完全不相關的數據集，甚至模態都不相關。比如Target Model是一個image數據，我們在本地找一個自然語言數據集，它的數據形式表現都不一樣。Target Model可能是一個三維的矩陣或者叫Tensor（張量），而本地只是一堆字符串。本地生成自然語言處理器，只要把數據集換了，剩下的操作一點不變，這樣我們的攻擊可以在多種情況下成功。
首先看一下結果，同樣的，左邊是Precision，右邊是Recall。成員推理攻擊二分類，所有這兩個矩陣對角線上的點，就是Attack1的result，用同分布數據集去攻擊同分布數據集。所有不在對角線的點，是非同分布數據集去攻擊另一個數據集，即兩個不相關的數據集相互攻擊。你會發現多種情況下，兩個圖里顏色越深表現越好。總體來說，對角線表現當然是比較好的，但是好多情況下非對角線也表現得非常好，這就意味著Transfer Attack在大部分數據集上表現都會很好。
那這個攻擊為什么可以成功呢？
是因為我們的攻擊模型的input并不是一個圖片或一篇文章，也不是一堆自然語言的字符串。我們的input是一個sample放到Target Model里去產生output的最大三維。
左邊有一個圖是它的TSNE plot。我們找了兩個數據集，一個叫CIFAR-100、一個叫News 。CIFAR-100是一個圖片數據集，News是一個自然語言數據，這是他們二維的分布。他們原來的維度是三維，這個三維是他們對應的Attack Model的input。比如說每個點對應的Attack Model的最大三維的后驗概率。M意味著member，Non-M意味著Non-member。你會發現， CIFAR-100的member和Non-member分得比較開，News的member和Non-member分得也比較開。而更有意思是News的member與CIFAR-100的member基本處于一個區域，同樣Non-member也處于一個區域。這就意味著如果本地的Shadow數據集，比如說CIFAR-100是圖片數據集,通過這個數據集訓練拿到的數據，然后訓練Attack Model，可以把CIFAR-100的member和Non-member分開。那么這條線也自然而然可以把News的member和Non-member分開。
這就是為什么我們的Transfer Attack可以完成的原因。究其原因是我們并沒有轉換數據集，只是轉換了Model和Model之間的Overfitting Behavior。或者換句話說，都對他的member過擬合了，那就意味著它們的Overfitting Behavior是比較相似的。就是說一個Model對一個member，自信度非常高。那么另一個Model對它的member的自信度也非常高。這兩個自信度差值不大，就促成了我們的攻擊可以進行，這是我們的第二大Attack。
我整個Talk都在講成員推理攻擊的核心就是過擬合。那么第三個Attack，我們是不是可以把它做得更簡單。因為過擬合完全可以只通過從Target Model產生output的postulate來體現。我們第三個Attack，不需要任何的Shadow Model，也不需要訓練任何的Attack Model，你只需要把想確認的圖片放入Target Model，在它最大的一維后驗概率上設一個閾值，比如設成70%。現在最高的值是80%，80%高于70%。那我就認為這是一個member。這個Attack是最簡單的，而且需要的資源是最少的。我們有一個怎么去自定義或者說怎么去尋找閾值的方式，今天時間有限就先不講了，大家可以在這個paper里找到。
我已經介紹了三個Attack，Attack1已經比最原始的Attack簡單。Attack2就更簡單，因為其假設更少，本地不需要它的Shadow Dataset，Target Model Dataset是同一數據集的。Attack3可能更簡單，因為它根本就不需要任何的Shadow數值集。這種情況下，我把三個Attack的表現放在一起比，Attack1和Attack2表現差不多（看左邊的Precision和 Recall），Attack3在Precision上似乎差一點，但在Recall上比較強。如果我們的閾值再調得好一點，三個Attack會表現差不多。
這意味著什么呢？三種攻擊表現差不多，一種攻擊比一種攻擊需要的資源少，就證明了成員推理攻擊在一個很簡練的情況下就可以被進行，說明了這個攻擊對現實生活中產生的威脅會更大。
再講一個我們在CCS2021的工作。我們之前講的成員推理攻擊，包括現在主流的大量的成員推理攻擊，都有一個假設，即Target Model給你完整的postulate。比如說80%的熊貓，10%的狗，10%的貓。如果我們沒有那個假設(因為很多情況下機器學習Model，可能只給你一個比較簡單的Label),如果只給你一個Label告訴你這是一個熊貓，這種情況下還能做成員推理攻擊嗎？
過去的幾年里，我們一直認為這是不可能的。但是去年我們發現，實際上這個也是可能的。在座的各位可能有好多是Trustworthy Machine Learning的專家。
大家做這個領域，一定聽過一個叫做對抗樣本的攻擊。對抗樣本和成員推理攻擊，是兩個完全不同的技術。對抗樣本更接近于對Model的攻擊，成員推理攻擊是隱私方面的攻擊。但對抗樣本是一個很常見的東西，就是對一個正常的、黑盒的Target Model，有一個圖片放到Target Model里去，它告訴我這個是熊貓。對抗樣本攻擊會找一個方法自動產生一些噪音。這些噪音加到原圖片，人眼看不出區別（下面這張圖片是加了噪音的圖片），但如果把這個加了噪音的圖片放到Target Model里去，它會告訴你這不是一只熊貓，而是一只貓。
所以，對抗樣本攻擊和成員推理攻擊是不相關的攻擊。但對抗樣本攻擊理論上可以找到信號來判斷這個sample是不是member。我們可以通過對兩個圖片（一個是member，一個non-member）加噪音，會發現對member加的噪音要大，對non-member加噪音小。你可以通過這個噪音的大小來判斷一個sample是不是member還是non-member。這個就是通過Label-only的方式來做成員推理攻擊。
除此之外，我的實驗室也做了很多關于成員推理攻擊的文章。因為成員推理攻擊是現在機器學習隱私風險方面的主流攻擊，甚至可能是最火的攻擊或者是唯一攻擊。別的一些攻擊并不被主流認可，或者并沒有那么popular，成員推理攻擊反而是很重要的一個攻擊。
我們在Label-only上、在推薦系統上做過成員推理攻擊，發現效果都非常好。甚至在如自監督學習、圖神經網絡、神經網絡架構搜索等方面也做得比較好。包括對于想讓GPU省資源，讓AI更加綠色的Multi-exit Networks上，我們都做了成員推理攻擊。總體來說，成員推理攻擊在這些Model上都可以成功，而且表現都不錯。唯一可能成功率不太高的就是自監督學習。現在更高級模式的ML Model，他把sample的representation學得越來越好，造成的攻擊表現可能沒有那么好。
Data Reconstruction
(In Online Learning)
第二部分是數據重構攻擊，這里是指在線學習的數據重構攻擊。我剛剛說的數據是推動機器學習發展的一個很重要的因素。而數據的產生是一個動態過程，每時每刻每分每秒都有數據在產生。這就意味著再強大的公司訓練了一個機器學習模型，而過了三個小時、三天或者三個禮拜后，數據、Model都已經過時了。因為過去時間產生的新數據，Model沒有見過，它就可能判斷不準。
去解決這個方案，我們需要用到在線學習方法。即我們在Model訓練好、新的數據進來以后，把新數據在原來Model的基礎上去微調一下，這個Model就有了新數據的支持了。這是一個很基本的一個online learning的過程。我們在想，這個過程會不會反而構成一個可以被攻擊的一個平面。假設我有個Target Model，我用一張圖片去query Target Model，會產生output。然后晚上這個Target Model的擁有者用一些新數據更新了Model。明天早晨我用同樣的圖片去query這個已經更新過的Model，會得到一個不同的output，因為Model更新了。這個很像智能手機應用商店里軟件的update。
這種情況下，同一張圖片在一個模型的兩個不同版本會產生不同的output，這完全是因為更新數據造成的。我們就想，這會不會構成一個Attack Surface？我們可不可以利用一個同樣的圖片，同樣的sample數據在不同版本Model output的不同，去推測它用了什么數據去update這個Model。這個是我們要研究的問題，這個是我們2020年在USENIX發的文章。
我們做了一個general的Attack Pipeline，就是我有一個Target Model，然后找一個 Probing Set去探測這個Model。探測集有100張圖片或1000張圖片，探測以后會產生1000個output。我們假設有100張圖片update了這個Model。然后我從Attacker的角度，再用同樣的Probing Set再去探測Target Model的第二個版本,每個output都不同，因為Model更新過了。我們把Posterior Difference放到一個Encoder去，我們做了四個不同的Encoder（解碼器），對應著4種不同的攻擊。今天的時間有限，我只能講最后一個攻擊，可能也最難的一個攻擊，即Multi-sample Reconstruction。我們通過把這個Posterior Difference放到編碼器，再轉換成解碼器，能不能把原來所有的Updating Set里的sample給重構出來。
我們的核心思路和別的數據重構不太一樣。別的數據重構可能基于數學公式來做這個問題。而我們的思路是先學出這個Updating Set的分布。有了分布以后，我就可以不停地從分布抽取圖片出來。有了圖片以后，再做一些簡單的后期處理，比如聚類，我就會得到這個重構的數據集。
如果要學出一個分布，你腦中想到第一個模型想必是對抗生成網絡（GAN），GAN就是一個學分布的模型。我們解決這個問題的方案，就是我們在原有GAN的基礎上提出了一個新的GAN，就相當于在上面加了一個新的Loss Function，然后我們就有能力去學出這個Target Model Update Set的分布。有了分布，我們再做后期處理。
我給大家快速回顧一下GAN，GAN本身有兩個神經網絡構成，一個叫生成器、一個叫判別器。生成器的input是128維的高斯噪音。這高斯噪音輸入進去以后，Generator會把這個噪音轉換成一張圖片。判別器是一個二分類器，這個二分類器的工作是判斷這是真圖片，還是這個生成器生成的圖片。判別器的目的就是我讓所有任何generator生成圖片都被準確地找出來，都能準確的和真實圖片分割出來。而生成器的目的是我生成的圖片越像真的越好，讓判別器看不出來。所以這兩個機器學習模型，本身是一個對抗的過程。這就是被叫做對抗生成網絡的原因，他們的目標是相悖的。他們兩個同時訓練，互相訓練，最后會達到一個convergence。訓練完以后，generator就是一個很好的生成假圖片的工具。
現在大家所說的Deepfake（深度偽造），大部分是通過GAN產生的。而這個generator本身學了很好的分布性質，實際上就是學出真正的訓練數據集的分布，這是普通的GAN。
我們的CBM-GAN是把Probing Set在Target Model上兩個版本的Posterior Difference放到Encoder去，也把它變成128維做成Latent-vector，加上原來GAN的Latent-vector 128維，合起來256維一起作為generate的input，相當于Model兩個update版本的Posterior Difference和generator已經產生了聯系。然后我們在generate的loss基礎上加了一個新loss。如果不看紅框里邊的lost，只看外邊，這就是一個普通的generator的loss。D這里代表discrimination。我們加了一個新loss，這個loss叫Best match loss。我本地有一個Shadow Update Set，我要保證generator對Shadow Update Set里每一個sample都可以學出一個和它最像的。比如說100張圖片的，我要保證我的generator有能力把Shadow Update Set的每一個圖片都給盡可能地還原出來，這個是我的loss。
我們看一下實驗結果，有200張圖片,假設這些數據是被MNIST這個經典數據集去update其中100張圖片。用黃框標出來都是重構的，沒有被標出來是原來的。你會發現我們學出的效果相當不錯，而且這大約是兩三年以前的工作。當時，GAN遠沒有現在強大，如果用現在更高級GAN，表現應該會更好。這就證明了我們從分布到重構數據的思路應該也可以去解決重構數據集，這一個比較難的問題。
Link Stealing Against GNN
我演講的第三部分就是鏈路竊取攻擊。
圖神經網絡是過去四五年機器學習領域新興起的一個領域，也是一個非常火的領域，尤其在工業界很常用。圖神經網絡和傳統的神經網絡（左圖）不一樣。傳統神經網絡，是假設每一個訓練sample都是獨立的。但圖神經網絡（GNN）的input是整個graph data。
每個點可以是張圖片也可以是社交網絡里的人，每個點都有一個自己的feature vector。它除了把每個點的feature vector考慮到Model的訓練過程中以外，還把點與點之間的聯系也考慮進去。比如工業界很常用的場景是社交網絡、金融交易網絡、交通網絡等。因為好多工業界的數據可以自然而然組織成一張圖。
最早、最經典的GNN，也許可能在工業界應用很多的Transductive Setting，就是左邊這個數據集有五個點，每個點的feature vector我都知道，唯一我不知道的是這個藍色點和紅色點的label是熊貓、貓、還是狗。所謂的Transductive Setting就是說我的訓練過程中把整個圖全部放進去了。因為我知道圖之間的關系,也知道每個點的feature，我只是不知道那兩個點的label。我把這個全圖信息放進去訓練一個Model，訓練完以后，我的目標還是想知道這個藍色點和紅色點的label是什么。那我query這個Model的時候，我只需要把這個藍色點或者紅色點的ID給這個Model就可以。給一個藍色的ID，不用給feature（因為feature在訓練的過程中見過），GNN可以寫一個很簡單的查表語句，就可以知道這個藍色點指的是哪個點，它會給一個output。如果給一個紅色點，我就知道另一個output，這個是Transductive Setting的GNN。我們這里研究的問題是在Transductive GNN上有沒有隱私泄露風險。因為GNN之所以比別的Model強大，是因為GNN用了圖的信息。那么通過GNN去query它的過程，能不能泄露圖的信息。
這是我們在USENIX2021的文章，也是這個領域第一篇文章。我把攻擊考慮得完整一點，包括Node Feature、Partial Graph、Shadow Dataset，每一個信息可以有也可以沒有。但不同情況下，組合起來就有8種不同的攻擊。
時間關系，我介紹兩種最簡單的Attack。第一種Attack是最弱的，Node Feature、Partial Graph、Shadow Dataset這些信息都沒有。它只能做的是有一個點探測Model產生Posterior、另一個點也探測Model產生Posterior。通過2個Posterior判斷這兩個點是不是鏈在一起的，這就是鏈路竊取攻擊。實際上這個Attack也很簡單，我們假設這兩個點之間在原圖里邊有一條邊，那么它們的Posterior應該更相近，反之亦然。原因是社交網絡里很常見的SocialHomophily，兩個點在很多相似的Feature環境下更容易被鏈接在一起。所以我們把兩個點產生的Posterior Difference算出一個值。如果相似度很高，那么這兩個點之間就有一條邊連著，否則它兩個點之間就沒有一條邊連著。
Attack3是內容攻擊，我知道原圖里一些存在的邊，但是并不包括這藍紅兩點的邊。那Attack3和原來的Attack0是非常相似的。唯一的區別是我現在有一些ground truth label可以給我做訓練了，就是我可以用與Attack0一樣的Feature，Attack Model可以訓練一個分類器來做攻擊，兩個點之間有沒有連接。
我們做了8種不同的攻擊，Attack7知道的信息是最多的，Attack0知道得最少。Attack知道的信息越多越好。這三種不同的信息里，知道原圖的部分邊是最強的信息，而有一個不同分布的Shadow Dataset是最沒有用的信息，對攻擊加成不大。更重要一點是我們GNN鏈路竊取攻擊的表現，比傳統的Link Prediction(純通過圖的結構來判斷這兩個點之間一條邊)表現都要好，就證明GNN確實能記住圖的邊的信息。也說明GNN也確實可以泄露這種邊的信息。雖然說工業界很強大的應用，但是Model Deploy的時候要小心，因為原來的邊很容易被Attacker竊取。
最后分享的是我們組今年剛做的一個工具ML-doctor，很快就會在USENIX2022發表。它集合了幾種不同攻擊，包括成員推理攻擊、數據提取攻擊、模型逆向攻擊、模型竊取攻擊。我們第一次把這四個攻擊放在一起考慮，做成了一個包。我們分析了這四個攻擊方式之間的關系，發現了一些有意思的現象，并已經把相關code放上了GitHub。歡迎大家下載使用我們的工具，以后在做這方面研究時可以節省很多時間。
總結一下，我分享了成員推理攻擊，數據重構攻擊，鏈路竊取攻擊。感謝所有的合作者（以上list不是完整的，有些還未更新），感謝他們對我的幫助，如果沒有他們的貢獻，我以上分享的工作都是不可能實現的。今天的分享到此為止，謝謝各位，期待有機會和大家相見。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
