新火種
2023-10-31 
合成數據加速用于X射線圖像分析的基于ML的可推廣算法開發
編輯 | 蘿卜皮
人工智能（AI）現在可以自動解讀醫學圖像。然而，人工智能在介入圖像分析方面的潛在用途在很大程度上仍未開發。這是因為對實時過程中收集的數據進行事后分析具有基本和實際的局限性，包括道德考慮、費用、可擴展性、數據完整性和缺乏基本事實。
近日，約翰斯·霍普金斯大學（Johns Hopkins University）的研究人與證明了從人體模型創建逼真的模擬圖像是一種可行的替代方案，是對大規模原位數據收集的補充。在真實合成數據上訓練 AI 圖像分析模型，結合當代領域泛化技術，可以生成在真實數據上訓練的機器學習模型，其性能與在精確匹配的真實數據訓練集上訓練的模型相當。
研究人員展示了被稱為 SyntheX 的 X 射線圖像分析模型傳輸范例，由于在更大的數據集上訓練的有效性，甚至可以勝過真實數據訓練的模型。SyntheX 提供了一個顯著加速基于 X 射線的智能系統的概念、設計和評估的機會。
此外，SyntheX 提供了測試新儀器、設計互補手術方法和設想新技術的機會，這些技術可以改善結果、節省時間或減少人為錯誤，而無需考慮實時人類數據收集的倫理和實踐考慮。
該研究以「Synthetic data accelerates the development of generalizable learning-based algorithms for X-ray image analysis」為題，于 2023 年 3 月 20 日發布在《Nature Machine Intelligence》。
機器人技術和人工智能 (AI) 的進步使自主手術系統更接近現實。然而，開發此類系統的人工智能骨干目前取決于在常規手術期間收集訓練數據。與分流或診斷設置相比，這仍然是在介入臨床環境中廣泛使用 AI 系統的最大障礙之一，因為介入數據的獲取和注釋是時間密集且成本高昂的。
這是因為根據定義，它們與當代臨床實踐不相容，而且此類數據并非來自常規護理。此外，這些新系統不易獲得批準，因此不易或迅速引入臨床實踐。離體實驗不會受到同樣的倫理約束；然而，它成本高昂且需要成熟的原型，因此無法很好地擴展。
這些策略的一個有前途的替代方案是模擬，即從人體模型中模擬生成介入訓練數據和圖像。模擬為培訓人類和機器外科醫生提供了一個豐富的環境，并回避了在探索護理標準之外的程序時出現的倫理考慮。也許最重要的是，計算機模擬手術沙箱可以在研究階段實現快速原型制作。仿真范式價格低廉、可擴展且信息豐富。雖然術中數據是在高度非結構化和不受控制的環境中生成的，并且需要手動注釋，但仿真可以為手術的每個元素提供詳細的地面實況數據，包括工具和解剖姿勢，這對于 AI 開發是非常寶貴的。
然而，模擬在一個關鍵方面可能達不到真正的手術：真實性。真實數據和模擬數據之間的特征差異通常被稱為“領域差距”。人工智能模型對來自不同領域的數據執行的能力，即與訓練數據的領域差距，被稱為「領域泛化」。領域差距是有問題的，因為 AI 系統的脆弱性有據可查，跨領域差距表現出極大的惡化。即使是簡單的差異，例如噪聲統計、對比度水平和其他細節，也可能會發生這種情況。這種適用于所有機器學習任務的不幸情況激發了 AI 領域對模擬到現實 (Sim2Real) 遷移的研究，即域遷移方法的開發。
在這里，約翰斯·霍普金斯大學的研究人員介紹了一個框架 SyntheX，用于開發用于 X 射線圖像分析的通用 AI 算法，該算法僅基于從帶注釋的計算機斷層掃描 (CT) 模擬的合成數據。SyntheX 使用來自 CT 的 X 射線圖像形成的真實模擬并使用域隨機化來訓練 AI 模型，創建的 AI 模型在域偏移下保持其性能，從而能夠對在現實世界中獲取的臨床 X 射線進行評估和部署。研究人員展示了 SyntheX 在三個臨床應用中的實用性和有效性：髖關節成像、手術機器人工具檢測和 2019 年冠狀病毒病 (COVID-19) 病灶分割。
圖示：SyntheX的整體概念。（來源：論文）
到目前為止，還沒有研究使用跨領域精確匹配的數據集來隔離領域泛化的影響。這項工作還展示了一種可行且具有成本效益的方法來訓練 AI 圖像分析模型以對合成數據進行臨床干預，其性能可與多種應用中的真實臨床數據訓練相媲美。另外，模型的性能隨著合成訓練樣本數量的增加而大幅提高，這突出了 SyntheX 的關鍵優勢：為模型訓練或預訓練提供大量注釋良好的數據。
圖示：臨床任務。（來源：論文）
使用合成數據訓練機器學習算法正受到越來越多的關注。在一般計算機視覺中，Sim2Real 問題已針對自動駕駛感知和機器人操作進行了廣泛探索。在診斷醫學圖像分析中，基于 GAN 的新樣本合成已被用于增強磁共振成像、超聲、視網膜、皮膚病變和 CXR 圖像的可用訓練數據。在計算機輔助干預中，Sim2Real 問題的早期成功包括對內窺鏡圖像和術中 X 射線的分析。這里的對照研究表明 Sim2Real 優于 Real2Real 訓練，從而在 X 射線領域驗證了這種方法。
圖示：精確控制的髖關節成像 X 射線數據庫。（來源：論文）
髖關節成像消融實驗可靠地量化了域間隙對各種 Sim2Real 模型傳輸方法的實際數據性能的影響。這是因為所有通?；煜祟悓嶒灥娜我庖蛩囟嫉玫搅司_控制，由于不同的圖像模擬范例是不匹配的唯一來源，圖像外觀發生了變化。該團隊控制的任意因素包括解剖學、成像幾何、地面實況標簽、網絡架構和超參數。所有實驗的訓練樣本數量相同。使用域隨機化和自適應技術不會創建額外的樣本，而只會改變像素級別的樣本外觀。特別是，在模擬中重新創建的視點和 3D 場景與真實圖像完全相同，目前為止，這是尚未實現的。研究人員得出以下結論：
1、使用 DeepDRR 框架對訓練數據進行基于物理的逼真模擬，與在不太現實（即樸素或啟發式模擬范例）上訓練的模型相比，模型可以更好地泛化到真實數據域。毫不奇怪，這表明盡可能緊密地匹配真實圖像域直接有利于泛化性能。
2、當在匹配數據集上訓練模型時，現實模擬與強域隨機化 (SyntheX) 相結合，與最佳域自適應方法（帶域隨機化的 CycleGAN）和真實數據訓練相媲美。然而，由于 SyntheX 在訓練時不需要任何真實數據，因此這種范式比域適應具有明顯的優勢。具體來說，它節省了在開發早期獲取真實數據或設計執行自適應的其他機器學習架構的工作量。這使得 SyntheX 對于新型儀器或機器人組件的開發特別有吸引力，因為在概念化的早期無法簡單地獲取其真實圖像。
圖示：分割和地標檢測的定性結果。（來源：論文）
使用 DeepDRR 的逼真模擬在計算上與樸素模擬一樣高效，兩者都比蒙特卡羅模擬快幾個數量級。此外，使用 DeepDRR 的真實模擬在 Sim2Real 性能和獨立數據生成和訓練方面帶來了巨大的好處。這些發現令人鼓舞，并有力地支持了以下假設：對 3D CT 模擬的合成射線照片進行訓練是真實數據訓練的可行替代方案，或者至少是預訓練的有力候選者。
與獲取真實患者數據相比，生成大規模模擬數據更靈活、更省時、成本更低，并且避免了隱私問題。在真實環境中擴大訓練數據成本高昂或不可能，但相比之下，使用數據合成很容易實現。在訓練期間訪問更多不同的數據樣本有助于網絡參數優化找到更穩定的解決方案，并且傳輸效果更好。
論文鏈接：https://www.nature.com/articles/s42256-023-00629-1
相關報道：https://medicalxpress.com/news/2023-03-synthetic-ai-outperform-real-robot-assisted.html
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
