雲運算|  阿里巴巴開源聯邦學習框架FederatedScope降低隱私保護計算技術開發與部署難度

雲運算| 阿里巴巴開源聯邦學習框架FederatedScope降低隱私保護計算技術開發與部署難度

Table Of Contents
FederatedScope
FederatedScope實現了支持在豐富應用場景中進行大規模、高效率的聯邦學習異步訓練。

[雲運算]

隨著生物技術和金融技術進步,隱私保護計算技術更加受重視,如何保障隱私在在數據提取價值,成為了多個行業的共同難題。

以最簡單的解釋,隱私保護計算技術為了解決隱私保護與數據應用的兩難局面,其中一種方法是就是透過「數據不動模型動」為理念,聯邦學習框架應運而生,通過用戶數據不離開原有儲存位置的方式,完成雲端的模型訓練,實現「資料可用不可見」。

Gartner研究預測,2025年之前,約六成大型企業預計,應用至少一種隱私保護計算技術。阿里巴巴達摩院2022十大科技趨勢同樣將隱私保護計算列為重要趨勢,認為該技術將從覆蓋少量資料的場景走向全域保護,從而激發數位時代的新生產力。

達摩院發佈新型聯邦學習框架FederatedScope,該框架支持大規模、高效率的聯邦學習非同步訓練,相容不同設備運行環境,提供豐富功能模組,降低隱私保護計算技術開發與部署難度。該框架現已全面開源。

隱私保護計算場景和應用行業愈來愈多元化,涉及數據類型亦日趨豐富,有聯邦學習框架難以滿足越來越複雜的運算要求,需從注重從「可用」到注重「好用」。

經典聯邦學習
對於希望將經典聯邦學習應用在不同下游任務的開發者,如使用不同的數據和模型架構,FederatedScope 允許通過註冊的方式使用準備好的新數據集和模型架構,而不需要修改其他的細節。

為解決上述挑戰,達摩院智慧計算實驗室研發了新型聯邦學習框架FederatedScope,該框架使用事件驅動的程式設計範式來構建聯邦學習,即將聯邦學習看成是參與方之間收發消息的過程,通過定義消息類型以及處理消息的行為來描述聯邦學習過程。通過這一方式,FederatedScope實現了支援在豐富應用場景中進行大規模、高效率的聯邦學習非同步訓練。

達摩院團隊對FederatedScope訓練模組進行抽象,使其不依賴特定的深度學習後端,能相容PyTorch、Tensorflow等不同設備運行的環境,降低聯邦學習科研與實際應用中的開發難度和成本。

FederatedScope-事件驱动
FederatedScope 還集成了多種功能模塊,包括自動調參、隱私保護、性能監控、端模型個性化。

為進一步適應不同應用場景,FederatedScope整合多種功能模組,包括自動調參、隱私保護、性能監控、端模型個性化等。FederatedScope支援開發人員通過設定檔,可快速調用整合模組,以方便快速入門;允許通過註冊的方式,添加新演算法實現調用,支援定制化及深度學習。

丁博麟
達摩院智慧計算實驗室隱私保護計算團隊負責人丁博麟表示通過開源聯邦學習框架,希望能促進隱私保護計算研究和廣泛應用

達摩院智慧計算實驗室隱私保護計算團隊負責人丁博麟說:「數據成為重要的生產要素,隱私保護計算是保障這一要素發揮作用關鍵技術,通過開源聯邦學習框架,希望促進隱私保護計算研究和廣泛應用,以便醫藥研發、政務互通、人機交互等數據密集領域更安全、更順暢地發展。」

理大低軌衛星載荷升空 助力智慧城市與低空經濟

理大低軌衛星載荷升空 助力智慧城市與低空經濟

全球航天產業進入「新太空時代」(指低成本小型衛星技術快速發展的階段),小型衛星技術成為推動智慧城市發展的重要引擎。根據國際市場研究機構的數據,預計到2030年,全球低軌衛星市場規模將突破千億美元,其中 …

了解更多
香港桂冠論壇2025:科學巨星與青年才俊的深度交流

香港桂冠論壇2025:科學巨星與青年才俊的深度交流

在全球科技競賽日益激烈的背景下,香港正成為國際科研合作的重要樞紐。香港桂冠論壇委員會宣布,「香港桂冠論壇2025」將於11月5日至8日舉行,匯聚12位來自天文學、生命科學與醫學及數學科學三大領域的邵逸 …

了解更多
混合多雲環境成常態   邊緣運算推動裸機增長

混合多雲環境成常態 邊緣運算推動裸機增長

Equinix香港區董事總經理譚國雄:單一的公有雲已無法滿足所有要求,混合架構多雲環境會成為大勢所趨。 數碼轉型 據IDC預測,2023年數碼基礎設施成IT和業務自動化基礎平台。不過企業正轉向混合架 …

了解更多