【聯邦學習101】聯邦學習的概念理解

圖來自 A Survey on Federated Learning: The Journey From Centralized to Distributed On-Site Learning and Beyond

所以什麼是聯邦學習?

手機會根據本地的使用情況在本地對模型進行個性化 (A)。 許多用戶的模型被聚合 (B) 以形成對共享模型的共識更改 ©,然後重複該過程。圖取自 2017 Google AI Blog

聯邦學習的概念拆解

本質是機器學習,透過資料訓練模型進而應用

訓練好的模型能夠將輸入的資料轉為預測的輸出,包含分類、文字、數字等各式形式

模式採用分散式運算,利用多邊緣節點加速模型運算

各式與聯邦學習相關名詞關係圖,聯邦學習是結合分布式運算,一種特殊的分布式學習

基於資料保護,強迫使用模型資訊傳遞代替資料傳輸

聯邦學習流程步驟檢索

  1. 各裝置產生資料,並存在自己裝置中
  2. 不用上傳資料至雲端,在自己裝置上直接進行訓練
  3. 各裝置訓練完後把跟資料無關的性質(像是Model weight)上傳至雲端
  4. 雲端將來自各方的模型統整為大模型
  5. 雲端將統整後的大模型發送給各裝置
  6. 各裝置繼續依照本地資料,訓練依統整後大模型更新後的模型
針對下一個文字預測所建設的聯邦學習運作圖,裝置可以透過中央server統整與分佈,在不交換本地資料情況下,完成基於本地資料的模型訓練。圖取自Federated Learning: Challenges, Methods, and Future Directions

聯邦學習帶給我們什麼好處?

結語

【註】

  1. 了解更多有關機器學習的基礎知識
  2. 分散式學習可簡單分為data parallelism與model parallelism的機制,都可以用來加速運算,更多請看A friendly introduction to distributed training (ML Tech Talks)
  3. 文章提出:“we can say that distributed learning is about having centralized data but distributing the model training to different nodes, while federated learning is about having decentralized data and training and in effect having a central model.”
    更多關於分布式學習與聯邦學習的比較說明
  4. 嚴格來說模型權重參數與資料不直接相關,有研究提到可以從模型參數與表現反推回資料狀態,專有名詞也被稱為Gradient inversion attack
  5. non-IID是相對於統計蠻常出現對資料的定義,獨立同分布(Independent and identically distributed,IID),代表至少不滿足其中一項定義,更多關於聯邦學習與non-IID的說明
  6. 聯邦學習雖然減少了訓練資料的傳送,但在現今模型動輒2–3gb的情況下,其實飽受模型資訊溝通成本高昂的困擾,如何有效解決此問題也是一大發展方向
  7. 模型訓練依舊是一個高算力消耗的工作,google也有強調要在用戶處於閒置情況下再進行訓練,避免影響日常使用。

【參考文獻】

  1. Federated Learning: Strategies for Improving Communication Efficiency
  2. 2017 — Google AI Blog
  3. Federated Learning 聯邦學習簡介
  4. 維基百科上對於聯邦學習的介紹
  5. Difference between distributed learning versus federated learning algorithms

--

--

--

數位無限軟體(InfinitiesSoft)專注於為企業解決虛擬化、容器化、微服務、邊緣運算、混合雲管理、異質IT環境與人工智慧帶來的挑戰,整合異質雲管與熱門的開源AI深度學習架構和開發工具環境,提供一站購足的AI機器學習雲平台方案AI-Stack。

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
InfinitiesSoft數位無限

InfinitiesSoft數位無限

數位無限軟體(InfinitiesSoft)專注於為企業解決虛擬化、容器化、微服務、邊緣運算、混合雲管理、異質IT環境與人工智慧帶來的挑戰,整合異質雲管與熱門的開源AI深度學習架構和開發工具環境,提供一站購足的AI機器學習雲平台方案AI-Stack。

More from Medium

Acoustic machine learning series: Recorded sounds into AI/ML algorithms

Playing with ChromaGAN (or How can one use Machine Learning to colourize their black and white…

Automation & Its Limitations, or, Why the Future is Humans & Robots/AI Working Together as…

What is face key point detection? And how to apply it to the deep learning?