問題

聯邦學習原始論文中給出的FedAvg的算法框架為：

參數介紹： K 表示客戶端的個數， B表示每一次本地更新時的數據量， E 表示本地更新的次數， η表示學習率。

首先是服務器執行以下步驟：

對每一個本地客戶端來說，要做的就是更新本地參數，具體來講：

• 把自己的數據集按照參數B分成若干個塊，每一塊大小都為B。
• 對每一塊數據，需要進行E輪更新：算出該塊數據損失的梯度，然后進行梯度下降更新，得到新的本地 w 。
• 更新完后 w w w將被傳送到中央服務器，服務器整合所有客戶端計算出的 w，得到最新的全局模型參數 wt+1
• 客戶端收到服務器發送的最新全局參數模型參數，進行下一次更新。

我們仔細觀察server的最后一步：

聚合

那么針對聚合，就有以下兩種情況。

1. 聚合所有客戶端

服務器端每次將新的全局模型發送給全部客戶端，并且聚合全部客戶端的模型參數。如果客戶端未被選中，那么一輪通信結束后，該客戶端的模型為一輪通信開始時從服務器獲得的初始模型。

設當前全局模型為 wt，服務器選中了 m個客戶端（集合V），m個客戶端本地更新完畢后，服務器端的聚合公式為：

也就是說，每一次聚合時服務器端都將所有客戶端的模型考慮在內。

2. 僅聚合被選中的客戶端

服務器每次只是將當前新的參數傳遞給被選中的模型，并且只是聚合被選中客戶端的模型參數。

設當前全局模型為 wt，服務器選中了 m 個客戶端（集合V），然后將wt?只發送給這 m個客戶端。 m m m個客戶端訓練完畢后，服務器端的聚合公式為：

3. 選擇

雖然原始論文中對所有K個客戶端都進行了聚合，但在真正實現時，感覺用第二種會更好一點，因為如果客戶端數量很龐大，每一次通信都會有不小的代價，用第二種會明顯降低通信成本。