問題

聯(lián)邦學(xué)習(xí)原始論文中給出的FedAvg的算法框架為：

參數(shù)介紹： K 表示客戶端的個數(shù)， B表示每一次本地更新時的數(shù)據(jù)量， E 表示本地更新的次數(shù)， η表示學(xué)習(xí)率。

首先是服務(wù)器執(zhí)行以下步驟：

對每一個本地客戶端來說，要做的就是更新本地參數(shù)，具體來講：

• 把自己的數(shù)據(jù)集按照參數(shù)B分成若干個塊，每一塊大小都為B。
• 對每一塊數(shù)據(jù)，需要進(jìn)行E輪更新：算出該塊數(shù)據(jù)損失的梯度，然后進(jìn)行梯度下降更新，得到新的本地 w 。
• 更新完后 w w w將被傳送到中央服務(wù)器，服務(wù)器整合所有客戶端計(jì)算出的 w，得到最新的全局模型參數(shù) wt+1
• 客戶端收到服務(wù)器發(fā)送的最新全局參數(shù)模型參數(shù)，進(jìn)行下一次更新。

我們仔細(xì)觀察server的最后一步：

聚合

那么針對聚合，就有以下兩種情況。

1. 聚合所有客戶端

服務(wù)器端每次將新的全局模型發(fā)送給全部客戶端，并且聚合全部客戶端的模型參數(shù)。如果客戶端未被選中，那么一輪通信結(jié)束后，該客戶端的模型為一輪通信開始時從服務(wù)器獲得的初始模型。

設(shè)當(dāng)前全局模型為 wt，服務(wù)器選中了 m個客戶端（集合V），m個客戶端本地更新完畢后，服務(wù)器端的聚合公式為：

也就是說，每一次聚合時服務(wù)器端都將所有客戶端的模型考慮在內(nèi)。

2. 僅聚合被選中的客戶端

服務(wù)器每次只是將當(dāng)前新的參數(shù)傳遞給被選中的模型，并且只是聚合被選中客戶端的模型參數(shù)。

設(shè)當(dāng)前全局模型為 wt，服務(wù)器選中了 m 個客戶端（集合V），然后將wt?只發(fā)送給這 m個客戶端。 m m m個客戶端訓(xùn)練完畢后，服務(wù)器端的聚合公式為：

3. 選擇

雖然原始論文中對所有K個客戶端都進(jìn)行了聚合，但在真正實(shí)現(xiàn)時，感覺用第二種會更好一點(diǎn)，因?yàn)槿绻蛻舳藬?shù)量很龐大，每一次通信都會有不小的代價，用第二種會明顯降低通信成本。