網(wǎng)站首頁 編程語言 正文
一、簡介
負(fù)載均衡(Load Balance),簡稱 LB,就是將并發(fā)的用戶請求通過規(guī)則后平衡、分?jǐn)偟蕉嗯_服務(wù)器上進(jìn)行執(zhí)行,以此達(dá)到壓力分?jǐn)偂?shù)據(jù)并行的效果。常見的算法也有許多隨機(jī)、輪詢、加權(quán)等,今天我們就使用 C# 來實現(xiàn)這幾種算法,并講解在實際項目中的使用。
二、應(yīng)用場景
負(fù)載均衡算法在開發(fā)層面,使用場景其實并不多。通常在項目重構(gòu)、轉(zhuǎn)型、上線大版本新功能等,為了避免上線出現(xiàn) Bug 應(yīng)用功能 100% 的掛掉。可以在程序中使用負(fù)載均衡,將部分 HTTP 流量,打入項目中新的功能模塊,然后進(jìn)行監(jiān)控,出現(xiàn)問題可以及時進(jìn)行調(diào)整。
這樣 AB 測試的場景,也可以在運(yùn)維或者網(wǎng)關(guān)等其他層面實現(xiàn)流量分配。但現(xiàn)實是大多數(shù)公司項目因為一些原因沒有這樣的支持,這時開發(fā)就可以在項目中使用代碼進(jìn)行實現(xiàn)。
三、實際案例
有這樣一個需求,電商系統(tǒng)中,有一個預(yù)估運(yùn)費(fèi)的微服務(wù)(ShippingCharge )。此時上面領(lǐng)導(dǎo)來了需求,預(yù)估運(yùn)費(fèi)要改版,開發(fā)預(yù)估了一下改動不小。經(jīng)過兩周的奮斗 ShippingCharge 需求終于開發(fā)測試好了,此時要上線,但是掐指一算,萬一有問題不就死翹翹了,而且還和錢相關(guān)。
此時負(fù)載均衡算法就派上用場了,我們可以讓 10% 的流量打入這次的改動,可以先進(jìn)行監(jiān)控,可以再全部切過來。實際項目中,使用的肯定是權(quán)重的,后面隨機(jī)、輪詢也簡單進(jìn)行介紹一下其實現(xiàn)。
假設(shè)在改動 ShippingCharge 時,沒有修改舊的功能,是在 controller 下面,對 call business 層換成了這次需求的,這樣我們就可以使用負(fù)載均衡,讓 10% 的流量打入新的 business,其余的依然走老的 business。
四、算法實現(xiàn)
這里不會說的太精細(xì),會將核心實現(xiàn)代碼做介紹,實際項目中使用需要自己進(jìn)行一下結(jié)合,舉一反三哈
下面定義了一個 ServiceCenterModel 主要用作承載需要負(fù)載均衡的對象信息,可以是 call 下游的 url,也可以是程序內(nèi)的某一算法標(biāo)
4.1 隨機(jī)
隨機(jī)算法的先對來講,較為簡單一些,主要根據(jù) Random 與 ServiceList 的數(shù)量結(jié)合實現(xiàn)。
如下:
/// <summary>
/// 隨機(jī)
/// </summary>
public class RandomAlgorithm
{
/// <summary>
/// Random Function
/// </summary>
private static readonly Random random = new Random();
/// <summary>
/// serviceList
/// </summary>
/// <param name="serviceList">service url set</param>
/// <returns></returns>
public static string Get(List<ServiceCenterModel> serviceList)
{
if (serviceList == null)
return null;
if (serviceList.Count == 1)
return serviceList[0].Service;
// 返回一個小于所指定最大值的非負(fù)隨機(jī)數(shù)
int index = random.Next(serviceList.Count);
string url = serviceList[index].Service;
return url;
}
}
模擬 10 次 http request,可以看到對OldBusiness、NewBusiness進(jìn)行了隨機(jī)的返回
public static void Main(string[] args)
{
// 模擬從配置中心讀取 Service
var serviceList = new List<ServiceCenterModel>()
{
new ServiceCenterModel { Service ="OldBusiness"},
new ServiceCenterModel { Service ="NewBusiness"},
};
// 模擬 Http 請求次數(shù)
for (int i = 0; i < 10; i++)
{
Console.WriteLine(RandomAlgorithm.Get(serviceList));
}
}
4.2 輪詢
輪詢的實現(xiàn)思路,將每次讀取 ServiceList 的 Index 放到靜態(tài)全局變量中,當(dāng)?shù)?ServiceList 最后一個時從0開始讀取。
如下:
/// <summary>
/// 輪詢
/// </summary>
public class PollingAlgorithm
{
private static Dictionary<string, int> _serviceDic = new Dictionary<string, int>();
private static SpinLock _spinLock = new SpinLock();
/// <summary>
/// Get URL From Service List
/// </summary>
/// <param name="serviceList">Service URL Set</param>
/// <param name="serviceName">Service Name</param>
/// <returns></returns>
public static string Get(List<ServiceCenterModel> serviceList, string serviceName)
{
if (serviceList == null || string.IsNullOrEmpty(serviceName))
return null;
if (serviceList.Count == 1)
return serviceList[0].Service;
bool locked = false;
_spinLock.Enter(ref locked);//獲取鎖
int index = -1;
if (!_serviceDic.ContainsKey(serviceName)) // Not Exist
_serviceDic.TryAdd(serviceName, index);
else
_serviceDic.TryGetValue(serviceName, out index);
string url = string.Empty;
++index;
if (index > serviceList.Count - 1) //當(dāng)前索引 > 最新服務(wù)最大索引
{
index = 0;
url = serviceList[0].Service;
}
else
{
url = serviceList[index].Service;
}
_serviceDic[serviceName] = index;
if (locked) //釋放鎖
_spinLock.Exit();
return url;
}
}
模擬 10 次 http request,可以看到對OldBusiness、NewBusiness進(jìn)行了輪詢返回
public static void Main(string[] args)
{
// 模擬從配置中心讀取 Service
var serviceList = new List<ServiceCenterModel>()
{
new ServiceCenterModel { Service ="OldBusiness"},
new ServiceCenterModel { Service ="NewBusiness"},
};
// 模擬 Http 請求次數(shù)
for (int i = 0; i < 10; i++)
{
Console.WriteLine(PollingAlgorithm.Get(serviceList, "ShippingChargeBusiness"));
}
}
4.3 權(quán)重
權(quán)重的實現(xiàn)思路,將配置權(quán)重的 Service 按照數(shù)量放置在一個集合中,然后按照輪詢的方式進(jìn)行讀取,需要注意的是這的 weight 只能配置大于 0 的整數(shù)。
如下:
/// <summary>
/// 權(quán)重
/// </summary>
public class WeightAlgorithm
{
private static ConcurrentDictionary<string, WeightAlgorithmItem> _serviceDic = new ConcurrentDictionary<string, WeightAlgorithmItem>();
private static SpinLock _spinLock = new SpinLock();
public static string Get(List<ServiceCenterModel> serviceList, string serviceName)
{
if (serviceList == null)
return null;
if (serviceList.Count == 1)
return serviceList[0].Service;
bool locked = false;
_spinLock.Enter(ref locked);//獲取鎖
WeightAlgorithmItem weightAlgorithmItem = null;
if (!_serviceDic.ContainsKey(serviceName))
{
weightAlgorithmItem = new WeightAlgorithmItem()
{
Index = -1,
Urls = new List<string>()
};
BuildWeightAlgorithmItem(weightAlgorithmItem, serviceList);
_serviceDic.TryAdd(serviceName, weightAlgorithmItem);
}
else
{
_serviceDic.TryGetValue(serviceName, out weightAlgorithmItem);
weightAlgorithmItem.Urls.Clear();
BuildWeightAlgorithmItem(weightAlgorithmItem, serviceList);
}
string url = string.Empty;
++weightAlgorithmItem.Index;
if (weightAlgorithmItem.Index > weightAlgorithmItem.Urls.Count - 1) //當(dāng)前索引 > 最新服務(wù)最大索引
{
weightAlgorithmItem.Index = 0;
url = serviceList[0].Service;
}
else
{
url = weightAlgorithmItem.Urls[weightAlgorithmItem.Index];
}
_serviceDic[serviceName] = weightAlgorithmItem;
if (locked) //釋放鎖
_spinLock.Exit();
return url;
}
private static void BuildWeightAlgorithmItem(WeightAlgorithmItem weightAlgorithmItem, List<ServiceCenterModel> serviceList)
{
serviceList.ForEach(service => //有幾個權(quán)重就加幾個實例
{
for (int i = 0; i < service.Weight; i++)
{
weightAlgorithmItem.Urls.Add(service.Service);
}
});
}
}
public class WeightAlgorithmItem
{
public List<string> Urls { get; set; }
public int Index { get; set; }
}
模擬 10 次 http request,可以看到對 OldBusiness 返回了 9 次,NewBusiness 返回了一次
public static void Main(string[] args)
{
// 模擬從配置中心讀取 Service
var serviceList = new List<ServiceCenterModel>()
{
new ServiceCenterModel { Service ="OldBusiness",Weight = 9 },
new ServiceCenterModel { Service ="NewBusiness",Weight = 1 },
};
// 模擬 Http 請求次數(shù)
for (int i = 0; i < 10; i++)
{
Console.WriteLine(WeightAlgorithm.Get(serviceList, "ShippingChargeBusiness"));
}
}
原文鏈接:https://juejin.cn/post/7112268530757664805
相關(guān)推薦
- 2024-07-13 spring-cloud和spring-cloud-alibaba的關(guān)系
- 2023-11-17 Linux CentOS如何修改root用戶密碼
- 2022-06-16 基于Python+Matplotlib實現(xiàn)直方圖的繪制_python
- 2022-03-26 .Net?6中的PeriodTimer介紹_ASP.NET
- 2022-09-12 C++實例分析組合數(shù)的計算與排列組合的產(chǎn)生_C 語言
- 2022-03-28 Python?pandas之多級索引取值詳解_python
- 2022-04-19 詳解C語言的mem系列函數(shù)_C 語言
- 2022-08-14 Shell腳本實現(xiàn)監(jiān)測文件變化的示例詳解_linux shell
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡單動態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支