網(wǎng)站首頁 編程語言 正文
一、背景介紹:
我們在進(jìn)行數(shù)據(jù)存儲的時候,有時候會加入本地緩存、分布式緩存以及數(shù)據(jù)庫存儲三級的結(jié)構(gòu),當(dāng)我們?nèi)≈档臅r候經(jīng)常是像下面這樣的流程:
1.先取本地緩存,如果值存在直接返回
2.本地緩存不存在,獲取分布式緩存,存在直接返回,并更新本地緩存
3.分布式緩存不存在,查詢數(shù)據(jù)庫,更新分布式緩存、更新本地緩存,最后返回
但如果對于一些場景,可能只有本地緩存、只有分布式緩存或者說上面三種的幾種組合,我們怎么要應(yīng)對這樣的變化,怎么能抽象出一套方式,能夠應(yīng)對各種不同數(shù)據(jù)存儲方式造成的變化。
二、設(shè)計思路:
首先我們分析一下上面這個過程的模型,可以抽象出5個方法:
- 1.GetDataFromLocalCache
- 2.GetDataFromDistributeCache
- 3.GetDataFromDB
- 4.SetDataToLocalCache
- 5.SetDataToDistributeCache
其實(shí),不同的場景無非就是這幾個方法的組合,只不過里面的內(nèi)容不同罷了,說到這里我們應(yīng)該已經(jīng)有思路了,可以利用委托來實(shí)現(xiàn)。
三、詳細(xì)設(shè)計:
①定義一個類,包含上面五個方法的委托;
public class DataOperateInput<T>
{
public Func<T> GetDataFromLocalCache { get; set; } = null; //獲取本地緩存數(shù)據(jù)
public Func<T> GetDataFromDistributeCache { get; set; } = null; //獲取分布式緩存數(shù)據(jù)
public Func<T> GetDataFromDb { get; set; } = null; //獲取DB數(shù)據(jù)
public Action<T> SetDataTolocalCache { get; set; } = null; //設(shè)置本地緩存數(shù)據(jù)
public Action<T> SetDataToDistributeCache { get; set; } = null; //設(shè)置分布式緩存數(shù)據(jù)
}
②實(shí)現(xiàn)一個方法,組合這五個方法。
public class DataOperate
{
/// <summary>
/// 獲取數(shù)據(jù)入口
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="input"></param>
/// <returns></returns>
public T GetData<T>(DataOperateInput<T> input) where T : class, new()
{
T result = null;
//需要從本地緩存取
if (input.GetDataFromLocalCache != null)
{
//調(diào)用本地緩存委托方法獲取值
result = input.GetDataFromLocalCache();
if (result != null)
{
return result;
}
}
//獲取值為空或者不從本地緩存獲取,調(diào)用下面的方法,從分布式緩存和Db中獲取數(shù)據(jù)
return GetDataFromDistributeAndDB(input);
}
/// <summary>
/// 從分布式緩存和Db中獲取數(shù)據(jù)
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="input"></param>
/// <returns></returns>
private T GetDataFromDistributeAndDB<T>(DataOperateInput<T> input) where T : class, new()
{
T result = null;
if (input.GetDataFromDistributeCache != null)
{
//從緩存中取值
result = input.GetDataFromDistributeCache();
//如果需要設(shè)置會本地緩存,那么設(shè)置
if (result != null)
{
//如果設(shè)置本地緩存的委托存在,調(diào)用它設(shè)置本地緩存
input.SetDataTolocalCache?.Invoke(result);
}
}
//獲取值為空或者不從分布式緩存獲取,調(diào)用下面的方法,從Db中獲取數(shù)據(jù)
return GetDataFromDB(input);
}
/// <summary>
/// 從數(shù)據(jù)庫中獲取數(shù)據(jù)
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="input"></param>
/// <returns></returns>
private T GetDataFromDB<T>(DataOperateInput<T> input) where T : class, new()
{
T result = null;
if (input.GetDataFromDb != null)
{
//從DB中取值
result = input.GetDataFromDb();
//如果需要設(shè)置會分布式緩存和本地緩存,那么設(shè)置
if (result != null)
{
input.SetDataToDistributeCache?.Invoke(result);
input.SetDataTolocalCache?.Invoke(result);
}
}
return result;
}
}
③ 具體實(shí)現(xiàn)一個服務(wù)類,和各種GetData、SetData方法;
A.定義一個枚舉類,通過這個枚舉可以自由組合數(shù)據(jù)源
/// <summary>
/// 數(shù)據(jù)源類別
/// </summary>
[Flags]
public enum DataSourceKind
{
/// <summary>
/// 本地緩存
/// </summary>
LocalCache = 1,
/// <summary>
/// 分布式緩存
/// </summary>
DistributeCache = 2,
/// <summary>
/// 數(shù)據(jù)庫
/// </summary>
DataBase = 4
}
B.定義一個具體的實(shí)體類,舉例我這里定義了一個User類
public class User : IUser
{
public long UserId { get; set; }
public string Name { get; set; }
public int Age { get; set; }
public int Sex { get; set; }
}
C.實(shí)現(xiàn)一個獲取用戶信息的方法
/// <summary>
/// 獲取用戶數(shù)據(jù)
/// </summary>
/// <param name="userId">用戶Id(可以是自己相關(guān)的業(yè)務(wù)代碼)</param>
/// <param name="dataSources">數(shù)據(jù)源類型(調(diào)用方可以自己組合)</param>
/// <param name="needUpdatelocal">是否需要更新本地緩存</param>
/// <param name="needUpdateDistribute">是否需要更新分布式緩存</param>
/// <returns></returns>
public User GetUserInfo(long userId,
DataSourceKind dataSources = DataSourceKind.LocalCache ,
bool needUpdatelocal = false,
bool needUpdateDistribute = false)
{
Console.WriteLine($"======數(shù)據(jù)源:{dataSources.ToString()} 是否更新本地:{needUpdatelocal} 是否更新Redis:{needUpdateDistribute}======");
//初始化一個輸入?yún)?shù)類
var input = new DataOperateInput<User>();
//如果包含從本地緩存取值
if (dataSources.HasFlag(DataSourceKind.LocalCache))
{
input.GetDataFromLocalCache = () =>
{
//!!這里可以寫具體的 獲取本地緩存的處理邏輯
return GetUserFromLocalCache(userId);
};
}
//如果包含從分布式緩存取值
if (dataSources.HasFlag(DataSourceKind.DistributeCache))
{
input.GetDataFromDistributeCache = () =>
{
//!!這里可以寫具體的獲取分布式緩存的處理邏輯
return GetUserFromRedisCache(userId);
};
if (needUpdatelocal)
{
input.SetDataTolocalCache = (value) =>
{
//!!這里可以寫具體的設(shè)定本地緩存的處理邏輯
SetUserToLocalCache(value);
};
}
}
//如果包含從數(shù)據(jù)庫緩存取值
if (dataSources.HasFlag(DataSourceKind.DataBase))
{
input.GetDataFromDb = () =>
{
//!!這里可以寫具體的獲取數(shù)據(jù)庫數(shù)據(jù)的處理邏輯
return GetUserFromDB(userId);
};
if (needUpdateDistribute)
{
//!!這里可以寫具體的設(shè)定分布式緩存的處理邏輯
input.SetDataToDistributeCache = (value) =>
{
SetUserToRedisCache(value);
};
}
if (needUpdatelocal)
{
//!!這里可以寫具體的設(shè)定本地緩存的處理邏輯
input.SetDataTolocalCache = (value) =>
{
SetUserToLocalCache(value);
};
}
}
//執(zhí)行我們組合好的input
var result = new DataOperate().GetData(input);
Console.WriteLine("=============================================\n");
return result;
}
上面的代碼描述了使用封裝好的GetData的方法的使用,其中有些委托的方法是需要具體實(shí)現(xiàn)的,這里我沒有詳細(xì)寫。下面列出用于測試的GetUserFromLocalCache、GetUserFromRedisCache、GetUserFromDB、SetUserToLocalCache以及SetUserToRedisCache的代碼。
/// <summary>
/// 從本地緩存獲取用戶信息
/// </summary>
/// <param name="userId"></param>
/// <returns></returns>
private User GetUserFromLocalCache(long userId)
{
User user = null;
if (userId == 1 )
{
user = new User
{
UserId = userId,
Age = 10,
Name = $"BigOrange_{userId}",
Sex = 1
};
}
if (user == null)
{
Console.WriteLine($"從本地緩存取值 未查詢到 UserId={userId}");
}
else
{
Console.WriteLine($"從本地緩存取值 UserId={user.UserId} Name={user.Name} ");
}
return user;
}
/// <summary>
/// 從Redis緩存獲取用戶信息
/// </summary>
/// <param name="userId"></param>
/// <returns></returns>
private User GetUserFromRedisCache(long userId )
{
User user = null;
if (userId == 1 || userId == 2 )
{
user = new User
{
UserId = userId,
Age = 10,
Name = $"BigOrange_{userId}",
Sex = 1
};
}
if (user == null)
{
Console.WriteLine($"從Redis緩存取值 未查詢到 UserId={userId}");
}
else
{
Console.WriteLine($"從Redis緩存取值 UserId={user.UserId} Name={user.Name}");
}
return user;
}
/// <summary>
/// 從DB獲取用戶信息
/// </summary>
/// <param name="userId"></param>
/// <returns></returns>
private User GetUserFromDB(long userId)
{
Console.WriteLine("從數(shù)據(jù)庫中取值");
User user = null;
if (userId == 1 || userId == 2 || userId == 3)
{
user = new User
{
UserId = userId,
Age = 10,
Name = $"BigOrange_{userId}",
Sex = 1
};
}
if (user == null)
{
Console.WriteLine($"從DB取值 未查詢到 UserId={userId}");
}
else
{
Console.WriteLine($"從DB取值 UserId={user.UserId} Name={user.Name}");
}
return user;
}
/// <summary>
/// 設(shè)置用戶信息到本地緩存
/// </summary>
/// <param name="userInfo"></param>
/// <returns></returns>
private bool SetUserToLocalCache(User userInfo)
{
Console.WriteLine($"設(shè)置值到本地緩存:useId = {userInfo.UserId}");
return true;
}
/// <summary>
/// 設(shè)置用戶信息到Redis緩存
/// </summary>
/// <param name="userInfo"></param>
/// <returns></returns>
private bool SetUserToRedisCache(User userInfo)
{
Console.WriteLine($"設(shè)置值到Redis緩存:useId = {userInfo.UserId}");
return true;
}
④測試一下
根據(jù)上面的代碼,寫了一些測試用的條目:
static void Main(string[] args)
{
var userInfoService = new UserInfoService();
/*
* 測試用例
數(shù)據(jù)庫中存在 User1、User2、User3
分布式緩存 User1、User2
本地緩存 User1
*/
//1.只從本地緩存取值
userInfoService.GetUserInfo(1, DataSourceKind.LocalCache);
userInfoService.GetUserInfo(2, DataSourceKind.LocalCache);
//2.只從Redis緩存取值
userInfoService.GetUserInfo(2, DataSourceKind.DistributeCache);
userInfoService.GetUserInfo(3, DataSourceKind.DistributeCache);
//3.只從DB取值
userInfoService.GetUserInfo(3, DataSourceKind.DataBase);
userInfoService.GetUserInfo(4, DataSourceKind.DataBase);
//4.從本地緩存和Redis取值
userInfoService.GetUserInfo(1, DataSourceKind.LocalCache | DataSourceKind.DistributeCache);
//不更新到本地
userInfoService.GetUserInfo(2, DataSourceKind.LocalCache | DataSourceKind.DistributeCache, false);
//更新到本地
userInfoService.GetUserInfo(2, DataSourceKind.LocalCache | DataSourceKind.DistributeCache, true);
//5.從Redis和DB取值
userInfoService.GetUserInfo(2, DataSourceKind.DistributeCache | DataSourceKind.DataBase);
userInfoService.GetUserInfo(3, DataSourceKind.DistributeCache | DataSourceKind.DataBase, false, false);
userInfoService.GetUserInfo(3, DataSourceKind.DistributeCache | DataSourceKind.DataBase, false, true);
//6.從本地和DB取值
userInfoService.GetUserInfo(1, DataSourceKind.LocalCache | DataSourceKind.DataBase);
userInfoService.GetUserInfo(3, DataSourceKind.LocalCache | DataSourceKind.DataBase, false,false);
userInfoService.GetUserInfo(3, DataSourceKind.LocalCache | DataSourceKind.DataBase, true, false);
//7.三者都使用
userInfoService.GetUserInfo(1, DataSourceKind.LocalCache | DataSourceKind.DistributeCache | DataSourceKind.DataBase,false,false);
userInfoService.GetUserInfo(2, DataSourceKind.LocalCache | DataSourceKind.DistributeCache | DataSourceKind.DataBase,false,false);
userInfoService.GetUserInfo(2, DataSourceKind.LocalCache | DataSourceKind.DistributeCache | DataSourceKind.DataBase, true,false);
userInfoService.GetUserInfo(3, DataSourceKind.LocalCache | DataSourceKind.DistributeCache | DataSourceKind.DataBase,false,false);
userInfoService.GetUserInfo(3, DataSourceKind.LocalCache | DataSourceKind.DistributeCache | DataSourceKind.DataBase, true, false);
userInfoService.GetUserInfo(3, DataSourceKind.LocalCache | DataSourceKind.DistributeCache | DataSourceKind.DataBase, false, true);
userInfoService.GetUserInfo(3, DataSourceKind.LocalCache | DataSourceKind.DistributeCache | DataSourceKind.DataBase, true,true);
Console.ReadKey();
}
執(zhí)行結(jié)果:
======數(shù)據(jù)源:LocalCache 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 UserId=1 Name=BigOrange_1
===================================================數(shù)據(jù)源:LocalCache 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=2
===================================================數(shù)據(jù)源:DistributeCache 是否更新本地:False 是否更新Redis:False======
從Redis緩存取值 UserId=2 Name=BigOrange_2
===================================================數(shù)據(jù)源:DistributeCache 是否更新本地:False 是否更新Redis:False======
從Redis緩存取值 未查詢到 UserId=3
===================================================數(shù)據(jù)源:DataBase 是否更新本地:False 是否更新Redis:False======
從DB取值 UserId=3 Name=BigOrange_3
===================================================數(shù)據(jù)源:DataBase 是否更新本地:False 是否更新Redis:False======
從DB取值 未查詢到 UserId=4
===================================================數(shù)據(jù)源:LocalCache, DistributeCache 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 UserId=1 Name=BigOrange_1
===================================================數(shù)據(jù)源:LocalCache, DistributeCache 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=2
從Redis緩存取值 UserId=2 Name=BigOrange_2
===================================================數(shù)據(jù)源:LocalCache, DistributeCache 是否更新本地:True 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=2
從Redis緩存取值 UserId=2 Name=BigOrange_2
設(shè)置值到本地緩存:useId = 2
===================================================數(shù)據(jù)源:DistributeCache, DataBase 是否更新本地:False 是否更新Redis:False======
從Redis緩存取值 UserId=2 Name=BigOrange_2
從DB取值 UserId=2 Name=BigOrange_2
===================================================數(shù)據(jù)源:DistributeCache, DataBase 是否更新本地:False 是否更新Redis:False======
從Redis緩存取值 未查詢到 UserId=3
從DB取值 UserId=3 Name=BigOrange_3
===================================================數(shù)據(jù)源:DistributeCache, DataBase 是否更新本地:False 是否更新Redis:True======
從Redis緩存取值 未查詢到 UserId=3
從DB取值 UserId=3 Name=BigOrange_3
設(shè)置值到Redis緩存:useId = 3
===================================================數(shù)據(jù)源:LocalCache, DataBase 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 UserId=1 Name=BigOrange_1
===================================================數(shù)據(jù)源:LocalCache, DataBase 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=3
從DB取值 UserId=3 Name=BigOrange_3
===================================================數(shù)據(jù)源:LocalCache, DataBase 是否更新本地:True 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=3
從DB取值 UserId=3 Name=BigOrange_3
設(shè)置值到本地緩存:useId = 3
===================================================數(shù)據(jù)源:LocalCache, DistributeCache, DataBase 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 UserId=1 Name=BigOrange_1
===================================================數(shù)據(jù)源:LocalCache, DistributeCache, DataBase 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=2
從Redis緩存取值 UserId=2 Name=BigOrange_2
從DB取值 UserId=2 Name=BigOrange_2
===================================================數(shù)據(jù)源:LocalCache, DistributeCache, DataBase 是否更新本地:True 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=2
從Redis緩存取值 UserId=2 Name=BigOrange_2
設(shè)置值到本地緩存:useId = 2
從DB取值 UserId=2 Name=BigOrange_2
設(shè)置值到本地緩存:useId = 2
===================================================數(shù)據(jù)源:LocalCache, DistributeCache, DataBase 是否更新本地:False 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=3
從Redis緩存取值 未查詢到 UserId=3
從DB取值 UserId=3 Name=BigOrange_3
===================================================數(shù)據(jù)源:LocalCache, DistributeCache, DataBase 是否更新本地:True 是否更新Redis:False======
從本地緩存取值 未查詢到 UserId=3
從Redis緩存取值 未查詢到 UserId=3
從DB取值 UserId=3 Name=BigOrange_3
設(shè)置值到本地緩存:useId = 3
===================================================數(shù)據(jù)源:LocalCache, DistributeCache, DataBase 是否更新本地:False 是否更新Redis:True======
從本地緩存取值 未查詢到 UserId=3
從Redis緩存取值 未查詢到 UserId=3
從DB取值 UserId=3 Name=BigOrange_3
設(shè)置值到Redis緩存:useId = 3
===================================================數(shù)據(jù)源:LocalCache, DistributeCache, DataBase 是否更新本地:True 是否更新Redis:True======
從本地緩存取值 未查詢到 UserId=3
從Redis緩存取值 未查詢到 UserId=3
從DB取值 UserId=3 Name=BigOrange_3
設(shè)置值到Redis緩存:useId = 3
設(shè)置值到本地緩存:useId = 3
=============================================
四、總結(jié)一下
類似上面的用戶信息,可能對于不同系統(tǒng)、不同性能要求,獲取方式會有所不同。
打個比方:對于一個后臺管理系統(tǒng),用戶信息獲取是一個低頻操作,可能只需要從數(shù)據(jù)庫中獲取,此時一般后臺系統(tǒng)不會設(shè)置本地緩存和分布式緩存,而對于一個接口系統(tǒng),可能每天有幾百萬的訪問量,此時如果只從數(shù)據(jù)庫獲取,很難承受,所以要利用到分布式緩存和本地緩存。層次越多那么變化和組合也就越多,但是每個實(shí)體的存取如果都各自實(shí)現(xiàn)自己的方式,又比較浪費(fèi),所以如果能抽象出一套方法,只需要告訴方法存取的方式,然后得到自己想要的數(shù)據(jù),或許這樣是比較好的方式,而具體怎么拿、怎么存,還是由調(diào)用的人去給出,這樣可以應(yīng)對復(fù)雜的規(guī)則。這也是為什么要使用這么多委托的原因,由于像上面獲取和設(shè)定User緩存的方式多種多樣,這么做可以把具體的獲取和設(shè)置緩存的操作開放給使用者。在系統(tǒng)重構(gòu)方面上,可以將一些通用的方法抽象出來,相對成本較低,擴(kuò)展性好一些。
五、題外話
上面的代碼中對于更新數(shù)據(jù),沒有做線程安全處理,多個進(jìn)程去更新分布式緩存、同一進(jìn)程的多個線程去更新本地緩存,可能都需要進(jìn)行鎖操作。
原文鏈接:https://www.cnblogs.com/dcz2015/p/11126870.html
相關(guān)推薦
- 2022-09-15 C/C++?左移<<,?右移>>的作用及說明_C 語言
- 2022-05-20 快速安裝Docker詳細(xì)步驟教程_docker
- 2022-08-19 mv命令linux
- 2021-12-16 linux下wget命令的基本使用方法_Linux
- 2022-07-14 React父子組件傳值(組件通信)的實(shí)現(xiàn)方法_React
- 2022-12-06 解決R語言報錯:Error?in?y?+?1:non-numeric?argument?to?bin
- 2022-11-26 Linux?top命令詳解_linux shell
- 2022-10-31 C#實(shí)現(xiàn)HTTP訪問類HttpHelper的示例詳解_C#教程
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡單動態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支