網站首頁 編程語言 正文
.net core在新增的System.Buffers中引入了一大堆高效內存管理的類,如span和memory、內存池。本文今天這里介紹一個高效動態內存訪問方案。
ReadOnlySequenceSegment<T>
在我們讀取數據的過程,很多時候會出現如下場景:
不知道數據實際大小
一次性申請大量內存開銷太大
此時我們往往會使用動態內存的方案,通過鏈表的方式串聯起來,從而形成邏輯意義上的數據流。如下圖所示:
ReadOnlySequenceSegment<T>就是這樣一個表示數據流節點的內存模型,它是一個抽象類,包含如下三個元素:
Memory:指向所包含的內存
Next:指向下一個節點
RunningIndex:標志當前節點在整個流的位置
其中Memory和Next還比較容易理解,典型的鏈表結構。主要難理解的是RunningIndex,他表示該節點在數據流中的Memory起始索引。
一般的來講,某節點的RunningIndex為其上一個節點的RunningIndex + Memory.Length。加上RunningIndex估計主要是為了快速索引的。
例如:對于如下3快內存 100byte, 200byte, 300byte組成的鏈表,其RunningIndex分別是0, 100, 200。
另外,在實際的使用過程中,往往是不停的釋放鏈表頭部的節點,并且在尾部添加新節點。 RunningIndex表示的索引一般是邏輯意義上的索引,在釋放頭節點時,一般不用更新其子節點以及后續節點的RunningIndex。
ReadOnlySequence<T>
ReadOnlySequenceSegment<T>雖然能解決我們的動態內存的申請和釋放問題,但它往往并不好用,因為很容易出現一段連續的數據被分割在多個節點的情況,在這段不連續的數據里進行查詢是非常不便的。
為了解決這個問題,.net core中推出了一個視圖類ReadOnlySequence<T>
ReadOnlySequence<T>由兩個屬性標記:
Start: 起始SequenceSegment以及起始索引
End: 結尾SequenceSegment以及結尾索引
可以通過foreach遍歷各節點的Memory
var seq = new ReadOnlySequence<byte>();
foreach (ReadOnlyMemory<byte> memory in seq)
{
}
ReadOnlySequence的主要優勢在于,它可以看成一段邏輯意義上的連續內存,常用的函數有:
Slice:對視圖數據切片
PositionOf:查詢元素的縮影
ToArray:轉換成數組
其中的ToArray涉及到大量的數據拷貝,需要謹慎使用。
另外.net core 3.0中還內置了一個SequenceReader,用起來是十分方便的:?
private static ReadOnlySpan<byte> CRLF => new byte[] { (byte)'\r', (byte)'\n' };
public static void ReadLines(ReadOnlySequence<byte> sequence)
{
SequenceReader<byte> reader = new SequenceReader<byte>(sequence);
while (!reader.End)
{
if (!reader.TryReadToAny(out ReadOnlySpan<byte> line, CRLF, advancePastDelimiter: false))
{
// Couldn't find another delimiter
// ...
}
if (!reader.IsNext(CRLF, advancePast: true))
{
// Not a good CR/LF pair
// ...
}
// line is valid, process
ProcessLine(line);
}
}
如何使用
用過System.IO.Pipelines的朋友就知道,ReadOnlySequence在該庫中是非常好用的。但如果我們想創建一個ReadOnlySequence,發現并不是那么容易,因為:
ReadOnlySequence依賴于ReadOnlySequenceSegment
ReadOnlySequenceSegment是抽象類,需要自己繼承
也就是說我們需要自己實現ReadOnlySequenceSegment<T>,然后再將其封裝到ReadOnlySequence中,目前.net core中并沒有內置實現可能是因為在高效內存管理的方案中并沒有什么通用的解決方案吧。
如果我們要自己實現ReadOnlySequence,一般需要如下幾個步驟:
繼承ReadOnlySequenceSegment類,實現自己的SequenceSegment
在申請內存過程中,創建SequenceSegment,并將其掛成鏈表
使用數據時,在該鏈表中創建ReadOnlySequence
當SequenceSegment節點的內存使用完成的時候,從鏈表中接觸該節點,并釋放內存。
簡單來說就是如下幾種操作:
數據讀取: 創建SequenceSegment
數據使用: 在SequenceSegment鏈表上創建ReadOnlySequence
使用完成: 釋放SequenceSegment
如果要更進一步優化,在SequenceSegment中的內存申請和釋放可以使用內存池。
原文鏈接:https://www.cnblogs.com/TianFang/p/10084049.html
相關推薦
- 2022-06-06 C#實現Excel轉PDF時設置內容適應頁面寬度_C#教程
- 2022-09-22 git只提交部分修改的文件(提交指定文件)
- 2022-07-28 Golang配置管理庫?Viper的教程詳解_Golang
- 2022-09-16 Android12四大組件之Activity生命周期變化詳解_Android
- 2022-09-17 C語言深入探索數據類型的存儲_C 語言
- 2022-05-27 對Entity?Framework?Core進行單元測試_實用技巧
- 2022-08-19 Spring Cloud Config配置服務
- 2022-06-06 web前端實現水平垂直居中、position、relative、absolute、transform
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支