網(wǎng)站首頁 編程語言 正文
Flink 側(cè)流輸出源碼解析
Flink 的 side output 為我們提供了側(cè)流（分流）輸出的功能，根據(jù)條件可以把一條流分為多個(gè)不同的流，之后做不同的處理邏輯，下面就來看下側(cè)流輸出相關(guān)的源碼。
先來看下面的一個(gè) Demo，一個(gè)流被分成了 3 個(gè)流，一個(gè)主流，兩個(gè)側(cè)流輸出。
SingleOutputStreamOperator<JasonLeePOJO> process =
kafka_source1.process(
new ProcessFunction<JasonLeePOJO, JasonLeePOJO>() {
@Override
public void processElement(
JasonLeePOJO value,
ProcessFunction<JasonLeePOJO, JasonLeePOJO>.Context ctx,
Collector<JasonLeePOJO> out)
throws Exception {
// 這個(gè)是主流輸出
if (value.getName().equals("flink")) {
out.collect(value);
// 下面兩個(gè)是測流輸出
} else if (value.getName().equals("spark")) {
ctx.output(test, value);
// 測流
} else if (value.getName().equals("hadoop")) {
ctx.output(test1, value);
}
}
});
為了更加清楚的查看每一個(gè)算子，我禁用了 operator chain，任務(wù)的 DAG 圖如下所示：
這樣就比較清晰了，很明顯從 process 算子開始，1 個(gè)數(shù)據(jù)流分為了 3 個(gè)數(shù)據(jù)流，當(dāng)然，在默認(rèn)情況下沒有禁止
operator chain 所有的算子都是 chain 在一起的。
源碼解析
我們先來看第一個(gè)主流輸出也就是 out.collect(value) 的源碼，這里的 out 實(shí)際上是 TimestampedCollector 對象。
TimestampedCollector#collect
@Override
public void collect(T record) {
output.collect(reuse.replace(record));
}
在 collect 方法中持有一個(gè) output 對象，用來輸出數(shù)據(jù)，在這里實(shí)際上是一個(gè) CountingOutput 它是一個(gè)包裝了 Output 的對象，主要用于更新發(fā)送數(shù)據(jù)的 metric，并輸出數(shù)據(jù)。
CountingOutput#collect
@Override
public void collect(StreamRecord<OUT> record) {
numRecordsOut.inc();
output.collect(record);
}
在 CountingOutput 中也持有一個(gè) output 對象，但是這里的 output 是 BroadcastingOutputCollector 對象，從名字就可以看出它是往下游廣播數(shù)據(jù)的，這里就有一個(gè)疑問？把數(shù)據(jù)廣播到下游，那豈不是下游的每個(gè)數(shù)據(jù)流都有這條數(shù)據(jù)嗎？這樣的話是怎么實(shí)現(xiàn)分流的呢？帶著這個(gè)疑問，我們來看 BroadcastingOutputCollector 的 collect 方法是怎么實(shí)現(xiàn)的。
BroadcastingOutputCollector#collect
@Override
public void collect(StreamRecord<T> record) {
// 這里的 outputs 數(shù)組有三個(gè) output 分別對應(yīng)上面的三個(gè)輸出流
for (Output<StreamRecord<T>> output : outputs) {
output.collect(record);
}
}
在 BroadcastingOutputCollector 對象里也持有一個(gè) output 對象，其實(shí)他們都實(shí)現(xiàn)了 Output 接口，用來往下游發(fā)送數(shù)據(jù)，這里的 outputs 是一個(gè) Output 數(shù)組，代表了下游的所有 Output，因?yàn)樯厦嬗腥齻€(gè)輸出流，所以數(shù)組里面就包含了 3 個(gè) Output 對象。
循環(huán)的調(diào)用 output 的 collect 方法往下游發(fā)送數(shù)據(jù)，因?yàn)槲掖驍嗔?operator chain，所以 process 算子和下游的 Print 算子不在同一個(gè) operatorChain 內(nèi)，那么上下游算子之間數(shù)據(jù)傳輸用的就是 RecordWriterOutput，否則用的是 CopyingChainingOutput 或者 ChainingOutput，具體使用的是哪個(gè) Output 這里就不多介紹了，后面有時(shí)間的話會單獨(dú)介紹。
RecordWriterOutput#collect
@Override
public void collect(StreamRecord<OUT> record) {
// 主流是沒有 outputTag 的，只有測流有 outputTag
if (this.outputTag != null) {
// we are not responsible for emitting to the main output.
return;
}
pushToRecordWriter(record);
}
接著來看 RecordWriterOutput 的 collect 方法，在 collect 方法里面會先判斷 outputTag 是否為空，如果不為空不做任何處理，直接返回，否則就把數(shù)據(jù)推送到下游算子，只有側(cè)流輸出才需要定義 outputTag，主流（正常流）是沒有 outputTag 的，所以這里會走 pushToRecordWriter 方法把數(shù)據(jù)寫入到下游，也就是說雖然會以廣播的形式把數(shù)據(jù)廣播到所有下游，但其實(shí)另外兩個(gè)側(cè)流是直接返回的，只有主流才會把數(shù)據(jù)推送到下游，這也就解釋了上面的疑問。
然后再來看第二個(gè)側(cè)流輸出 ctx.output(test, value) 的源碼，這里的 ctx 實(shí)際上是 ProcessOperator#ContextImpl 對象。
ProcessOperator#ContextImpl#output
@Override
public <X> void output(OutputTag<X> outputTag, X value) {
if (outputTag == null) {
throw new IllegalArgumentException("OutputTag must not be null.");
}
output.collect(outputTag, new StreamRecord<>(value, element.getTimestamp()));
}
如果 outputTag 是空，直接拋出異常，因?yàn)檫@個(gè)是側(cè)流，所以必須要定義 OutputTag。這里的 output 實(shí)際上是父類 AbstractStreamOperator 所持有的變量，如果 outputTag 不為空，就調(diào)用 output 的 collect 方法把數(shù)據(jù)發(fā)送到下游，這里的 output 和上面的一樣是 CountingOutput 但是 collect 方法是另外一個(gè)重載的方法。
CountingOutput#collect
@Override
public <X> void collect(OutputTag<X> outputTag, StreamRecord<X> record) {
numRecordsOut.inc();
output.collect(outputTag, record);
}
可以發(fā)現(xiàn)，這個(gè) collect 方法比上面那個(gè)多了一個(gè) OutputTag 參數(shù)，也就是使用側(cè)流輸出的時(shí)候定義的 OutputTag 對象，然后調(diào)用 output 的 collect 方法發(fā)送數(shù)據(jù)，這個(gè)也和上面的一樣，同樣是 BroadcastingOutputCollector 對象的另外一個(gè)重載方法，多了一個(gè) OutputTag 參數(shù)。
BroadcastingOutputCollector#collect
@Override
public <X> void collect(OutputTag<X> outputTag, StreamRecord<X> record) {
for (Output<StreamRecord<T>> output : outputs) {
output.collect(outputTag, record);
}
}
這里的邏輯和上面是一樣的，同樣的循環(huán)調(diào)用 collect 方法發(fā)送數(shù)據(jù)。
RecordWriterOutput#collect
@Override
public <X> void collect(OutputTag<X> outputTag, StreamRecord<X> record) {
// 先要判斷兩個(gè) OutputTag 是否一樣
if (OutputTag.isResponsibleFor(this.outputTag, outputTag)) {
pushToRecordWriter(record);
}
}
在這個(gè) collect 方法中會先判斷傳入的 OutputTag 對象和成員變量 this.outputTag 是不是相等，如果是的話，就發(fā)送數(shù)據(jù)，否則不做任何處理，所以這里每次只會選擇一個(gè)下游側(cè)流輸出數(shù)據(jù)，這樣就實(shí)現(xiàn)了所謂的分流。
OutputTag#isResponsibleFor
public static boolean isResponsibleFor(
@Nullable OutputTag<?> owner, @Nonnull OutputTag<?> other) {
return other.equals(owner);
}
可以看到在 isResponsibleFor 方法內(nèi)是直接調(diào)用 OutputTag 的 equals 方法判斷兩個(gè)對象是否相等的。
第三個(gè)側(cè)流 test1 ctx.output(test1, value) 和第二個(gè)側(cè)流 test 是完全一樣的情況，這里就不在看代碼了。
上面是完成了分流操作，那怎么獲取到分流后結(jié)果呢（數(shù)據(jù)流）？我們可以通過 getSideOutput 方法獲取。
DataStream<JasonLeePOJO> sideOutput = process.getSideOutput(test);
DataStream<JasonLeePOJO> sideOutput1 = process.getSideOutput(test1);
getSideOutput 源碼
public <X> DataStream<X> getSideOutput(OutputTag<X> sideOutputTag) {
sideOutputTag = clean(requireNonNull(sideOutputTag));
// make a defensive copy
sideOutputTag = new OutputTag<X>(sideOutputTag.getId(), sideOutputTag.getTypeInfo());
TypeInformation<?> type = requestedSideOutputs.get(sideOutputTag);
if (type != null && !type.equals(sideOutputTag.getTypeInfo())) {
throw new UnsupportedOperationException(
"A side output with a matching id was "
+ "already requested with a different type. This is not allowed, side output "
+ "ids need to be unique.");
}
requestedSideOutputs.put(sideOutputTag, sideOutputTag.getTypeInfo());
SideOutputTransformation<X> sideOutputTransformation =
new SideOutputTransformation<>(this.getTransformation(), sideOutputTag);
return new DataStream<>(this.getExecutionEnvironment(), sideOutputTransformation);
}
getSideOutput 方法里先是構(gòu)建了一個(gè) SideOutputTransformation 對象，然后又構(gòu)建了 DataStream 對象，這樣我們就可以基于分流后的 DataStream 做不同的處理邏輯了，從而實(shí)現(xiàn)了把一個(gè) DataStream 分流成多個(gè) DataStream 功能。
總結(jié)
通過對側(cè)流輸出的源碼進(jìn)行解析，在分流的時(shí)候，數(shù)據(jù)是通過廣播的方式發(fā)送到下游算子的，對于主流的數(shù)據(jù)來說，只有 OutputTag 為空的才會處理，側(cè)流因?yàn)?OutputTag 不為空，所以直接返回，不做任何處理，那對于側(cè)流的數(shù)據(jù)來說，是通過判斷兩個(gè) OutputTag 是否相等，所以每次只會把數(shù)據(jù)發(fā)送到下游對應(yīng)的那一個(gè)側(cè)流上去，這樣即可實(shí)現(xiàn)分流邏輯。
原文鏈接：https://juejin.cn/post/7143077414153748488
相關(guān)推薦
- 2022-12-23 Kotlin標(biāo)準(zhǔn)函數(shù)與靜態(tài)方法基礎(chǔ)知識詳解_Android
- 2022-12-01 Django中ModelForm組件的簡單配置與使用教程_python
- 2022-09-30 Centos7?Shell編程之正則表達(dá)式、文本處理工具詳解_正則表達(dá)式
- 2022-11-01 C語言strlen,strcpy,strcmp,strcat,strstr字符串操作函數(shù)實(shí)現(xiàn)_C 語
- 2022-12-03 React為什么需要Scheduler調(diào)度器原理詳解_React
- 2022-09-07 教你應(yīng)用?SOLID?原則整理?React?代碼之單一原則_React
- 2022-11-10 Linux實(shí)現(xiàn)壓縮文件的生成與查看的常用命令總結(jié)_linux shell
- 2022-06-16 Python數(shù)據(jù)結(jié)構(gòu)之遞歸可視化詳解_python
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版（
- Linux 中運(yùn)行的top命令 怎么退出？
- MySQL 中decimal 的用法？ 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符，流程控制 Flo
- 1. Int 和Integer 的區(qū)別，Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯(cuò)誤：Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密？
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡單動態(tài)字符串（SD
- arthas操作spring被代理目標(biāo)對象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列，發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支
提供CDN加速