1.簡版

--master yarn-cluster \
--jars mysql-connector-java-8.0.28.jar,sparklens-0.3.2-s_2.11.jar \
--driver-class-path mysql-connector-java-8.0.28.jar  \
--conf spark.executor.extraClassPath=sparklens-0.3.2-s_2.11.jar \
--conf spark.extraListeners=com.qubole.sparklens.QuboleJobListener \
--conf spark.sparklens.reporting.disabled=true \
--conf spark.sparklens.data.dir=/projects/sparklens \
--conf spark.default.parallelism=1900 \
--conf spark.sql.shuffle.partitions=1900 \
--conf spark.dynamicAllocation.maxExecutors=250 \
--conf spark.dynamicAllocation.executorIdleTimeout=120s \
--conf spark.dynamicAllocation.initialExecutors=200 \
--conf spark.dynamicAllocation.minExecutors=200 \
--conf spark.executor.cores=3 \
--conf spark.executor.memory=512m \
--conf spark.executor.memoryOverhead=1g \
--conf spark.blacklist.enabled=true \
--conf spark.yarn.nodemanager.vmem-check-enabled=false \
--conf spark.yarn.nodemanager.pmem-check-enabled=false \
--conf spark.speculation.quantile=0.5 \
--conf spark.speculation.multiplier=1.4 \
--conf spark.yarn.dist.files=hdfs://projects/log4j2.properties#log4j2.propertie \
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j2.propertie" \
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j2.propertie" \

2.詳細注釋版

# 給下面的 Spark 啟動配置加上注釋
--master yarn-cluster \  # 設置 Spark 的運行模式為 yarn-cluster，即在 YARN 集群中運行應用程序
--jars mysql-connector-java-8.0.28.jar,sparklens-0.3.2-s_2.11.jar \  # 添加外部的 JAR 包 mysql-connector-java-8.0.28.jar 和 sparklens-0.3.2-s_2.11.jar
--driver-class-path mysql-connector-java-8.0.28.jar  \  # 設置 Driver 運行時的 classpath，將 mysql-connector-java-8.0.28.jar 添加到 classpath 中
--conf spark.executor.extraClassPath=sparklens-0.3.2-s_2.11.jar \  # 設置 Executor 運行時的 classpath，將 sparklens-0.3.2-s_2.11.jar 添加到 classpath 中
--conf spark.extraListeners=com.qubole.sparklens.QuboleJobListener \  # 啟用 QuboleJobListener，用于監控 Spark 作業的性能指標
--conf spark.sparklens.reporting.disabled=true \  # 禁用 SparkLens 的報告功能，避免浪費資源
--conf spark.sparklens.data.dir=/projects/sparklens \  # 指定 SparkLens 存儲數據的目錄
--conf spark.default.parallelism=1900 \  # 設置默認并行度，即每個任務的分區數，默認值為核數 * 2
--conf spark.sql.shuffle.partitions=1900 \  # 設置 Shuffle 操作的分區數，默認值為核數 * 200
--conf spark.dynamicAllocation.maxExecutors=250 \  # 設置動態分配的最大 Executor 數量
--conf spark.dynamicAllocation.executorIdleTimeout=120s \  # 設置 Executor 空閑時間，超過該時間后將被回收
--conf spark.dynamicAllocation.initialExecutors=200 \  # 設置動態分配的初始 Executor 數量
--conf spark.dynamicAllocation.minExecutors=200 \  # 設置動態分配的最小 Executor 數量
--conf spark.executor.cores=3 \  # 設置每個 Executor 使用的 CPU 核數
--conf spark.executor.memory=512m \  # 設置每個 Executor 的內存大小
--conf spark.executor.memoryOverhead=1g \  # 設置 Executor 的內存 overhead
--conf spark.blacklist.enabled=true \  # 啟用 Executor 黑名單功能，避免因 Executor 運行異常導致的作業失敗
--conf spark.yarn.nodemanager.vmem-check-enabled=false \  # 禁用虛擬內存檢查，避免因虛擬內存檢查導致的作業失敗
--conf spark.yarn.nodemanager.pmem-check-enabled=false \  # 禁用物理內存檢查，避免因物理內存檢查導致的作業失敗
--conf spark.speculation.quantile=0.5 \  # 設置任務推測執行的百分比
--conf spark.speculation.multiplier=1.4 \  # 設置任務推測執行的倍數
--conf spark.yarn.dist.files=hdfs://projects/log4j2.properties#log4j2.propertie \  # 將日志配置文件log4j2.properties添加到Spark應用程序的classpath
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j2.propertie" \   # 配置Spark驅動程序（Driver）的日志級別等參數，將log4j2.properties文件作為驅動程序（Driver）的日志配置文件
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j2.propertie" \  # 配置Spark Executor的日志級別等參數，將log4j2.properties文件作為Executor的日志配置文件