idea打包spark程序在集群上运行过程(1)

论坛 期权论坛 脚本     
匿名网站用户   2020-12-20 06:05   23   0

第一步:

第二步:

第三步:

第四步:

第五步:

spark-submit --master yarn --deploy-mode cluster --driver-memory 4G --executor-memory 5g --num-executors 10 --conf nf spark.yarn.executor.memoryOverhearhead=2048 --conf nf spark.network.timeout=300=300000 --class ss com.datareal.BackUp spa spark_handle_le_promotion.jar ban banner=R10001 year=2016

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:1136255
帖子:227251
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP