spark-submit提交pyspark任务是引入第三方依赖包

论坛 期权论坛 脚本     
匿名技术用户   2021-1-7 02:40   34   0
/etc/alternatives/spark-submit \
--master yarn \
--deploy-mode cluster \
--name md_day_dump_user \
--conf "spark.pyspark.driver.python=/home/uther/miniconda2/envs/uther/bin/python3" \
--conf "spark.pyspark.python=/home/uther/miniconda2/envs/uther/bin/python3" \      #绝对路径
--py-files /home/uther/uther/uther.zip \           #绝对路径
/home/uther/uther/spark_run/md_day_dump_users.py   #绝对路径     

注:--py-files 将第三方包压缩成zip包,并且填入绝对路径

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:7942463
帖子:1588486
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP