|
spark的jar包没必要把所有相关的依赖都打进一个jar包中，因为这样会把spark、hadoop本身相关的jar包也打进去，但是这些依赖在用spark-submit命令运行时，会自动加载部署环境中已有的。
/opt/cloudera/parcels/CDH/bin/spark-submit \
--class "cn.icarevision.its007.upgrade.EsIndexUpgrade" \
--jars ~/its007/its007-upgrade/lib/dependency/*.jar \
~/its007/its007-upgrade/lib/hello-es-hadoop_2.10-1.0.jar
其中--jars是是所有依赖的jar包，这里我把所有依赖的jar包放到了dependency这个目录。 | 
转播
