Spark访问Hive的表

论坛 期权论坛 编程之家     
选择匿名的用户   2021-6-2 20:20   2733   0

1、例行模式

step 1:将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf目录下,如果是cdh版的,则将/var/run/cloudera-scm-agent/process/259-hive-HIVESERVER2下面的hive-site.xml拷贝到/etc/spark/conf下面即可

step 2:spark-shell模式:./spark-shell --master local[2] --jars ../jars/mysql-connector-java-5.1.49.jar

step3:spark-sql模式:./spark-sql --master local[2] --jars ../jars/mysql-connector-java-5.1.49.jar --driver-class-path ../jars/mysql-connector-java-5.1.49.jar

注意:spark-sql模式比spark-shell模式多一个driver-class-path参数,但也可以不用,测试两者都通过了

2、Server模式

启动服务端:$SPARK_HOME/sbin/start-thriftserver.sh --master local --jars ../jars/mysql-connector-java-5.1.49.jar

启动客户端:$SPARK_HOME/bin/beeline -u jdbc:hive2://master:10000

3、IDEA访问,首先将hive-site.xml复制到项目的resources文件夹下,如图所示,不然会提示相关的表不存在。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP