spark写入hadoop为空

论坛 期权论坛 编程之家     
选择匿名的用户   2021-6-2 20:10   2709   0

这个主要是因为我使用的本地开发,然后是使用的阿里的服务器,导致写入到hdfs的时候文件写入进去了,但是一直写的都是空文件,当时看了一篇博客感觉写的蛮有道理的,应该把那边博客地址贴上,但是后面关闭了那个界面,不过还是要很感谢那篇博客。

之所以可以创建博客成功,主要是因为本地配置了host后可以通过域名找到那台namenode服务器,但是请求namenode服务器返回的是datanode的ip地址,当然,是内网地址,所以返回ip地址后本地会去访问,肯定访问不了的,所以这里需要配置

在hdfs-site.xml里面配置这个

<property>
<name>dfs.client.use.datanode.hostname</name>
<value>true</value>
<description>only cofig in clients</description>
</property>

这样的话返回的datanode就是域名了,这样就可以上传成功了

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP