DistributedCache.addCacheFile函数使用过程中遇到的坑

论坛 期权论坛 脚本     
匿名网站用户   2020-12-20 10:35   29   0

符号链接:

Path inPathRelLocal = new Path(hdfsFile);
// # 号之后的名称是对上面文件的链接,不同文件的链接名不能相同,虽然由你自己随便取
String inPathLinkRelLocal=inPathRelLocal.toUri().toString()+"#"+linkName;
DistributedCache.addCacheFile(new URI(inPathLinkRelLocal), conf);

你在main函数中使用这个函数之后,你可以直接调用linkName,相当于调用项目中的本地文件。

注意:

conf 文件是:getCacheFile(job.getConfiguration(),hdfsFile,linkName);

不是Configuration conf = new Configuration(); 而是你在Job job = new Job(conf,"###");之后的

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:1136255
帖子:227251
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP