hadoop API 写入HDFS简单注释

论坛 期权论坛 编程之家     
选择匿名的用户   2021-5-29 09:59   623   0

import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI;

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.util.Progressable;

// vv FileCopyWithProgress public class FileCopyWithProgress { public static void main(String[] args) throws Exception { String localSrc = args[0]; String dst = args[1]; InputStream in = new BufferedInputStream(new FileInputStream(localSrc)); //建立一个本地的InputStream Configuration conf = new Configuration();//建立接口 FileSystem fs = FileSystem.get(URI.create(dst), conf);//创建文件系统实例 OutputStream out = fs.create(new Path(dst), new Progressable() { public void progress() { System.out.print("."); }//通过实例创建管道 create方法返回的是FSDataOutputStream对象 }); IOUtils.copyBytes(in, out, 4096, true);//通过管道进行写入 } }


分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP