HDFS资源管理器源码发布

论坛 期权论坛 编程之家     
选择匿名的用户   2021-5-16 18:52   161   0

Hadoop对于从事分布式存储工作的朋友应该并不陌生(如果你还没有听说过请到百度百科http://baike.baidu.com/view/908354.htm看个究竟),本文主要针对Hadoop的分布式文件系统也就是HDFS展开讨论。引用Hadoop官方的一句话:HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。这么好的系统我们没有不用的道理吧,如何用呢?这里我不说如何部署Hadoop,主要讲如何让.net程序员来用。为什么只是.net程序员呢,因为Hadoop本身是Java实现且需要架设在Linux系统上,而这些都是我们习惯了Windows下.net编程的开发人员所不擅长的。下面先展示一下本文标题中所说的HDFS资源的效果,如图:

实现的功能主要有一下几点:

1、列表。可以以资源管理器方式列表文件及文件信息(如:文件格式、大小等)
2、文件下载。可以将HDFS中的文件下载到本地,可以单个或批量,按照列表下载。
3、文件上传。可以将本地的文件上传至HDFS,同样支持单个、批量。
4、文件修改。可以直接重命名、复制、粘贴、剪切HDFS中的文件。
5、删除文件恢复。可以自定义文件删除恢复机制,在指定的时间段内恢复文件。

源码和使用配置说明放在了github上,有兴趣的可以去这里(https://github.com/gudao/NetHadoop)交流。

(注:使用前提有搭建好的Hadoop集群或伪集群且启动了Haddopfs.Thrift服务)

下篇随笔将介绍如何部署Haddopfs.Thrift服务,欢迎访问本人小站http://www.front2end.cn/交流。

转载于:https://www.cnblogs.com/gudao119/archive/2013/01/12/2857676.html

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP