大数据Hadoop 技术内幕:深入解析 HDFS架构设计与实现原理

论坛 期权论坛 脚本     
匿名技术用户   2021-1-2 06:57   11   0

一、HDFS架构

二、HDFS设计思想

三、HDFS写流程

---Client:

·切分文件Block

·按Block线性和NN获取DN列表(副本数)

·验证DN列表后以更小的单位流式传输数据

---各节点,两两通信确定可用

·Block传输结束后:

---DN向NN汇报Block信息

---DN向Client汇报完成

---Client向NN汇报完成

·获取下一个Block存放的DN列表

·。。。。。。

·最终Client汇报完成

·NN会在写流程更新文件状态

四、HDFS读流程

---Client:

·和NN获取一部分Block副本位置列表

·线性和DN获取Block,最终合并为一个文件

·在Block副本列表中按距离择优选取

五、HDFS文件权限POSIX

---与Linux文件权限类似

·r: read; w:write; x:execute

·权限x对于文件忽略,对于文件夹表示是否允许访问其内容

---如果Linux系统用户zhangsan使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是zhangsan。

---HDFS的权限目的:阻止好人错错事,而不是阻止坏人做坏事。HDFS相信,你告诉我你是谁,我就认为你是谁。

本文为原创,禁止转载!

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:7942463
帖子:1588486
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP