hdfs如何实现文件的存储

来源：互联网 2023-02-21 18:58:23 版权归原作者所有，如有侵权，请联系我们

客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。

hdfs如何实现文件的存储

方法/步骤

DistributedFileSystem通过RPC来调用namenode，以确定文件的开头部分的块位置。对于每一块，namenode返回具有该块副本的datanode地址。

hdfs如何实现文件的存储

　　　此外，这些datanode根据他们与client的距离来排序（根据网络集群的拓扑）。如果该client本身就是一个datanode，便从本地datanode中读取。

DistributedFileSystem返回一个FSDataInputStream对象给client读取数据，FSDataInputStream转而包装了一个DFSInputStream对象。

hdfs如何实现文件的存储

接着client对这个输入流调用read()。存储着文件开头部分的块的数据节点的地址DFSInputStream随即与这些块最近的datanode相连接。

hdfs如何实现文件的存储

通过在数据流中反复调用read()，数据会从datanode返回client。

hdfs如何实现文件的存储

到达块的末端时，DFSInputStream会关闭与datanode间的联系，然后为下一个块找到最佳的datanode。client端只需要读取一个连续的流，这些对于client来说都是透明的。

hdfs如何实现文件的存储

在读取的时候，如果client与datanode通信时遇到一个错误，那么它就会去尝试对这个块来说下一个最近的块。它也会记住那个故障节点的datanode，以保证不会再对之后的块进行徒劳无益的尝试。

hdfs如何实现文件的存储

6相关内容非法爬取自百度经验

以上方法由办公区教程网编辑摘抄自百度经验可供大家参考！