hdfs一致性模型，hdfs一致性
文件系统的一致模型描述了对文件读写的数据可见性。HDFS为性能牺牲了一些POSIX请求，因此一些操作可能比想像的困难。
在创建一个文件之后，在文件系统的命名空间中是可见的，如下所示：
1. Path p = new Path("p");
2. Fs.create(p);
3. assertThat(fs.exists(p),is(true));
但是，写入文件的内容并不保证能被看见，即使数据流已经被刷新。所以文件长度显示为0：
1. Path p = new Path("p");
2. OutputStream out = fs.create(p);
3. out.write("content".getBytes("UTF-8"));
4. out.flush();
5. assertThat(fs.getFileStatus(p).getLen(),is(0L));
一旦写入的数据超过一个块的数据，新的读取者就能看见第一个块。对于之后的块也是这样。总之，它始终是当前正在被写入的块，其他读取者是看不见它的。
HDFS提供一个方法来强制所有的缓存与数据节点同步，即在文件系统数据输出流使用sync()方法。在sync()返回成功后，HDFS能保证文件中直至写入的最后的数据对所有新的读取者而言，都是可见且一致的。万一发生冲突(与客户端或HDFS)，也不会造成数据丢失：
1. Path p = new Path("p");
2. FSDataOutputStream out = fs.create(p);
3. out.write("content".getBytes("UTF-8"));
4. out.flush();
5. out.sync();
6. assertThat(fs.getFileStatus(p).getLen(),
is(((long) "content".length())));
此行为类似于Unix中的fsync系统调用-- 为一个文件描述符提交缓冲数据。例如，利用Java API写入一个本地文件，我们肯定能够看到刷新流和同步之后的内容：
1. FileOutputStream out = new FileOutputStream(localFile);
2. out.write("content".getBytes("UTF-8"));
3. out.flush(); // flush to operating system
4. out.getFD().sync(); // sync to disk
5. assertThat(localFile.length(), is(((long) "content".length())));
在HDFS中关闭一个文件其实还执行了一个隐含的sync()：
1. Path p = new Path("p");
2. OutputStream out = fs.create(p);
3. out.write("content".getBytes("UTF-8"));
4. out.close();
5. assertThat(fs.getFileStatus(p).getLen(),
is(((long) "content".length())));
应用设计的重要性
这个一致模型与具体设计应用程序的方法有关。如果不调用sync()，那么一旦客户端或系统发生故障，就可能失去一个块的数据。对很多应用来说，这是不可接受的，所以我们应该在适当的地方调用sync()，例如在写入一定的记录或字节之后。尽管sync()操作被设计为尽量减少HDFS负载，但它仍然有开销，所以在数据健壮性和吞吐量之间就会有所取舍。应用依赖就比较能接受，通过不同的sync()频率来衡量应用程序，最终找到一个合适的平衡。