HBase内存压缩
2018-07-12 15:24 更新
概述
内存压缩(AKA Accordion)是hbase-2.0.0中的一项新功能。它首先在Accordion的Apache HBase博客上推出 :通过内存压缩进行HBase Breathes。引用博客:
Accordion重新应用LSM主体[ Log-Structured-Merge Tree,HBase基于MemStore的设计模式,以便在数据仍在RAM中时消除冗余和其他开销。这样做可以降低刷新到HDFS的频率,从而减少写入放大和整个磁盘占用空间。由于刷新次数较少,因此MemStore溢出时写入操作停止的频率降低,因此写入性能得到改善。磁盘上的数据越少,对块缓存的压力越小,命中率越高,最终读取响应时间越长。最后,减少磁盘写入也意味着在后台执行的压缩更少,即从生产(读取和写入)工作中窃取的周期更少。总而言之,内存压缩的效果可以被设想为催化剂,使系统整体上移动得更快。
Accordion提供开发人员视图:内存压缩的开发人员视图。
内存压缩在大量数据流失时效果最佳;当数据仍在内存中时,可以消除覆盖或过度版本。如果写入都是唯一的,则可能会拖动写入吞吐量(内存中压缩成本CPU)。我们建议您在部署到生产之前进行测试和比较。
以上内容是否对您有帮助:
更多建议: