https://pothos.dpdns.org/tags/%E5%88%97%E5%BC%8F%E5%AD%98%E5%82%A8/Recent content in 列式存储 on Ralph's BlogHugo -- 0.147.7zh-cnThu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/3.clickhouse/Thu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/3.clickhouse/<h1 id="clickhouse">ClickHouse</h1> <h2 id="目录">目录</h2> <details> <summary>点击展开目录</summary> <ul> <li><a href="#clickhouse">ClickHouse</a> <ul> <li><a href="#%E7%9B%AE%E5%BD%95">目录</a></li> <li><a href="#clickhouse-%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5">ClickHouse 基础概念</a> <ul> <li><a href="#clickhouse-%E7%AE%80%E4%BB%8B">ClickHouse 简介</a> <ul> <li><a href="#%E6%A0%B8%E5%BF%83%E4%BC%98%E5%8A%BF">核心优势</a></li> <li><a href="#%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF">应用场景</a></li> <li><a href="#%E4%B8%8E%E5%85%B6%E4%BB%96%E6%95%B0%E6%8D%AE%E5%BA%93%E5%AF%B9%E6%AF%94">与其他数据库对比</a></li> </ul> </li> <li><a href="#clickhouse-%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1">ClickHouse 架构设计</a> <ul> <li><a href="#%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84">整体架构</a></li> <li><a href="#%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6%E8%AF%A6%E8%A7%A3">核心组件详解</a></li> <li><a href="#%E6%9E%B6%E6%9E%84%E7%89%B9%E7%82%B9%E6%80%BB%E7%BB%93">架构特点总结</a></li> </ul> </li> <li><a href="#clickhouse-%E6%A0%B8%E5%BF%83%E7%89%B9%E6%80%A7">ClickHouse 核心特性</a> <ul> <li><a href="#%E5%88%97%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E7%AE%A1%E7%90%86%E7%B3%BB%E7%BB%9F">列式数据库管理系统</a></li> <li><a href="#%E9%AB%98%E6%95%88%E7%9A%84%E6%95%B0%E6%8D%AE%E5%8E%8B%E7%BC%A9">高效的数据压缩</a></li> <li><a href="#%E5%90%91%E9%87%8F%E5%8C%96%E6%89%A7%E8%A1%8C%E5%BC%95%E6%93%8E">向量化执行引擎</a></li> <li><a href="#%E5%A4%9A%E6%A0%B8%E5%BF%83%E5%B9%B6%E8%A1%8C%E5%A4%84%E7%90%86">多核心并行处理</a></li> <li><a href="#%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%86%99%E5%85%A5">实时数据写入</a></li> <li><a href="#%E5%AE%8C%E5%96%84%E7%9A%84-sql-%E6%94%AF%E6%8C%81">完善的 SQL 支持</a></li> <li><a href="#%E5%88%86%E5%B8%83%E5%BC%8F%E4%B8%8E%E6%B0%B4%E5%B9%B3%E6%89%A9%E5%B1%95">分布式与水平扩展</a></li> </ul> </li> </ul> </li> <li><a href="#clickhouse-%E5%AD%98%E5%82%A8%E5%BC%95%E6%93%8E">ClickHouse 存储引擎</a> <ul> <li><a href="#mergetree-%E7%B3%BB%E5%88%97%E5%BC%95%E6%93%8E">MergeTree 系列引擎</a></li> <li><a href="#log-%E7%B3%BB%E5%88%97%E5%BC%95%E6%93%8E">Log 系列引擎</a></li> <li><a href="#%E9%9B%86%E6%88%90%E5%BC%95%E6%93%8E">集成引擎</a></li> <li><a href="#%E5%BC%95%E6%93%8E%E9%80%89%E6%8B%A9%E7%AD%96%E7%95%A5">引擎选择策略</a></li> </ul> </li> <li><a href="#clickhouse-%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B">ClickHouse 数据类型</a> <ul> <li><a href="#%E5%9F%BA%E7%A1%80%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B">基础数据类型</a></li> <li><a href="#%E5%A4%8D%E5%90%88%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8Btuple">复合数据类型（tuple）</a></li> <li><a href="#%E7%89%B9%E6%AE%8A%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B">特殊数据类型</a></li> </ul> </li> <li><a href="#%E6%95%B0%E6%8D%AE%E6%93%8D%E4%BD%9C">数据操作</a> <ul> <li><a href="#%E6%9F%A5%E8%AF%A2%E6%95%B0%E6%8D%AE">查询数据</a></li> <li><a href="#%E6%8F%92%E5%85%A5%E6%95%B0%E6%8D%AE">插入数据</a></li> <li><a href="#%E5%AF%BC%E5%87%BA%E6%95%B0%E6%8D%AE">导出数据</a></li> <li><a href="#json-%E6%95%B0%E6%8D%AE%E5%86%99%E5%85%A5%E4%B8%8E%E8%A7%A3%E6%9E%90">JSON 数据写入与解析</a></li> <li><a href="#bitmap%E6%93%8D%E4%BD%9C">Bitmap操作</a></li> <li><a href="#map%E6%93%8D%E4%BD%9C">Map操作</a></li> <li><a href="#%E6%95%B0%E7%BB%84%E6%93%8D%E4%BD%9C">数组操作</a> <ul> <li><a href="#%E6%95%B0%E7%BB%84%E5%9F%BA%E7%A1%80%E6%93%8D%E4%BD%9C">数组基础操作</a></li> <li><a href="#%E6%95%B0%E7%BB%84%E9%9B%86%E5%90%88%E6%93%8D%E4%BD%9C">数组集合操作</a></li> <li><a href="#%E6%95%B0%E7%BB%84%E6%8E%92%E5%BA%8F%E4%B8%8E%E6%9F%A5%E6%89%BE">数组排序与查找</a></li> <li><a href="#%E6%95%B0%E7%BB%84%E9%AB%98%E9%98%B6%E5%87%BD%E6%95%B0%E4%B8%8E%E7%AE%97%E6%B3%95">数组高阶函数与算法</a></li> <li><a href="#%E6%95%B0%E7%BB%84%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">数组性能优化</a></li> <li><a href="#%E4%B8%8Ehive%E8%81%9A%E5%90%88%E5%87%BD%E6%95%B0%E5%AF%B9%E6%AF%94">与Hive聚合函数对比</a></li> </ul> </li> <li><a href="#%E5%AD%97%E7%AC%A6%E4%B8%B2%E6%93%8D%E4%BD%9C">字符串操作</a></li> <li><a href="#%E6%9D%A1%E4%BB%B6%E4%B8%8E%E6%8E%A7%E5%88%B6%E5%87%BD%E6%95%B0">条件与控制函数</a> <ul> <li><a href="#multiif%E5%87%BD%E6%95%B0">multiIf函数</a></li> <li><a href="#if%E5%87%BD%E6%95%B0">if函数</a></li> <li><a href="#%E6%9D%A1%E4%BB%B6%E8%81%9A%E5%90%88%E5%87%BD%E6%95%B0">条件聚合函数</a></li> <li><a href="#%E7%A9%BA%E5%80%BC%E5%A4%84%E7%90%86%E5%87%BD%E6%95%B0">空值处理函数</a></li> <li><a href="#%E6%95%B0%E5%80%BC%E6%AF%94%E8%BE%83%E5%87%BD%E6%95%B0">数值比较函数</a></li> <li><a href="#%E5%A4%8D%E6%9D%82%E6%9D%A1%E4%BB%B6%E7%BB%84%E5%90%88">复杂条件组合</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E5%BB%BA%E8%AE%AE">性能优化建议</a></li> </ul> </li> <li><a href="#%E6%97%A5%E6%9C%9F%E6%97%B6%E9%97%B4%E5%87%BD%E6%95%B0">日期时间函数</a> <ul> <li><a href="#%E6%97%B6%E9%97%B4%E8%8E%B7%E5%8F%96%E5%87%BD%E6%95%B0">时间获取函数</a></li> <li><a href="#%E6%97%B6%E9%97%B4%E6%A0%BC%E5%BC%8F%E5%8C%96%E5%87%BD%E6%95%B0">时间格式化函数</a></li> <li><a href="#%E6%97%B6%E9%97%B4%E8%AE%A1%E7%AE%97%E5%87%BD%E6%95%B0">时间计算函数</a></li> <li><a href="#%E5%AE%9E%E9%99%85%E5%BA%94%E7%94%A8%E7%A4%BA%E4%BE%8B">实际应用示例</a></li> </ul> </li> <li><a href="#%E6%95%B0%E5%AD%A6%E5%87%BD%E6%95%B0">数学函数</a> <ul> <li><a href="#%E5%9F%BA%E6%9C%AC%E6%95%B0%E5%AD%A6%E8%BF%90%E7%AE%97">基本数学运算</a></li> <li><a href="#%E4%B8%89%E8%A7%92%E5%87%BD%E6%95%B0">三角函数</a></li> <li><a href="#%E9%9A%8F%E6%9C%BA%E5%87%BD%E6%95%B0">随机函数</a></li> <li><a href="#%E7%BB%9F%E8%AE%A1%E5%87%BD%E6%95%B0">统计函数</a></li> <li><a href="#%E5%AE%9E%E9%99%85%E5%BA%94%E7%94%A8%E7%A4%BA%E4%BE%8B-1">实际应用示例</a></li> </ul> </li> <li><a href="#url%E5%92%8C%E7%BC%96%E7%A0%81%E5%87%BD%E6%95%B0">URL和编码函数</a> <ul> <li><a href="#url%E5%A4%84%E7%90%86%E5%87%BD%E6%95%B0">URL处理函数</a></li> <li><a href="#%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81%E5%87%BD%E6%95%B0">字符编码函数</a></li> <li><a href="#%E5%AE%9E%E9%99%85%E5%BA%94%E7%94%A8%E7%A4%BA%E4%BE%8B-2">实际应用示例</a></li> </ul> </li> <li><a href="#%E5%93%88%E5%B8%8C%E5%92%8C%E5%8A%A0%E5%AF%86%E5%87%BD%E6%95%B0">哈希和加密函数</a> <ul> <li><a href="#%E5%93%88%E5%B8%8C%E5%87%BD%E6%95%B0">哈希函数</a></li> <li><a href="#%E5%AE%9E%E9%99%85%E5%BA%94%E7%94%A8%E7%A4%BA%E4%BE%8B-3">实际应用示例</a></li> </ul> </li> <li><a href="#%E5%9C%B0%E7%90%86%E5%87%BD%E6%95%B0">地理函数</a></li> </ul> </li> <li><a href="#%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86">系统管理</a> <ul> <li><a href="#%E7%B3%BB%E7%BB%9F%E8%A1%A8%E8%AF%A6%E8%A7%A3">系统表详解</a></li> <li><a href="#%E8%B7%A8%E9%9B%86%E7%BE%A4%E8%8A%82%E7%82%B9%E6%9F%A5%E8%AF%A2">跨集群、节点查询</a></li> <li><a href="#%E6%9F%A5%E8%AF%A2%E7%9B%91%E6%8E%A7">查询监控</a></li> <li><a href="#%E7%B3%BB%E7%BB%9F%E8%A1%A8%E6%9F%A5%E8%AF%A2%E7%A4%BA%E4%BE%8B">系统表查询示例</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E7%9B%91%E6%8E%A7">性能监控</a></li> <li><a href="#%E5%A2%9E%E5%88%A0%E6%94%B9%E6%9F%A5ddl">增删改查DDL</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E8%BF%81%E7%A7%BB%E4%B8%8E%E5%A4%87%E4%BB%BD">数据迁移与备份</a></li> <li><a href="#%E6%89%B9%E9%87%8F%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5">批量数据处理最佳实践</a></li> </ul> </li> <li><a href="#clickhouse%E6%96%87%E4%BB%B6%E5%AD%98%E5%82%A8">ClickHouse文件存储</a> <ul> <li><a href="#%E5%BA%95%E5%B1%82%E6%96%87%E4%BB%B6%E5%AD%98%E5%82%A8%E6%A0%BC%E5%BC%8F">底层文件存储格式</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E6%8F%92%E5%85%A5%E8%BF%87%E7%A8%8B%E8%AF%A6%E8%A7%A3">数据插入过程详解</a> <ul> <li><a href="#part-%E6%98%AF%E6%80%8E%E4%B9%88%E7%94%9F%E6%88%90%E7%9A%84">Part 是怎么生成的</a></li> </ul> </li> </ul> </li> <li><a href="#clickhouse-%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96">ClickHouse 查询优化</a> <ul> <li><a href="#%E6%9F%A5%E8%AF%A2%E6%89%A7%E8%A1%8C%E5%8E%9F%E7%90%86">查询执行原理</a></li> <li><a href="#%E7%B4%A2%E5%BC%95%E4%BC%98%E5%8C%96">索引优化</a></li> <li><a href="#join">JOIN</a></li> <li><a href="#group-by">GROUP BY</a></li> <li><a href="#%E5%88%86%E5%8C%BA%E4%BC%98%E5%8C%96">分区优化</a></li> <li><a href="#%E5%8E%8B%E7%BC%A9%E4%BC%98%E5%8C%96">压缩优化</a></li> <li><a href="#%E5%86%85%E5%AD%98%E4%BC%98%E5%8C%96">内存优化</a></li> </ul> </li> <li><a href="#clickhouse-%E9%9B%86%E7%BE%A4%E7%AE%A1%E7%90%86">ClickHouse 集群管理</a> <ul> <li><a href="#%E9%9B%86%E7%BE%A4%E6%9E%B6%E6%9E%84">集群架构</a></li> <li><a href="#%E5%88%86%E7%89%87%E7%AD%96%E7%95%A5">分片策略</a></li> <li><a href="#%E5%A4%8D%E5%88%B6%E6%9C%BA%E5%88%B6">复制机制</a></li> <li><a href="#%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1">负载均衡</a></li> </ul> </li> <li><a href="#clickhouse-%E8%BF%90%E7%BB%B4%E5%AE%9E%E8%B7%B5">ClickHouse 运维实践</a> <ul> <li><a href="#%E5%A4%87%E4%BB%BD%E6%81%A2%E5%A4%8D">备份恢复</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E8%BF%81%E7%A7%BB">数据迁移</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98">性能调优</a></li> <li><a href="#%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5">故障排查</a></li> </ul> </li> <li><a href="#clickhouse-%E5%85%B8%E5%9E%8B%E9%9D%A2%E8%AF%95%E9%A2%98%E4%B8%8E%E7%AD%94%E7%96%91">ClickHouse 典型面试题与答疑</a> <ul> <li><a href="#%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5%E9%9D%A2%E8%AF%95%E9%A2%98">基础概念面试题</a></li> <li><a href="#%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1%E9%9D%A2%E8%AF%95%E9%A2%98">架构设计面试题</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E9%9D%A2%E8%AF%95%E9%A2%98">性能优化面试题</a></li> <li><a href="#%E8%BF%90%E7%BB%B4%E7%9B%91%E6%8E%A7%E9%9D%A2%E8%AF%95%E9%A2%98">运维监控面试题</a></li> <li><a href="#%E5%AE%9E%E9%99%85%E5%BA%94%E7%94%A8%E9%9D%A2%E8%AF%95%E9%A2%98">实际应用面试题</a></li> <li><a href="#%E9%AB%98%E9%A2%91%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E9%9D%A2%E8%AF%95%E9%A2%98">高频性能优化面试题</a></li> <li><a href="#%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1%E9%AB%98%E9%A2%91%E9%9D%A2%E8%AF%95%E9%A2%98">架构设计高频面试题</a></li> <li><a href="#%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5%E9%AB%98%E9%A2%91%E9%9D%A2%E8%AF%95%E9%A2%98">故障排查高频面试题</a></li> <li><a href="#%E5%AE%9E%E6%88%98%E7%BB%8F%E9%AA%8C%E9%9D%A2%E8%AF%95%E9%A2%98">实战经验面试题</a></li> <li><a href="#%E5%AD%98%E5%82%A8%E5%B1%82%E9%9D%A2%E4%BC%98%E5%8C%96%E9%9D%A2%E8%AF%95%E9%A2%98">存储层面优化面试题</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E5%BA%93%E5%AF%B9%E6%AF%94%E9%9D%A2%E8%AF%95%E9%A2%98">数据库对比面试题</a></li> </ul> </li> <li><a href="#clickhouse-%E9%AB%98%E7%BA%A7%E7%89%B9%E6%80%A7">ClickHouse 高级特性</a> <ul> <li><a href="#%E7%89%A9%E5%8C%96%E8%A7%86%E5%9B%BE">物化视图</a></li> <li><a href="#%E5%AD%97%E5%85%B8%E5%8A%9F%E8%83%BD">字典功能</a></li> <li><a href="#udf">UDF</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E9%87%87%E6%A0%B7">数据采样</a></li> <li><a href="#ttltime-to-live">TTL(Time To Live)</a></li> </ul> </li> <li><a href="#clickhouse-%E5%AE%89%E5%85%A8%E4%B8%8E%E6%9D%83%E9%99%90%E7%AE%A1%E7%90%86">ClickHouse 安全与权限管理</a> <ul> <li><a href="#%E7%94%A8%E6%88%B7%E7%AE%A1%E7%90%86">用户管理</a></li> <li><a href="#%E6%9D%83%E9%99%90%E6%8E%A7%E5%88%B6">权限控制</a></li> <li><a href="#%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8">网络安全</a></li> </ul> </li> <li><a href="#clickhouse-%E7%9B%91%E6%8E%A7%E4%B8%8E%E5%91%8A%E8%AD%A6">ClickHouse 监控与告警</a> <ul> <li><a href="#%E7%9B%91%E6%8E%A7%E6%8C%87%E6%A0%87">监控指标</a></li> <li><a href="#%E5%91%8A%E8%AD%A6%E9%85%8D%E7%BD%AE">告警配置</a></li> <li><a href="#%E6%97%A5%E5%BF%97%E7%AE%A1%E7%90%86">日志管理</a></li> </ul> </li> <li><a href="#clickhouse-%E4%B8%9A%E5%8A%A1%E5%AE%9E%E8%B7%B5%E4%B8%8E%E6%A1%88%E4%BE%8B">ClickHouse 业务实践与案例</a> <ul> <li><a href="#%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0">实时数据分析平台</a></li> <li><a href="#%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F">日志分析系统</a></li> <li><a href="#%E6%97%B6%E5%BA%8F%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8">时序数据存储</a></li> </ul> </li> <li><a href="#clickhouse-%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5%E4%B8%8E%E4%BC%98%E5%8C%96">ClickHouse 故障排查与优化</a> <ul> <li><a href="#%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E8%AF%8A%E6%96%AD">常见问题诊断</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E7%AD%96%E7%95%A5">性能调优策略</a></li> <li><a href="#%E9%9B%86%E7%BE%A4%E8%BF%90%E7%BB%B4">集群运维</a></li> <li><a href="#%E9%9B%86%E7%BE%A4%E9%85%8D%E7%BD%AE">集群配置</a></li> </ul> </li> </ul> </li> </ul> </details> <h2 id="clickhouse-基础概念">ClickHouse 基础概念</h2> <h3 id="clickhouse-简介">ClickHouse 简介</h3> <p><strong>ClickHouse</strong> 是由俄罗斯搜索引擎巨头 Yandex 于 2016 年开源的列式数据库管理系统（DBMS），专门为在线分析处理（OLAP）场景设计。其名称来源于 &ldquo;Click&rdquo; 和 &ldquo;House&rdquo; 的组合，寓意为&quot;点击数据仓库&quot;，最初就是为了分析 Yandex.Metrica（网站分析平台）产生的海量点击流数据而诞生。</p>https://pothos.dpdns.org/posts/20.hbase/Thu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/20.hbase/<h1 id="20-hbase-分布式列存储数据库技术指南">20. HBase 分布式列存储数据库技术指南</h1> <h2 id="目录">目录</h2> <details> <summary>点击展开目录</summary> <p><a href="#hbase%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5">HBase基础概念</a> <a href="#%E4%BB%80%E4%B9%88%E6%98%AFhbase">什么是HBase</a> <a href="#hbase-vs-%E5%85%B3%E7%B3%BB%E5%9E%8B%E6%95%B0%E6%8D%AE%E5%BA%93">HBase vs 关系型数据库</a> <a href="#hbase%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF">HBase应用场景</a></p> <p><a href="#hbase%E6%9E%B6%E6%9E%84%E5%8E%9F%E7%90%86">HBase架构原理</a> <a href="#%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84">整体架构</a> <a href="#%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6">核心组件</a> <a href="#%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8%E6%A8%A1%E5%9E%8B">数据存储模型</a> <a href="#region%E5%88%86%E7%89%87%E6%9C%BA%E5%88%B6">Region分片机制</a></p> <p><a href="#hbase%E6%A0%B8%E5%BF%83%E7%89%B9%E6%80%A7">HBase核心特性</a> <a href="#%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B">数据模型</a> <a href="#%E5%AD%98%E5%82%A8%E5%BC%95%E6%93%8E">存储引擎</a> <a href="#%E4%B8%80%E8%87%B4%E6%80%A7%E4%BF%9D%E8%AF%81">一致性保证</a> <a href="#%E6%95%85%E9%9A%9C%E6%81%A2%E5%A4%8D">故障恢复</a></p> <p><a href="#hbase%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2">HBase安装部署</a> <a href="#%E7%8E%AF%E5%A2%83%E8%A6%81%E6%B1%82">环境要求</a> <a href="#%E5%8D%95%E6%9C%BA%E6%A8%A1%E5%BC%8F">单机模式</a> <a href="#%E9%9B%86%E7%BE%A4%E6%A8%A1%E5%BC%8F">集群模式</a> <a href="#%E9%85%8D%E7%BD%AE%E4%BC%98%E5%8C%96">配置优化</a></p> <p><a href="#hbase%E6%93%8D%E4%BD%9C%E6%8C%87%E5%8D%97">HBase操作指南</a> <a href="#shell%E5%91%BD%E4%BB%A4">Shell命令</a> <a href="#java-api">Java API</a> <a href="#%E8%A1%A8%E8%AE%BE%E8%AE%A1%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5">表设计最佳实践</a> <a href="#%E6%95%B0%E6%8D%AE%E8%AF%BB%E5%86%99%E6%93%8D%E4%BD%9C">数据读写操作</a></p> <p><a href="#hbase%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">HBase性能优化</a> <a href="#%E8%AF%BB%E5%86%99%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">读写性能优化</a> <a href="#%E5%86%85%E5%AD%98%E7%AE%A1%E7%90%86">内存管理</a> <a href="#%E5%8E%8B%E7%BC%A9%E7%AD%96%E7%95%A5">压缩策略</a> <a href="#%E7%9B%91%E6%8E%A7%E4%B8%8E%E8%B0%83%E4%BC%98">监控与调优</a></p> <p><a href="#hbase%E8%BF%90%E7%BB%B4%E5%AE%9E%E8%B7%B5">HBase运维实践</a> <a href="#%E9%9B%86%E7%BE%A4%E7%9B%91%E6%8E%A7">集群监控</a> <a href="#%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5">故障排查</a> <a href="#%E5%A4%87%E4%BB%BD%E6%81%A2%E5%A4%8D">备份恢复</a> <a href="#%E7%89%88%E6%9C%AC%E5%8D%87%E7%BA%A7">版本升级</a></p> <p><a href="#hbase%E9%9D%A2%E8%AF%95%E9%A2%98">HBase面试题</a> <a href="#%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5%E7%B1%BB">基础概念类</a> <a href="#%E6%9E%B6%E6%9E%84%E5%8E%9F%E7%90%86%E7%B1%BB">架构原理类</a> <a href="#%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E7%B1%BB">性能优化类</a> <a href="#%E5%AE%9E%E6%88%98%E5%BA%94%E7%94%A8%E7%B1%BB">实战应用类</a></p> <p><a href="#hbase%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90">HBase源码解析</a> <a href="#%E5%90%AF%E5%8A%A8%E6%B5%81%E7%A8%8B">启动流程</a> <a href="#%E8%AF%BB%E5%86%99%E6%B5%81%E7%A8%8B">读写流程</a> <a href="#compaction%E6%9C%BA%E5%88%B6">Compaction机制</a> <a href="#%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1">负载均衡</a></p> <hr> </details> <h2 id="hbase基础概念">HBase基础概念</h2> <h3 id="什么是hbase">什么是HBase</h3> <p>HBase（Hadoop Database）是一个<strong>分布式、可扩展、支持海量数据存储的NoSQL数据库</strong>，构建在Apache Hadoop的HDFS（Hadoop Distributed File System）之上。HBase采用了<strong>Google BigTable</strong>的设计思想，提供了对大型表的实时读写访问能力。</p> <p><strong>HBase的核心特点：</strong></p> <ul> <li><strong>列存储</strong>：数据按列族存储，支持稀疏、动态的列</li> <li><strong>无模式</strong>：不需要预定义表结构，支持动态添加列</li> <li><strong>强一致性</strong>：提供行级别的ACID特性</li> <li><strong>自动分片</strong>：表会自动分割成多个Region进行分布式存储</li> <li><strong>容错性</strong>：基于HDFS的多副本机制保证数据可靠性</li> <li><strong>水平扩展</strong>：支持在线增加节点扩展存储和计算能力</li> </ul> <h3 id="hbase-vs-关系型数据库">HBase vs 关系型数据库</h3> <table> <thead> <tr> <th>特性维度</th> <th>HBase</th> <th>关系型数据库(MySQL/Oracle)</th> </tr> </thead> <tbody> <tr> <td><strong>数据模型</strong></td> <td>列族模型，稀疏表</td> <td>关系模型，固定schema</td> </tr> <tr> <td><strong>扩展性</strong></td> <td>水平扩展，支持PB级数据</td> <td>垂直扩展，扩展能力有限</td> </tr> <tr> <td><strong>一致性</strong></td> <td>行级强一致性</td> <td>ACID事务，表级一致性</td> </tr> <tr> <td><strong>查询能力</strong></td> <td>简单的增删改查，无SQL</td> <td>复杂SQL查询，关联查询</td> </tr> <tr> <td><strong>索引</strong></td> <td>只有行键索引</td> <td>支持多种索引类型</td> </tr> <tr> <td><strong>数据类型</strong></td> <td>字节数组</td> <td>丰富的数据类型</td> </tr> <tr> <td><strong>存储成本</strong></td> <td>相对较低</td> <td>相对较高</td> </tr> <tr> <td><strong>适用场景</strong></td> <td>大数据量，简单查询</td> <td>复杂业务逻辑，事务处理</td> </tr> </tbody> </table> <h3 id="hbase应用场景">HBase应用场景</h3> <p><strong>1. 时序数据存储</strong></p> <ul> <li><strong>物联网传感器数据</strong>：设备ID+时间戳作为行键，存储传感器读数</li> <li><strong>日志分析系统</strong>：存储应用日志、访问日志等时间序列数据</li> <li><strong>金融交易记录</strong>：存储股票价格、交易流水等历史数据</li> </ul> <p><strong>2. 内容存储系统</strong></p>