https://pothos.dpdns.org/tags/doris/Recent content in Doris on Ralph's BlogHugo -- 0.147.7zh-cnTue, 10 Mar 2026 00:00:00 +0000https://pothos.dpdns.org/posts/61.apache-doris/Tue, 10 Mar 2026 00:00:00 +0000https://pothos.dpdns.org/posts/61.apache-doris/<h1 id="61-apache-doris">61. Apache Doris</h1> <h2 id="目录">目录</h2> <details> <summary>点击展开目录</summary> <ul> <li><a href="#61-apache-doris">61. Apache Doris</a> <ul> <li><a href="#%E7%9B%AE%E5%BD%95">目录</a></li> <li><a href="#doris-%E6%A6%82%E8%BF%B0%E4%B8%8E%E6%9E%B6%E6%9E%84">Doris 概述与架构</a> <ul> <li><a href="#doris%E7%AE%80%E4%BB%8B">Doris简介</a></li> <li><a href="#%E6%A0%B8%E5%BF%83%E7%89%B9%E6%80%A7">核心特性</a></li> <li><a href="#%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF">应用场景</a></li> <li><a href="#%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84">整体架构</a></li> </ul> </li> <li><a href="#%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6%E4%B8%8E%E5%8E%9F%E7%90%86">核心组件与原理</a> <ul> <li><a href="#frontend-fe">Frontend (FE)</a></li> <li><a href="#backend-be">Backend (BE)</a></li> <li><a href="#%E5%85%83%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86">元数据管理</a></li> <li><a href="#%E6%9F%A5%E8%AF%A2%E6%89%A7%E8%A1%8C%E5%BC%95%E6%93%8E">查询执行引擎</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E8%AF%BB%E5%86%99%E6%B5%81%E7%A8%8B%E8%AF%A6%E8%A7%A3">数据读写流程详解</a> <ul> <li><a href="#%E5%86%99%E5%85%A5%E6%B5%81%E7%A8%8B">写入流程</a></li> <li><a href="#%E8%AF%BB%E5%8F%96%E6%B5%81%E7%A8%8B">读取流程</a></li> </ul> </li> </ul> </li> <li><a href="#%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E4%B8%8E%E5%AD%98%E5%82%A8">数据模型与存储</a> <ul> <li><a href="#%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E6%A0%B8%E5%BF%83%E6%9C%AF%E8%AF%AD">数据模型核心术语</a> <ul> <li><a href="#%E9%80%BB%E8%BE%91%E5%B1%82%E6%9C%AF%E8%AF%AD">逻辑层术语</a></li> <li><a href="#%E7%89%A9%E7%90%86%E5%B1%82%E6%9C%AF%E8%AF%AD">物理层术语</a></li> <li><a href="#%E5%AD%98%E5%82%A8%E5%B1%82%E6%9C%AF%E8%AF%AD">存储层术语</a></li> <li><a href="#%E6%9C%AF%E8%AF%AD%E5%85%B3%E7%B3%BB%E5%9B%BE">术语关系图</a></li> </ul> </li> <li><a href="#%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E7%B1%BB%E5%9E%8B">数据模型类型</a> <ul> <li><a href="#1-duplicate-%E6%A8%A1%E5%9E%8B%E6%98%8E%E7%BB%86%E6%A8%A1%E5%9E%8B">1. Duplicate 模型（明细模型）</a></li> <li><a href="#2-aggregate-%E6%A8%A1%E5%9E%8B%E8%81%9A%E5%90%88%E6%A8%A1%E5%9E%8B">2. Aggregate 模型（聚合模型）</a></li> <li><a href="#3-unique-%E6%A8%A1%E5%9E%8B%E4%B8%BB%E9%94%AE%E6%A8%A1%E5%9E%8B">3. Unique 模型（主键模型）</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9%E5%86%B3%E7%AD%96%E6%A0%91">数据模型选择决策树</a></li> </ul> </li> <li><a href="#%E5%88%86%E5%8C%BA%E4%B8%8E%E5%88%86%E6%A1%B6">分区与分桶</a></li> <li><a href="#%E5%88%97%E5%BC%8F%E5%AD%98%E5%82%A8%E5%BC%95%E6%93%8E">列式存储引擎</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E5%8E%8B%E7%BC%A9">数据压缩</a></li> <li><a href="#%E5%BB%BA%E8%A1%A8%E6%B3%A8%E6%84%8F%E4%BA%8B%E9%A1%B9">建表注意事项</a> <ul> <li><a href="#1-%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9">1. 数据模型选择</a></li> <li><a href="#2-key-%E5%88%97%E9%A1%BA%E5%BA%8F%E8%AE%BE%E8%AE%A1">2. Key 列顺序设计</a></li> <li><a href="#3-%E5%88%86%E5%8C%BA%E8%AE%BE%E8%AE%A1">3. 分区设计</a></li> <li><a href="#4-%E5%88%86%E6%A1%B6%E8%AE%BE%E8%AE%A1">4. 分桶设计</a></li> <li><a href="#5-%E5%89%AF%E6%9C%AC%E6%95%B0%E8%AE%BE%E7%BD%AE">5. 副本数设置</a></li> <li><a href="#6-%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B%E9%80%89%E6%8B%A9">6. 数据类型选择</a></li> <li><a href="#7-%E7%B4%A2%E5%BC%95%E8%AE%BE%E8%AE%A1">7. 索引设计</a></li> <li><a href="#8-%E8%A1%A8%E5%B1%9E%E6%80%A7%E9%85%8D%E7%BD%AE">8. 表属性配置</a></li> <li><a href="#9-colocate-join-%E9%85%8D%E7%BD%AE">9. Colocate Join 配置</a></li> <li><a href="#10-%E5%BB%BA%E8%A1%A8%E6%A3%80%E6%9F%A5%E6%B8%85%E5%8D%95">10. 建表检查清单</a></li> </ul> </li> <li><a href="#ddl-%E4%B8%8E-dml-%E5%B8%B8%E7%94%A8%E8%AF%AD%E6%B3%95">DDL 与 DML 常用语法</a> <ul> <li><a href="#ddl%E6%95%B0%E6%8D%AE%E5%AE%9A%E4%B9%89%E8%AF%AD%E8%A8%80">DDL（数据定义语言）</a> <ul> <li><a href="#1-%E6%95%B0%E6%8D%AE%E5%BA%93%E6%93%8D%E4%BD%9C">1. 数据库操作</a></li> <li><a href="#2-%E8%A1%A8%E6%93%8D%E4%BD%9C">2. 表操作</a></li> <li><a href="#3-%E8%A7%86%E5%9B%BE%E6%93%8D%E4%BD%9C">3. 视图操作</a></li> </ul> </li> <li><a href="#dml%E6%95%B0%E6%8D%AE%E6%93%8D%E4%BD%9C%E8%AF%AD%E8%A8%80">DML（数据操作语言）</a> <ul> <li><a href="#1-%E6%8F%92%E5%85%A5%E6%95%B0%E6%8D%AE">1. 插入数据</a></li> <li><a href="#2-%E6%9B%B4%E6%96%B0%E6%95%B0%E6%8D%AE">2. 更新数据</a></li> <li><a href="#3-%E5%88%A0%E9%99%A4%E6%95%B0%E6%8D%AE">3. 删除数据</a></li> <li><a href="#4-%E6%9F%A5%E8%AF%A2%E6%95%B0%E6%8D%AE">4. 查询数据</a></li> <li><a href="#5-%E4%BA%8B%E5%8A%A1%E6%94%AF%E6%8C%81">5. 事务支持</a></li> </ul> </li> <li><a href="#ddldml-%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5">DDL/DML 最佳实践</a></li> </ul> </li> </ul> </li> <li><a href="#%E5%B8%B8%E7%94%A8%E5%87%BD%E6%95%B0%E4%B8%8E%E7%89%B9%E6%9C%89%E5%87%BD%E6%95%B0">常用函数与特有函数</a> <ul> <li><a href="#%E5%87%BD%E6%95%B0%E5%88%86%E7%B1%BB%E6%A6%82%E8%A7%88">函数分类概览</a></li> <li><a href="#%E5%AD%97%E7%AC%A6%E4%B8%B2%E5%87%BD%E6%95%B0">字符串函数</a></li> <li><a href="#%E6%97%A5%E6%9C%9F%E6%97%B6%E9%97%B4%E5%87%BD%E6%95%B0">日期时间函数</a></li> <li><a href="#%E6%95%B0%E5%80%BC%E5%87%BD%E6%95%B0">数值函数</a></li> <li><a href="#%E8%81%9A%E5%90%88%E5%87%BD%E6%95%B0">聚合函数</a></li> <li><a href="#%E7%AA%97%E5%8F%A3%E5%87%BD%E6%95%B0">窗口函数</a></li> <li><a href="#%E6%95%B0%E7%BB%84%E5%87%BD%E6%95%B0">数组函数</a></li> <li><a href="#bitmap-%E5%87%BD%E6%95%B0doris-%E7%89%B9%E6%9C%89">BITMAP 函数（Doris 特有）</a></li> <li><a href="#hll-%E5%87%BD%E6%95%B0doris-%E7%89%B9%E6%9C%89">HLL 函数（Doris 特有）</a></li> <li><a href="#%E5%90%91%E9%87%8F%E5%87%BD%E6%95%B0doris-4x-%E7%89%B9%E6%9C%89">向量函数（Doris 4.x 特有）</a></li> <li><a href="#json-%E5%87%BD%E6%95%B0">JSON 函数</a></li> <li><a href="#%E5%87%BD%E6%95%B0%E4%BD%BF%E7%94%A8%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5">函数使用最佳实践</a></li> </ul> </li> <li><a href="#%E7%B4%A2%E5%BC%95%E4%B8%8E%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96">索引与查询优化</a> <ul> <li><a href="#%E7%B4%A2%E5%BC%95%E7%B1%BB%E5%9E%8B">索引类型</a></li> <li><a href="#%E5%90%91%E9%87%8F%E7%B4%A2%E5%BC%95-hnsw">向量索引 (HNSW)</a></li> <li><a href="#%E5%80%92%E6%8E%92%E7%B4%A2%E5%BC%95%E4%B8%8E%E5%85%A8%E6%96%87%E6%A3%80%E7%B4%A2">倒排索引与全文检索</a></li> <li><a href="#%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96%E5%99%A8">查询优化器</a></li> </ul> </li> <li><a href="#ai-%E5%A2%9E%E5%BC%BA%E5%8A%9F%E8%83%BD">AI 增强功能</a> <ul> <li><a href="#%E5%90%91%E9%87%8F%E6%A3%80%E7%B4%A2%E8%83%BD%E5%8A%9B">向量检索能力</a></li> <li><a href="#%E5%85%A8%E6%96%87%E6%A3%80%E7%B4%A2%E4%B8%8E-bm25">全文检索与 BM25</a></li> <li><a href="#ai-%E5%87%BD%E6%95%B0%E9%9B%86%E6%88%90">AI 函数集成</a></li> <li><a href="#rag-%E7%B3%BB%E7%BB%9F%E6%9E%84%E5%BB%BA">RAG 系统构建</a></li> </ul> </li> <li><a href="#%E6%95%B0%E6%8D%AE%E5%AF%BC%E5%85%A5%E4%B8%8E%E5%90%8C%E6%AD%A5">数据导入与同步</a> <ul> <li><a href="#%E5%AF%BC%E5%85%A5%E6%96%B9%E5%BC%8F%E5%AF%B9%E6%AF%94">导入方式对比</a></li> <li><a href="#stream-load">Stream Load</a></li> <li><a href="#broker-load">Broker Load</a></li> <li><a href="#routine-load">Routine Load</a></li> <li><a href="#flink-doris-connector">Flink Doris Connector</a> <ul> <li><a href="#maven-%E4%BE%9D%E8%B5%96%E9%85%8D%E7%BD%AE">Maven 依赖配置</a></li> <li><a href="#flink-sql-%E6%96%B9%E5%BC%8F">Flink SQL 方式</a></li> <li><a href="#flink-datastream-api-%E6%96%B9%E5%BC%8F">Flink DataStream API 方式</a></li> <li><a href="#%E5%B8%B8%E8%A7%81%E9%85%8D%E7%BD%AE%E5%8F%82%E6%95%B0">常见配置参数</a></li> <li><a href="#%E7%9B%91%E6%8E%A7%E4%B8%8E%E8%B0%83%E4%BC%98">监控与调优</a></li> <li><a href="#flink-doris-%E8%BF%9E%E6%8E%A5%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3">Flink Doris 连接优化配置详解</a> <ul> <li><a href="#1-%E8%BF%9E%E6%8E%A5%E5%B1%82%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE">1. 连接层优化配置</a></li> <li><a href="#2-%E5%86%99%E5%85%A5%E5%B1%82%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE">2. 写入层优化配置</a></li> <li><a href="#3-%E8%AF%BB%E5%8F%96%E5%B1%82%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE">3. 读取层优化配置</a></li> <li><a href="#4-%E7%BD%91%E7%BB%9C%E5%B1%82%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE">4. 网络层优化配置</a></li> <li><a href="#5-%E5%AE%8C%E6%95%B4%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE%E7%A4%BA%E4%BE%8B">5. 完整优化配置示例</a></li> <li><a href="#6-%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E6%A3%80%E6%9F%A5%E6%B8%85%E5%8D%95">6. 性能调优检查清单</a></li> </ul> </li> </ul> </li> </ul> </li> <li><a href="#%E7%89%A9%E5%8C%96%E8%A7%86%E5%9B%BE">物化视图</a> <ul> <li><a href="#%E7%89%A9%E5%8C%96%E8%A7%86%E5%9B%BE%E7%B1%BB%E5%9E%8B">物化视图类型</a></li> <li><a href="#%E5%88%9B%E5%BB%BA%E4%B8%8E%E4%BD%BF%E7%94%A8">创建与使用</a></li> <li><a href="#%E8%87%AA%E5%8A%A8%E6%94%B9%E5%86%99">自动改写</a></li> <li><a href="#%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5">最佳实践</a></li> </ul> </li> <li><a href="#%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98">性能调优</a> <ul> <li><a href="#%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">查询性能优化</a></li> <li><a href="#%E5%86%99%E5%85%A5%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">写入性能优化</a></li> <li><a href="#%E8%B5%84%E6%BA%90%E7%AE%A1%E7%90%86">资源管理</a></li> <li><a href="#%E6%85%A2%E6%9F%A5%E8%AF%A2%E5%88%86%E6%9E%90">慢查询分析</a></li> </ul> </li> <li><a href="#%E9%AB%98%E5%8F%AF%E7%94%A8%E4%B8%8E%E5%AE%B9%E7%81%BE">高可用与容灾</a> <ul> <li><a href="#%E5%89%AF%E6%9C%AC%E6%9C%BA%E5%88%B6">副本机制</a></li> <li><a href="#%E6%95%85%E9%9A%9C%E6%81%A2%E5%A4%8D">故障恢复</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E5%A4%87%E4%BB%BD">数据备份</a></li> <li><a href="#%E8%B7%A8%E9%9B%86%E7%BE%A4%E5%90%8C%E6%AD%A5">跨集群同步</a></li> </ul> </li> <li><a href="#%E7%9B%91%E6%8E%A7%E4%B8%8E%E8%BF%90%E7%BB%B4">监控与运维</a> <ul> <li><a href="#%E7%9B%91%E6%8E%A7%E6%8C%87%E6%A0%87">监控指标</a></li> <li><a href="#%E7%B3%BB%E7%BB%9F%E8%A1%A8%E4%B8%8E%E5%85%83%E6%95%B0%E6%8D%AE%E6%9F%A5%E8%AF%A2">系统表与元数据查询</a> <ul> <li><a href="#%E7%B3%BB%E7%BB%9F%E8%A1%A8%E5%88%86%E7%B1%BB">系统表分类</a></li> <li><a href="#%E5%85%83%E6%95%B0%E6%8D%AE%E7%B1%BB%E7%B3%BB%E7%BB%9F%E8%A1%A8">元数据类系统表</a></li> <li><a href="#%E4%BB%BB%E5%8A%A1%E7%B1%BB%E7%B3%BB%E7%BB%9F%E8%A1%A8">任务类系统表</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E7%B1%BB%E7%B3%BB%E7%BB%9F%E8%A1%A8">性能类系统表</a></li> <li><a href="#%E9%9B%86%E7%BE%A4%E7%B1%BB%E7%B3%BB%E7%BB%9F%E8%A1%A8">集群类系统表</a></li> <li><a href="#%E7%B3%BB%E7%BB%9F%E8%A1%A8%E4%BD%BF%E7%94%A8%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5">系统表使用最佳实践</a></li> </ul> </li> <li><a href="#%E6%97%A5%E5%BF%97%E7%AE%A1%E7%90%86">日志管理</a></li> <li><a href="#%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5">常见问题排查</a></li> <li><a href="#%E5%8D%87%E7%BA%A7%E4%B8%8E%E6%89%A9%E5%AE%B9">升级与扩容</a></li> </ul> </li> <li><a href="#doris-vs-%E5%85%B6%E4%BB%96-olap-%E5%BC%95%E6%93%8E">Doris vs 其他 OLAP 引擎</a> <ul> <li><a href="#doris-vs-clickhouse">Doris vs ClickHouse</a></li> <li><a href="#doris-vs-starrocks">Doris vs StarRocks</a></li> <li><a href="#doris-vs-presto">Doris vs Presto</a></li> <li><a href="#%E9%80%89%E5%9E%8B%E5%BB%BA%E8%AE%AE">选型建议</a></li> </ul> </li> <li><a href="#%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B">实战案例</a> <ul> <li><a href="#%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%A4%A7%E5%B1%8F">实时数据大屏</a></li> <li><a href="#%E7%94%A8%E6%88%B7%E8%A1%8C%E4%B8%BA%E5%88%86%E6%9E%90">用户行为分析</a></li> <li><a href="#%E4%BC%81%E4%B8%9A%E7%9F%A5%E8%AF%86%E5%BA%93-rag">企业知识库 RAG</a></li> <li><a href="#%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F">日志分析系统</a></li> </ul> </li> <li><a href="#%E9%AB%98%E9%A2%91%E9%9D%A2%E8%AF%95%E9%A2%98">高频面试题</a> <ul> <li><a href="#%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5%E9%A2%98">基础概念题</a></li> <li><a href="#%E6%9E%B6%E6%9E%84%E5%8E%9F%E7%90%86%E9%A2%98">架构原理题</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E9%A2%98">性能调优题</a></li> <li><a href="#%E5%AE%9E%E6%88%98%E5%BA%94%E7%94%A8%E9%A2%98">实战应用题</a></li> </ul> </li> <li><a href="#%E9%99%84%E5%BD%95doris-%E5%AE%8C%E6%95%B4%E5%AE%9E%E6%88%98%E6%A1%88%E4%BE%8B">附录：Doris 完整实战案例</a> <ul> <li><a href="#%E6%A1%88%E4%BE%8B%E6%9E%84%E5%BB%BA%E7%94%B5%E5%95%86%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0">案例：构建电商实时数据分析平台</a></li> </ul> </li> <li><a href="#%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98-faq">常见问题 FAQ</a></li> <li><a href="#%E5%8F%82%E8%80%83%E8%B5%84%E6%BA%90">参考资源</a></li> <li><a href="#%E7%89%88%E6%9C%AC%E5%8E%86%E5%8F%B2">版本历史</a></li> <li><a href="#%E8%87%B4%E8%B0%A2">致谢</a></li> <li><a href="#%E6%96%87%E6%A1%A3%E6%9B%B4%E6%96%B0%E8%AE%B0%E5%BD%95">文档更新记录</a></li> </ul> </li> </ul> </details> <hr> <h2 id="doris-概述与架构">Doris 概述与架构</h2> <h3 id="doris简介">Doris简介</h3> <p><strong>Apache Doris</strong> 是一个基于 MPP（Massively Parallel Processing，大规模并行处理）架构的高性能实时分析数据库，主要用于 OLAP（在线分析处理）场景。Doris 由百度开发并于 2018 年贡献给 Apache 基金会，2022 年成为 Apache 顶级项目。</p>