https://pothos.dpdns.org/tags/%E7%BB%B4%E5%BA%A6%E5%BB%BA%E6%A8%A1/Recent content in 维度建模 on Ralph's BlogHugo -- 0.147.7zh-cnThu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/25.%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93/Thu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/25.%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93/<h1 id="数据仓库实战指南">数据仓库实战指南</h1> <h2 id="目录">目录</h2> <details> <summary>点击展开目录</summary> <ul> <li><a href="#%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E5%AE%9E%E6%88%98%E6%8C%87%E5%8D%97">数据仓库实战指南</a> <ul> <li><a href="#%E7%9B%AE%E5%BD%95">目录</a></li> <li><a href="#1-%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5">1. 数据仓库基础概念</a> <ul> <li><a href="#11-%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E5%AE%9A%E4%B9%89%E4%B8%8E%E7%89%B9%E5%BE%81">1.1 数据仓库定义与特征</a> <ul> <li><a href="#%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E5%9B%9B%E5%A4%A7%E7%89%B9%E5%BE%81">数据仓库四大特征</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E4%B8%8E%E6%95%B0%E6%8D%AE%E5%BA%93%E5%AF%B9%E6%AF%94">数据仓库与数据库对比</a></li> </ul> </li> <li><a href="#12-%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E5%8F%91%E5%B1%95%E5%8E%86%E7%A8%8B">1.2 数据仓库发展历程</a> <ul> <li><a href="#%E6%8A%80%E6%9C%AF%E6%BC%94%E8%BF%9B%E8%B7%AF%E5%BE%84">技术演进路径</a></li> <li><a href="#%E7%8E%B0%E4%BB%A3%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E7%89%B9%E7%82%B9">现代数据仓库特点</a></li> </ul> </li> <li><a href="#13-%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E4%BB%B7%E5%80%BC%E4%BD%93%E7%8E%B0">1.3 数据仓库价值体现</a> <ul> <li><a href="#%E4%B8%9A%E5%8A%A1%E4%BB%B7%E5%80%BC">业务价值</a></li> <li><a href="#%E6%8A%80%E6%9C%AF%E4%BB%B7%E5%80%BC">技术价值</a></li> </ul> </li> </ul> </li> <li><a href="#2-%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1">2. 数据仓库架构设计</a> <ul> <li><a href="#21-%E7%BB%8F%E5%85%B8%E6%9E%B6%E6%9E%84%E6%A8%A1%E5%BC%8F">2.1 经典架构模式</a> <ul> <li><a href="#kimball%E6%9E%B6%E6%9E%84">Kimball架构</a></li> <li><a href="#inmon%E6%9E%B6%E6%9E%84">Inmon架构</a></li> <li><a href="#data-vault%E6%9E%B6%E6%9E%84">Data Vault架构</a></li> </ul> </li> <li><a href="#22-%E7%8E%B0%E4%BB%A3%E6%9E%B6%E6%9E%84%E6%A8%A1%E5%BC%8F">2.2 现代架构模式</a> <ul> <li><a href="#lambda%E6%9E%B6%E6%9E%84">Lambda架构</a></li> <li><a href="#kappa%E6%9E%B6%E6%9E%84">Kappa架构</a></li> <li><a href="#%E6%B9%96%E4%BB%93%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84">湖仓一体架构</a> <ul> <li><a href="#delta-lake%E5%AE%9E%E7%8E%B0">Delta Lake实现</a></li> <li><a href="#apache-iceberg%E5%AE%9E%E7%8E%B0">Apache Iceberg实现</a></li> <li><a href="#apache-hudi%E5%AE%9E%E7%8E%B0">Apache Hudi实现</a></li> <li><a href="#%E6%B9%96%E4%BB%93%E4%B8%80%E4%BD%93%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5">湖仓一体最佳实践</a></li> </ul> </li> </ul> </li> <li><a href="#23-%E6%8A%80%E6%9C%AF%E6%9E%B6%E6%9E%84%E9%80%89%E5%9E%8B">2.3 技术架构选型</a> <ul> <li><a href="#%E5%AD%98%E5%82%A8%E5%B1%82%E9%80%89%E5%9E%8B">存储层选型</a></li> <li><a href="#%E8%AE%A1%E7%AE%97%E5%B1%82%E9%80%89%E5%9E%8B">计算层选型</a></li> <li><a href="#%E6%9C%8D%E5%8A%A1%E5%B1%82%E9%80%89%E5%9E%8B">服务层选型</a></li> </ul> </li> </ul> </li> <li><a href="#3-%E7%BB%B4%E5%BA%A6%E5%BB%BA%E6%A8%A1%E7%90%86%E8%AE%BA%E4%B8%8E%E5%AE%9E%E8%B7%B5">3. 维度建模理论与实践</a> <ul> <li><a href="#31-%E7%BB%B4%E5%BA%A6%E5%BB%BA%E6%A8%A1%E5%9F%BA%E7%A1%80">3.1 维度建模基础</a> <ul> <li><a href="#%E4%BA%8B%E5%AE%9E%E8%A1%A8%E8%AE%BE%E8%AE%A1">事实表设计</a></li> <li><a href="#%E7%BB%B4%E5%BA%A6%E8%A1%A8%E8%AE%BE%E8%AE%A1">维度表设计</a></li> <li><a href="#%E6%98%9F%E5%9E%8B%E6%A8%A1%E5%9E%8B%E4%B8%8E%E9%9B%AA%E8%8A%B1%E6%A8%A1%E5%9E%8B">星型模型与雪花模型</a></li> </ul> </li> <li><a href="#32-%E9%AB%98%E7%BA%A7%E5%BB%BA%E6%A8%A1%E6%8A%80%E5%B7%A7">3.2 高级建模技巧</a> <ul> <li><a href="#%E7%BC%93%E6%85%A2%E5%8F%98%E5%8C%96%E7%BB%B4%E5%BA%A6">缓慢变化维度</a></li> <li><a href="#%E9%80%80%E5%8C%96%E7%BB%B4%E5%BA%A6">退化维度</a></li> <li><a href="#%E4%B8%80%E8%87%B4%E6%80%A7%E7%BB%B4%E5%BA%A6">一致性维度</a></li> </ul> </li> <li><a href="#33-%E5%AE%9E%E4%BD%93%E5%BB%BA%E6%A8%A1%E6%96%B9%E6%B3%95">3.3 实体建模方法</a> <ul> <li><a href="#3nf%E5%BB%BA%E6%A8%A1">3NF建模</a></li> <li><a href="#%E5%AE%9E%E4%BD%93%E5%85%B3%E7%B3%BB%E6%A8%A1%E5%9E%8B">实体关系模型</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E9%9B%86%E5%B8%82%E8%AE%BE%E8%AE%A1">数据集市设计</a></li> </ul> </li> </ul> </li> <li><a href="#4-%E6%95%B0%E6%8D%AE%E5%88%86%E5%B1%82%E6%9E%B6%E6%9E%84">4. 数据分层架构</a> <ul> <li><a href="#41-%E5%88%86%E5%B1%82%E8%AE%BE%E8%AE%A1%E5%8E%9F%E5%88%99">4.1 分层设计原则</a> <ul> <li><a href="#%E5%88%86%E5%B1%82%E7%9B%AE%E6%A0%87%E4%B8%8E%E5%8E%9F%E5%88%99">分层目标与原则</a></li> <li><a href="#%E5%B1%82%E6%AC%A1%E8%81%8C%E8%B4%A3%E5%88%92%E5%88%86">层次职责划分</a></li> </ul> </li> <li><a href="#42-%E8%AF%A6%E7%BB%86%E5%88%86%E5%B1%82%E8%AE%BE%E8%AE%A1">4.2 详细分层设计</a> <ul> <li><a href="#ods%E6%93%8D%E4%BD%9C%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8%E5%B1%82">ODS操作数据存储层</a></li> <li><a href="#dwd%E6%95%B0%E6%8D%AE%E6%98%8E%E7%BB%86%E5%B1%82">DWD数据明细层</a></li> <li><a href="#dws%E6%95%B0%E6%8D%AE%E6%B1%87%E6%80%BB%E5%B1%82">DWS数据汇总层</a></li> <li><a href="#ads%E5%BA%94%E7%94%A8%E6%95%B0%E6%8D%AE%E6%9C%8D%E5%8A%A1%E5%B1%82">ADS应用数据服务层</a></li> </ul> </li> <li><a href="#43-%E5%88%86%E5%B1%82%E5%AE%9E%E6%96%BD%E7%AD%96%E7%95%A5">4.3 分层实施策略</a> <ul> <li><a href="#%E5%BB%BA%E8%A1%A8%E8%A7%84%E8%8C%83">建表规范</a></li> <li><a href="#%E5%91%BD%E5%90%8D%E8%A7%84%E8%8C%83">命名规范</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E6%B5%81%E8%BD%AC%E8%A7%84%E8%8C%83">数据流转规范</a></li> </ul> </li> </ul> </li> <li><a href="#5-etl%E6%B5%81%E7%A8%8B%E8%AE%BE%E8%AE%A1">5. ETL流程设计</a> <ul> <li><a href="#51-etl%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5">5.1 ETL基础概念</a> <ul> <li><a href="#extract%E6%95%B0%E6%8D%AE%E6%8A%BD%E5%8F%96">Extract数据抽取</a></li> <li><a href="#transform%E6%95%B0%E6%8D%AE%E8%BD%AC%E6%8D%A2">Transform数据转换</a></li> <li><a href="#load%E6%95%B0%E6%8D%AE%E5%8A%A0%E8%BD%BD">Load数据加载</a></li> </ul> </li> <li><a href="#52-elt%E6%A8%A1%E5%BC%8F">5.2 ELT模式</a> <ul> <li><a href="#elt%E4%B8%8Eetl%E5%AF%B9%E6%AF%94">ELT与ETL对比</a></li> </ul> </li> <li><a href="#53-%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86">5.3 实时数据处理</a> <ul> <li><a href="#%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1">实时数仓架构设计</a></li> <li><a href="#%E6%B5%81%E6%89%B9%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84">流批一体架构</a></li> <li><a href="#%E5%AE%9E%E6%97%B6%E7%BB%B4%E5%BA%A6%E5%85%B3%E8%81%94">实时维度关联</a></li> <li><a href="#%E5%AE%9E%E6%97%B6olap%E5%AD%98%E5%82%A8">实时OLAP存储</a></li> </ul> </li> </ul> </li> <li><a href="#6-%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E4%B8%8E%E8%B4%A8%E9%87%8F">6. 数据治理与质量</a> <ul> <li><a href="#61-%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E4%BD%93%E7%B3%BB">6.1 数据治理体系</a></li> <li><a href="#62-%E6%95%B0%E6%8D%AE%E8%B4%A8%E9%87%8F%E7%AE%A1%E7%90%86">6.2 数据质量管理</a></li> <li><a href="#63-%E5%85%83%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86">6.3 元数据管理</a></li> <li><a href="#64-%E6%95%B0%E6%8D%AE%E5%AE%89%E5%85%A8%E4%B8%8E%E5%90%88%E8%A7%84">6.4 数据安全与合规</a></li> </ul> </li> <li><a href="#7-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E7%AD%96%E7%95%A5">7. 性能优化策略</a> <ul> <li><a href="#71-%E5%AD%98%E5%82%A8%E4%BC%98%E5%8C%96">7.1 存储优化</a></li> <li><a href="#72-%E8%AE%A1%E7%AE%97%E4%BC%98%E5%8C%96">7.2 计算优化</a></li> <li><a href="#73-%E6%9E%B6%E6%9E%84%E4%BC%98%E5%8C%96">7.3 架构优化</a></li> </ul> </li> <li><a href="#8-%E6%8A%80%E6%9C%AF%E7%BB%84%E4%BB%B6%E9%80%89%E5%9E%8B">8. 技术组件选型</a> <ul> <li><a href="#81-%E5%AD%98%E5%82%A8%E6%8A%80%E6%9C%AF%E9%80%89%E5%9E%8B">8.1 存储技术选型</a> <ul> <li><a href="#hdfs%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8">HDFS分布式存储</a></li> <li><a href="#%E5%AF%B9%E8%B1%A1%E5%AD%98%E5%82%A8%E6%9C%8D%E5%8A%A1">对象存储服务</a></li> <li><a href="#%E5%85%B3%E7%B3%BB%E5%9E%8B%E6%95%B0%E6%8D%AE%E5%BA%93">关系型数据库</a></li> </ul> </li> <li><a href="#82-%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E%E9%80%89%E5%9E%8B">8.2 计算引擎选型</a> <ul> <li><a href="#spark%E5%A4%A7%E6%95%B0%E6%8D%AE%E8%AE%A1%E7%AE%97">Spark大数据计算</a></li> <li><a href="#flink%E6%B5%81%E8%AE%A1%E7%AE%97">Flink流计算</a></li> <li><a href="#presto%E4%BA%A4%E4%BA%92%E5%BC%8F%E6%9F%A5%E8%AF%A2">Presto交互式查询</a></li> </ul> </li> <li><a href="#83-%E6%95%B0%E6%8D%AE%E6%B9%96%E6%8A%80%E6%9C%AF">8.3 数据湖技术</a> <ul> <li><a href="#apache-hudi">Apache Hudi</a></li> <li><a href="#apache-iceberg">Apache Iceberg</a></li> <li><a href="#delta-lake">Delta Lake</a></li> </ul> </li> <li><a href="#84-%E4%BA%91%E5%8E%9F%E7%94%9F%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93">8.4 云原生数据仓库</a> <ul> <li><a href="#snowflake">Snowflake</a></li> <li><a href="#bigquery">BigQuery</a></li> <li><a href="#redshift">Redshift</a></li> </ul> </li> </ul> </li> <li><a href="#9-%E5%AE%9E%E6%88%98%E9%A1%B9%E7%9B%AE%E6%A1%88%E4%BE%8B">9. 实战项目案例</a> <ul> <li><a href="#91-%E7%94%B5%E5%95%86%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93">9.1 电商数据仓库</a> <ul> <li><a href="#%E4%B8%9A%E5%8A%A1%E9%9C%80%E6%B1%82%E4%B8%8E%E8%AE%BE%E8%AE%A1%E6%80%9D%E8%B7%AF">业务需求与设计思路</a></li> <li><a href="#%E6%A0%B8%E5%BF%83%E6%A8%A1%E5%9E%8B%E8%AE%BE%E8%AE%A1">核心模型设计</a></li> <li><a href="#%E5%85%B3%E9%94%AE%E6%8C%87%E6%A0%87%E8%AE%BE%E8%AE%A1">关键指标设计</a></li> </ul> </li> <li><a href="#92-%E9%87%91%E8%9E%8D%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93">9.2 金融数据仓库</a> <ul> <li><a href="#%E4%B8%9A%E5%8A%A1%E9%9C%80%E6%B1%82%E4%B8%8E%E8%AE%BE%E8%AE%A1%E6%80%9D%E8%B7%AF-1">业务需求与设计思路</a></li> <li><a href="#%E6%A0%B8%E5%BF%83%E6%A8%A1%E5%9E%8B%E8%AE%BE%E8%AE%A1-1">核心模型设计</a></li> <li><a href="#%E5%85%B3%E9%94%AE%E6%8C%87%E6%A0%87%E8%AE%BE%E8%AE%A1-1">关键指标设计</a></li> </ul> </li> <li><a href="#93-%E7%89%A9%E8%81%94%E7%BD%91%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93">9.3 物联网数据仓库</a> <ul> <li><a href="#%E6%95%B0%E6%8D%AE%E7%89%B9%E7%82%B9%E4%B8%8E%E8%AE%BE%E8%AE%A1%E6%80%9D%E8%B7%AF">数据特点与设计思路</a></li> <li><a href="#%E6%A0%B8%E5%BF%83%E6%A8%A1%E5%9E%8B%E8%AE%BE%E8%AE%A1-2">核心模型设计</a></li> <li><a href="#%E5%85%B3%E9%94%AE%E6%8A%80%E6%9C%AF%E9%80%89%E5%9E%8B">关键技术选型</a></li> <li><a href="#%E8%A1%8C%E4%B8%9A%E6%A1%88%E4%BE%8B%E6%80%BB%E7%BB%93">行业案例总结</a></li> </ul> </li> </ul> </li> <li><a href="#10-%E9%9D%A2%E8%AF%95%E9%A2%98%E9%9B%86%E9%94%A6">10. 面试题集锦</a> <ul> <li><a href="#101-%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E9%A2%98">10.1 基础理论题</a> <ul> <li><a href="#%E6%A6%82%E5%BF%B5%E5%8E%9F%E7%90%86%E7%B1%BB">概念原理类</a></li> <li><a href="#%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1%E7%B1%BB">架构设计类</a></li> </ul> </li> <li><a href="#102-%E5%BB%BA%E6%A8%A1%E8%AE%BE%E8%AE%A1%E9%A2%98">10.2 建模设计题</a> <ul> <li><a href="#%E7%BB%B4%E5%BA%A6%E5%BB%BA%E6%A8%A1%E7%B1%BB">维度建模类</a></li> <li><a href="#%E5%88%86%E5%B1%82%E8%AE%BE%E8%AE%A1%E7%B1%BB">分层设计类</a></li> </ul> </li> <li><a href="#103-%E6%8A%80%E6%9C%AF%E5%AE%9E%E7%8E%B0%E9%A2%98">10.3 技术实现题</a> <ul> <li><a href="#etl%E6%B5%81%E7%A8%8B%E7%B1%BB">ETL流程类</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E7%B1%BB">性能优化类</a></li> </ul> </li> <li><a href="#104-%E5%9C%BA%E6%99%AF%E5%BA%94%E7%94%A8%E9%A2%98">10.4 场景应用题</a> <ul> <li><a href="#%E4%B8%9A%E5%8A%A1%E5%9C%BA%E6%99%AF%E7%B1%BB">业务场景类</a></li> <li><a href="#%E9%97%AE%E9%A2%98%E8%A7%A3%E5%86%B3%E7%B1%BB">问题解决类</a></li> </ul> </li> <li><a href="#105-%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E4%B8%8E%E5%85%83%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E9%A2%98">10.5 数据治理与元数据管理题</a> <ul> <li><a href="#%E5%85%83%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E7%B1%BB">元数据管理类</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E7%B1%BB">数据治理类</a></li> </ul> </li> <li><a href="#106-%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E4%B8%8E%E6%B5%81%E5%BC%8F%E5%A4%84%E7%90%86%E9%A2%98">10.6 实时数仓与流式处理题</a> <ul> <li><a href="#%E5%AE%9E%E6%97%B6%E6%95%B0%E4%BB%93%E6%9E%B6%E6%9E%84%E7%B1%BB">实时数仓架构类</a></li> <li><a href="#%E6%B5%81%E5%BC%8F%E8%AE%A1%E7%AE%97%E7%B1%BB">流式计算类</a></li> </ul> </li> <li><a href="#107-%E6%95%B0%E6%8D%AE%E5%AE%89%E5%85%A8%E4%B8%8E%E5%90%88%E8%A7%84%E9%A2%98">10.7 数据安全与合规题</a> <ul> <li><a href="#%E6%95%B0%E6%8D%AE%E5%AE%89%E5%85%A8%E7%B1%BB">数据安全类</a></li> </ul> </li> </ul> </li> </ul> </li> </ul> </details> <h2 id="1-数据仓库基础概念">1. 数据仓库基础概念</h2> <h3 id="11-数据仓库定义与特征">1.1 数据仓库定义与特征</h3> <p><strong>数据仓库（Data Warehouse）</strong> 是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。</p>