https://pothos.dpdns.org/tags/mapreduce/Recent content in MapReduce on Ralph's BlogHugo -- 0.147.7zh-cnThu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/4.hadoop/Thu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/4.hadoop/<h1 id="目录">目录</h1> <ul> <li><a href="#%E7%9B%AE%E5%BD%95">目录</a></li> <li><a href="#hadoop-%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5">Hadoop 基础概念</a> <ul> <li><a href="#hadoop-%E7%94%9F%E6%80%81%E7%B3%BB%E7%BB%9F">Hadoop 生态系统</a> <ul> <li><a href="#hadoop-%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6">Hadoop 核心组件</a></li> <li><a href="#hadoop-%E7%94%9F%E6%80%81%E7%B3%BB%E7%BB%9F%E7%BB%84%E4%BB%B6">Hadoop 生态系统组件</a></li> </ul> </li> <li><a href="#hdfs-%E5%88%86%E5%B8%83%E5%BC%8F%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F">HDFS 分布式文件系统</a> <ul> <li><a href="#hdfs-%E6%9E%B6%E6%9E%84%E4%B8%8E%E5%8E%9F%E7%90%86">HDFS 架构与原理</a> <ul> <li><a href="#hdfs-%E8%AE%BE%E8%AE%A1%E7%9B%AE%E6%A0%87">HDFS 设计目标</a></li> <li><a href="#hdfs-%E6%9E%B6%E6%9E%84%E5%9B%BE">HDFS 架构图</a></li> </ul> </li> <li><a href="#hdfs-%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6">HDFS 核心组件</a> <ul> <li><a href="#1-namenode%E4%B8%BB%E8%8A%82%E7%82%B9">1. NameNode（主节点）</a></li> <li><a href="#2-datanode%E6%95%B0%E6%8D%AE%E8%8A%82%E7%82%B9">2. DataNode（数据节点）</a></li> <li><a href="#3-secondary-namenode%E8%BE%85%E5%8A%A9%E8%8A%82%E7%82%B9">3. Secondary NameNode（辅助节点）</a></li> </ul> </li> <li><a href="#hdfs-%E8%AF%BB%E5%86%99%E6%B5%81%E7%A8%8B">HDFS 读写流程</a> <ul> <li><a href="#hdfs-%E5%86%99%E6%B5%81%E7%A8%8B">HDFS 写流程</a></li> <li><a href="#hdfs-%E8%AF%BB%E6%B5%81%E7%A8%8B">HDFS 读流程</a></li> <li><a href="#%E8%AF%A6%E7%BB%86%E4%BB%A3%E7%A0%81%E7%A4%BA%E4%BE%8B">详细代码示例</a></li> </ul> </li> <li><a href="#hdfs-%E5%AE%B9%E9%94%99%E6%9C%BA%E5%88%B6">HDFS 容错机制</a> <ul> <li><a href="#1-%E6%95%B0%E6%8D%AE%E5%9D%97%E5%A4%8D%E5%88%B6">1. 数据块复制</a></li> <li><a href="#2-%E6%95%85%E9%9A%9C%E6%A3%80%E6%B5%8B%E4%B8%8E%E6%81%A2%E5%A4%8D">2. 故障检测与恢复</a></li> </ul> </li> </ul> </li> <li><a href="#mapreduce-%E7%BC%96%E7%A8%8B%E6%A8%A1%E5%9E%8B">MapReduce 编程模型</a> <ul> <li><a href="#mapreduce-%E5%8E%9F%E7%90%86%E4%B8%8E%E6%B5%81%E7%A8%8B">MapReduce 原理与流程</a> <ul> <li><a href="#mapreduce-%E7%BC%96%E7%A8%8B%E6%A8%A1%E5%9E%8B-1">MapReduce 编程模型</a></li> <li><a href="#mapreduce-%E6%89%A7%E8%A1%8C%E6%B5%81%E7%A8%8B">MapReduce 执行流程</a></li> <li><a href="#%E8%AF%A6%E7%BB%86%E6%89%A7%E8%A1%8C%E6%B5%81%E7%A8%8B">详细执行流程</a></li> </ul> </li> <li><a href="#mapreduce-%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6">MapReduce 核心组件</a> <ul> <li><a href="#1-jobtracker%E4%BD%9C%E4%B8%9A%E8%B7%9F%E8%B8%AA%E5%99%A8">1. JobTracker（作业跟踪器）</a></li> <li><a href="#2-tasktracker%E4%BB%BB%E5%8A%A1%E8%B7%9F%E8%B8%AA%E5%99%A8">2. TaskTracker（任务跟踪器）</a></li> <li><a href="#3-map-task%E6%98%A0%E5%B0%84%E4%BB%BB%E5%8A%A1">3. Map Task（映射任务）</a></li> <li><a href="#4-reduce-task%E5%BD%92%E7%BA%A6%E4%BB%BB%E5%8A%A1">4. Reduce Task（归约任务）</a></li> </ul> </li> <li><a href="#mapreduce-%E7%BC%96%E7%A8%8B%E7%A4%BA%E4%BE%8B">MapReduce 编程示例</a> <ul> <li><a href="#%E5%AE%8C%E6%95%B4%E7%A4%BA%E4%BE%8B%E5%8D%95%E8%AF%8D%E8%AE%A1%E6%95%B0">完整示例：单词计数</a></li> </ul> </li> <li><a href="#mapreduce-%E4%BC%98%E5%8C%96%E7%AD%96%E7%95%A5">MapReduce 优化策略</a> <ul> <li><a href="#1-%E6%95%B0%E6%8D%AE%E6%9C%AC%E5%9C%B0%E5%8C%96%E4%BC%98%E5%8C%96">1. 数据本地化优化</a></li> <li><a href="#2-%E5%86%85%E5%AD%98%E4%BC%98%E5%8C%96">2. 内存优化</a></li> <li><a href="#3-%E5%8E%8B%E7%BC%A9%E4%BC%98%E5%8C%96">3. 压缩优化</a></li> </ul> </li> </ul> </li> <li><a href="#yarn-%E8%B5%84%E6%BA%90%E7%AE%A1%E7%90%86%E5%99%A8">YARN 资源管理器</a> <ul> <li><a href="#yarn-%E6%9E%B6%E6%9E%84%E4%B8%8E%E5%8E%9F%E7%90%86">YARN 架构与原理</a> <ul> <li><a href="#yarn-%E8%AE%BE%E8%AE%A1%E7%9B%AE%E6%A0%87">YARN 设计目标</a></li> <li><a href="#yarn-%E6%9E%B6%E6%9E%84%E5%9B%BE">YARN 架构图</a></li> </ul> </li> <li><a href="#yarn-%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6">YARN 核心组件</a> <ul> <li><a href="#1-resourcemanager%E8%B5%84%E6%BA%90%E7%AE%A1%E7%90%86%E5%99%A8">1. ResourceManager（资源管理器）</a></li> <li><a href="#2-nodemanager%E8%8A%82%E7%82%B9%E7%AE%A1%E7%90%86%E5%99%A8">2. NodeManager（节点管理器）</a></li> <li><a href="#3-applicationmaster%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%E4%B8%BB%E6%8E%A7%E5%99%A8">3. ApplicationMaster（应用程序主控器）</a></li> </ul> </li> <li><a href="#yarn-%E8%B5%84%E6%BA%90%E8%B0%83%E5%BA%A6">YARN 资源调度</a> <ul> <li><a href="#1-%E8%B0%83%E5%BA%A6%E5%99%A8%E7%B1%BB%E5%9E%8B">1. 调度器类型</a></li> <li><a href="#2-capacity-scheduler-%E9%85%8D%E7%BD%AE">2. Capacity Scheduler 配置</a></li> </ul> </li> <li><a href="#yarn-%E5%BA%94%E7%94%A8%E7%AE%A1%E7%90%86">YARN 应用管理</a> <ul> <li><a href="#1-%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%E7%94%9F%E5%91%BD%E5%91%A8%E6%9C%9F">1. 应用程序生命周期</a></li> <li><a href="#2-%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%E7%9B%91%E6%8E%A7">2. 应用程序监控</a></li> </ul> </li> </ul> </li> </ul> </li> <li><a href="#hadoop-%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6%E8%AF%A6%E8%A7%A3">Hadoop 核心组件详解</a> <ul> <li><a href="#hdfs-%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90">HDFS 源码解析</a> <ul> <li><a href="#namenode-%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">NameNode 源码分析</a> <ul> <li><a href="#namenode-%E5%90%AF%E5%8A%A8%E6%B5%81%E7%A8%8B">NameNode 启动流程</a></li> <li><a href="#fsnamesystem-%E6%A0%B8%E5%BF%83%E5%8A%9F%E8%83%BD">FSNamesystem 核心功能</a></li> </ul> </li> <li><a href="#datanode-%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">DataNode 源码分析</a> <ul> <li><a href="#datanode-%E5%90%AF%E5%8A%A8%E6%B5%81%E7%A8%8B">DataNode 启动流程</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E5%9D%97%E8%AF%BB%E5%86%99%E5%AE%9E%E7%8E%B0">数据块读写实现</a></li> </ul> </li> <li><a href="#hdfs-%E5%AE%A2%E6%88%B7%E7%AB%AF%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">HDFS 客户端源码分析</a> <ul> <li><a href="#%E5%AE%A2%E6%88%B7%E7%AB%AF%E5%86%99%E6%93%8D%E4%BD%9C">客户端写操作</a></li> <li><a href="#%E5%AE%A2%E6%88%B7%E7%AB%AF%E8%AF%BB%E6%93%8D%E4%BD%9C">客户端读操作</a></li> </ul> </li> </ul> </li> <li><a href="#mapreduce-%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90">MapReduce 源码解析</a> <ul> <li><a href="#jobtracker-%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">JobTracker 源码分析</a> <ul> <li><a href="#jobtracker-%E5%90%AF%E5%8A%A8%E6%B5%81%E7%A8%8B">JobTracker 启动流程</a></li> <li><a href="#%E4%BD%9C%E4%B8%9A%E8%B0%83%E5%BA%A6%E5%AE%9E%E7%8E%B0">作业调度实现</a></li> </ul> </li> <li><a href="#tasktracker-%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">TaskTracker 源码分析</a> <ul> <li><a href="#tasktracker-%E5%90%AF%E5%8A%A8%E6%B5%81%E7%A8%8B">TaskTracker 启动流程</a></li> <li><a href="#%E4%BB%BB%E5%8A%A1%E6%89%A7%E8%A1%8C%E5%AE%9E%E7%8E%B0">任务执行实现</a></li> </ul> </li> <li><a href="#mapreduce-%E4%BB%BB%E5%8A%A1%E6%89%A7%E8%A1%8C%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">MapReduce 任务执行源码分析</a> <ul> <li><a href="#map%E4%BB%BB%E5%8A%A1%E6%89%A7%E8%A1%8C">Map任务执行</a></li> <li><a href="#reduce%E4%BB%BB%E5%8A%A1%E6%89%A7%E8%A1%8C">Reduce任务执行</a></li> </ul> </li> </ul> </li> <li><a href="#yarn-%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90">YARN 源码解析</a> <ul> <li><a href="#resourcemanager-%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">ResourceManager 源码分析</a> <ul> <li><a href="#resourcemanager-%E5%90%AF%E5%8A%A8%E6%B5%81%E7%A8%8B">ResourceManager 启动流程</a></li> <li><a href="#%E8%B5%84%E6%BA%90%E8%B0%83%E5%BA%A6%E5%AE%9E%E7%8E%B0">资源调度实现</a></li> </ul> </li> <li><a href="#nodemanager-%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">NodeManager 源码分析</a> <ul> <li><a href="#nodemanager-%E5%90%AF%E5%8A%A8%E6%B5%81%E7%A8%8B">NodeManager 启动流程</a></li> <li><a href="#%E5%AE%B9%E5%99%A8%E7%AE%A1%E7%90%86%E5%AE%9E%E7%8E%B0">容器管理实现</a></li> </ul> </li> <li><a href="#applicationmaster-%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90">ApplicationMaster 源码分析</a> <ul> <li><a href="#applicationmaster-%E5%AE%9E%E7%8E%B0">ApplicationMaster 实现</a></li> </ul> </li> </ul> </li> </ul> </li> <li><a href="#hadoop-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">Hadoop 性能优化</a> <ul> <li><a href="#hdfs-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">HDFS 性能优化</a> <ul> <li><a href="#%E5%AD%98%E5%82%A8%E4%BC%98%E5%8C%96">存储优化</a> <ul> <li><a href="#1-%E6%95%B0%E6%8D%AE%E5%9D%97%E5%A4%A7%E5%B0%8F%E4%BC%98%E5%8C%96">1. 数据块大小优化</a></li> <li><a href="#2-%E5%A4%8D%E5%88%B6%E5%9B%A0%E5%AD%90%E4%BC%98%E5%8C%96">2. 复制因子优化</a></li> <li><a href="#3-%E5%AD%98%E5%82%A8%E7%B1%BB%E5%9E%8B%E4%BC%98%E5%8C%96">3. 存储类型优化</a></li> </ul> </li> <li><a href="#%E7%BD%91%E7%BB%9C%E4%BC%98%E5%8C%96">网络优化</a> <ul> <li><a href="#1-%E7%BD%91%E7%BB%9C%E6%8B%93%E6%89%91%E4%BC%98%E5%8C%96">1. 网络拓扑优化</a></li> <li><a href="#2-%E6%95%B0%E6%8D%AE%E4%BC%A0%E8%BE%93%E4%BC%98%E5%8C%96">2. 数据传输优化</a></li> </ul> </li> <li><a href="#%E9%85%8D%E7%BD%AE%E4%BC%98%E5%8C%96">配置优化</a> <ul> <li><a href="#1-namenode%E4%BC%98%E5%8C%96">1. NameNode优化</a></li> <li><a href="#2-datanode%E4%BC%98%E5%8C%96">2. DataNode优化</a></li> </ul> </li> </ul> </li> <li><a href="#mapreduce-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">MapReduce 性能优化</a> <ul> <li><a href="#%E4%BB%BB%E5%8A%A1%E4%BC%98%E5%8C%96">任务优化</a> <ul> <li><a href="#1-map%E4%BB%BB%E5%8A%A1%E4%BC%98%E5%8C%96">1. Map任务优化</a></li> <li><a href="#2-reduce%E4%BB%BB%E5%8A%A1%E4%BC%98%E5%8C%96">2. Reduce任务优化</a></li> </ul> </li> <li><a href="#%E6%95%B0%E6%8D%AE%E4%BC%98%E5%8C%96">数据优化</a> <ul> <li><a href="#1-%E8%BE%93%E5%85%A5%E6%A0%BC%E5%BC%8F%E4%BC%98%E5%8C%96">1. 输入格式优化</a></li> <li><a href="#2-%E8%BE%93%E5%87%BA%E6%A0%BC%E5%BC%8F%E4%BC%98%E5%8C%96">2. 输出格式优化</a></li> </ul> </li> <li><a href="#%E7%AE%97%E6%B3%95%E4%BC%98%E5%8C%96">算法优化</a> <ul> <li><a href="#1-%E6%95%B0%E6%8D%AE%E5%80%BE%E6%96%9C%E5%A4%84%E7%90%86">1. 数据倾斜处理</a></li> <li><a href="#2-%E5%86%85%E5%AD%98%E4%BC%98%E5%8C%96-1">2. 内存优化</a></li> </ul> </li> </ul> </li> <li><a href="#yarn-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">YARN 性能优化</a> <ul> <li><a href="#%E8%B5%84%E6%BA%90%E8%B0%83%E5%BA%A6%E4%BC%98%E5%8C%96">资源调度优化</a> <ul> <li><a href="#1-%E8%B0%83%E5%BA%A6%E5%99%A8%E9%80%89%E6%8B%A9">1. 调度器选择</a></li> <li><a href="#2-capacity-scheduler-%E4%BC%98%E5%8C%96">2. Capacity Scheduler 优化</a></li> <li><a href="#3-fair-scheduler-%E4%BC%98%E5%8C%96">3. Fair Scheduler 优化</a></li> </ul> </li> <li><a href="#%E5%86%85%E5%AD%98%E7%AE%A1%E7%90%86%E4%BC%98%E5%8C%96">内存管理优化</a> <ul> <li><a href="#1-%E5%86%85%E5%AD%98%E5%88%86%E9%85%8D%E7%AD%96%E7%95%A5">1. 内存分配策略</a></li> <li><a href="#2-%E5%86%85%E5%AD%98%E7%9B%91%E6%8E%A7">2. 内存监控</a></li> </ul> </li> <li><a href="#%E9%98%9F%E5%88%97%E7%AE%A1%E7%90%86%E4%BC%98%E5%8C%96">队列管理优化</a> <ul> <li><a href="#1-%E9%98%9F%E5%88%97%E9%85%8D%E7%BD%AE%E4%BC%98%E5%8C%96">1. 队列配置优化</a></li> <li><a href="#2-%E9%98%9F%E5%88%97%E7%9B%91%E6%8E%A7">2. 队列监控</a></li> </ul> </li> </ul> </li> <li><a href="#%E6%80%A7%E8%83%BD%E7%9B%91%E6%8E%A7%E4%B8%8E%E8%B0%83%E4%BC%98">性能监控与调优</a> <ul> <li><a href="#%E6%80%A7%E8%83%BD%E6%8C%87%E6%A0%87%E7%9B%91%E6%8E%A7">性能指标监控</a> <ul> <li><a href="#1-hdfs%E6%80%A7%E8%83%BD%E6%8C%87%E6%A0%87">1. HDFS性能指标</a></li> <li><a href="#2-mapreduce%E6%80%A7%E8%83%BD%E6%8C%87%E6%A0%87">2. MapReduce性能指标</a></li> <li><a href="#3-yarn%E6%80%A7%E8%83%BD%E6%8C%87%E6%A0%87">3. YARN性能指标</a></li> </ul> </li> <li><a href="#%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E5%B7%A5%E5%85%B7">性能调优工具</a> <ul> <li><a href="#1-%E6%80%A7%E8%83%BD%E5%88%86%E6%9E%90%E5%B7%A5%E5%85%B7">1. 性能分析工具</a></li> <li><a href="#2-%E6%80%A7%E8%83%BD%E6%B5%8B%E8%AF%95%E5%B7%A5%E5%85%B7">2. 性能测试工具</a></li> </ul> </li> </ul> </li> </ul> </li> <li><a href="#hadoop-%E8%BF%90%E7%BB%B4%E4%B8%8E%E7%9B%91%E6%8E%A7">Hadoop 运维与监控</a> <ul> <li><a href="#%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2">集群部署</a> <ul> <li><a href="#%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87">环境准备</a> <ul> <li><a href="#1-%E7%B3%BB%E7%BB%9F%E8%A6%81%E6%B1%82">1. 系统要求</a></li> <li><a href="#2-%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE">2. 环境配置</a></li> <li><a href="#3-%E7%BD%91%E7%BB%9C%E9%85%8D%E7%BD%AE">3. 网络配置</a></li> </ul> </li> <li><a href="#%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE">安装配置</a> <ul> <li><a href="#1-hadoop%E4%B8%8B%E8%BD%BD%E5%AE%89%E8%A3%85">1. Hadoop下载安装</a></li> <li><a href="#2-%E6%A0%B8%E5%BF%83%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6">2. 核心配置文件</a></li> <li><a href="#3-%E9%9B%86%E7%BE%A4%E9%85%8D%E7%BD%AE">3. 集群配置</a></li> </ul> </li> <li><a href="#%E9%9B%86%E7%BE%A4%E5%90%AF%E5%8A%A8">集群启动</a> <ul> <li><a href="#1-%E5%90%AF%E5%8A%A8%E6%B5%81%E7%A8%8B">1. 启动流程</a></li> <li><a href="#2-%E5%90%AF%E5%8A%A8%E8%84%9A%E6%9C%AC">2. 启动脚本</a></li> <li><a href="#3-%E5%81%9C%E6%AD%A2%E8%84%9A%E6%9C%AC">3. 停止脚本</a></li> </ul> </li> </ul> </li> <li><a href="#%E7%9B%91%E6%8E%A7%E7%AE%A1%E7%90%86">监控管理</a> <ul> <li><a href="#%E7%B3%BB%E7%BB%9F%E7%9B%91%E6%8E%A7">系统监控</a> <ul> <li><a href="#1-%E7%B3%BB%E7%BB%9F%E8%B5%84%E6%BA%90%E7%9B%91%E6%8E%A7">1. 系统资源监控</a></li> <li><a href="#2-%E9%9B%86%E7%BE%A4%E7%8A%B6%E6%80%81%E7%9B%91%E6%8E%A7">2. 集群状态监控</a></li> </ul> </li> <li><a href="#%E5%BA%94%E7%94%A8%E7%9B%91%E6%8E%A7">应用监控</a> <ul> <li><a href="#1-%E4%BD%9C%E4%B8%9A%E7%9B%91%E6%8E%A7">1. 作业监控</a></li> <li><a href="#2-%E4%BB%BB%E5%8A%A1%E7%9B%91%E6%8E%A7">2. 任务监控</a></li> </ul> </li> <li><a href="#%E6%97%A5%E5%BF%97%E7%AE%A1%E7%90%86">日志管理</a> <ul> <li><a href="#1-%E6%97%A5%E5%BF%97%E9%85%8D%E7%BD%AE">1. 日志配置</a></li> <li><a href="#2-%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90">2. 日志分析</a></li> </ul> </li> </ul> </li> <li><a href="#%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5">故障排查</a> <ul> <li><a href="#%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98">常见问题</a> <ul> <li><a href="#1-namenode%E9%97%AE%E9%A2%98">1. NameNode问题</a></li> <li><a href="#2-yarn%E9%97%AE%E9%A2%98">2. YARN问题</a></li> <li><a href="#3-mapreduce%E9%97%AE%E9%A2%98">3. MapReduce问题</a></li> </ul> </li> <li><a href="#%E8%AF%8A%E6%96%AD%E6%96%B9%E6%B3%95">诊断方法</a> <ul> <li><a href="#1-%E7%B3%BB%E7%BB%9F%E8%AF%8A%E6%96%AD">1. 系统诊断</a></li> <li><a href="#2-%E9%9B%86%E7%BE%A4%E8%AF%8A%E6%96%AD">2. 集群诊断</a></li> </ul> </li> <li><a href="#%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88">解决方案</a> <ul> <li><a href="#1-%E6%80%A7%E8%83%BD%E9%97%AE%E9%A2%98%E8%A7%A3%E5%86%B3">1. 性能问题解决</a></li> <li><a href="#2-%E6%95%85%E9%9A%9C%E6%81%A2%E5%A4%8D">2. 故障恢复</a></li> </ul> </li> </ul> </li> </ul> </li> <li><a href="#hadoop-%E9%AB%98%E7%BA%A7%E7%89%B9%E6%80%A7">Hadoop 高级特性</a> <ul> <li><a href="#%E9%AB%98%E5%8F%AF%E7%94%A8%E6%80%A7">高可用性</a> <ul> <li><a href="#hdfs%E9%AB%98%E5%8F%AF%E7%94%A8">HDFS高可用</a> <ul> <li><a href="#1-namenode%E9%AB%98%E5%8F%AF%E7%94%A8%E6%9E%B6%E6%9E%84">1. NameNode高可用架构</a></li> <li><a href="#2-journalnode%E9%85%8D%E7%BD%AE">2. JournalNode配置</a></li> <li><a href="#3-%E8%87%AA%E5%8A%A8%E6%95%85%E9%9A%9C%E5%88%87%E6%8D%A2">3. 自动故障切换</a></li> </ul> </li> <li><a href="#yarn%E9%AB%98%E5%8F%AF%E7%94%A8">YARN高可用</a> <ul> <li><a href="#1-resourcemanager%E9%AB%98%E5%8F%AF%E7%94%A8">1. ResourceManager高可用</a></li> <li><a href="#2-%E7%8A%B6%E6%80%81%E5%AD%98%E5%82%A8%E9%85%8D%E7%BD%AE">2. 状态存储配置</a></li> </ul> </li> </ul> </li> <li><a href="#%E5%AE%89%E5%85%A8%E6%80%A7">安全性</a> <ul> <li><a href="#kerberos%E8%AE%A4%E8%AF%81">Kerberos认证</a> <ul> <li><a href="#1-kerberos%E9%85%8D%E7%BD%AE">1. Kerberos配置</a></li> <li><a href="#2-%E6%9C%8D%E5%8A%A1%E4%B8%BB%E4%BD%93%E9%85%8D%E7%BD%AE">2. 服务主体配置</a></li> <li><a href="#3-%E7%94%A8%E6%88%B7%E8%AE%A4%E8%AF%81">3. 用户认证</a></li> </ul> </li> <li><a href="#%E8%AE%BF%E9%97%AE%E6%8E%A7%E5%88%B6">访问控制</a> <ul> <li><a href="#1-hdfs%E6%9D%83%E9%99%90%E6%8E%A7%E5%88%B6">1. HDFS权限控制</a></li> <li><a href="#2-yarn%E9%98%9F%E5%88%97%E6%9D%83%E9%99%90">2. YARN队列权限</a></li> </ul> </li> </ul> </li> <li><a href="#%E6%89%A9%E5%B1%95%E5%8A%9F%E8%83%BD">扩展功能</a> <ul> <li><a href="#hdfs-federation">HDFS Federation</a> <ul> <li><a href="#1-federation%E6%9E%B6%E6%9E%84">1. Federation架构</a></li> <li><a href="#2-viewfs%E9%85%8D%E7%BD%AE">2. ViewFS配置</a></li> </ul> </li> <li><a href="#%E6%95%B0%E6%8D%AE%E5%8E%8B%E7%BC%A9">数据压缩</a> <ul> <li><a href="#1-%E5%8E%8B%E7%BC%A9%E7%BC%96%E8%A7%A3%E7%A0%81%E5%99%A8">1. 压缩编解码器</a></li> <li><a href="#2-%E5%8E%8B%E7%BC%A9%E9%85%8D%E7%BD%AE">2. 压缩配置</a></li> </ul> </li> <li><a href="#%E6%95%B0%E6%8D%AE%E6%A0%BC%E5%BC%8F%E4%BC%98%E5%8C%96">数据格式优化</a> <ul> <li><a href="#1-%E5%88%97%E5%BC%8F%E5%AD%98%E5%82%A8">1. 列式存储</a></li> <li><a href="#2-%E5%BA%8F%E5%88%97%E5%8C%96%E6%A0%BC%E5%BC%8F">2. 序列化格式</a></li> </ul> </li> </ul> </li> </ul> </li> <li><a href="#hadoop-%E5%85%B8%E5%9E%8B%E9%9D%A2%E8%AF%95%E9%A2%98%E4%B8%8E%E7%AD%94%E7%96%91">Hadoop 典型面试题与答疑</a> <ul> <li><a href="#%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5%E9%9D%A2%E8%AF%95%E9%A2%98">基础概念面试题</a> <ul> <li><a href="#1-hadoop%E7%94%9F%E6%80%81%E7%B3%BB%E7%BB%9F">1. Hadoop生态系统</a></li> <li><a href="#2-hdfs%E6%9E%B6%E6%9E%84">2. HDFS架构</a></li> <li><a href="#3-mapreduce%E5%8E%9F%E7%90%86">3. MapReduce原理</a></li> </ul> </li> <li><a href="#%E9%AB%98%E7%BA%A7%E7%89%B9%E6%80%A7%E9%9D%A2%E8%AF%95%E9%A2%98">高级特性面试题</a> <ul> <li><a href="#4-hdfs%E9%AB%98%E5%8F%AF%E7%94%A8">4. HDFS高可用</a></li> <li><a href="#5-yarn%E8%B5%84%E6%BA%90%E8%B0%83%E5%BA%A6">5. YARN资源调度</a></li> <li><a href="#6-%E6%95%B0%E6%8D%AE%E5%80%BE%E6%96%9C%E5%A4%84%E7%90%86">6. 数据倾斜处理</a></li> </ul> </li> <li><a href="#%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E9%9D%A2%E8%AF%95%E9%A2%98">性能优化面试题</a> <ul> <li><a href="#7-hdfs%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">7. HDFS性能优化</a></li> <li><a href="#8-mapreduce%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">8. MapReduce性能优化</a></li> <li><a href="#9-%E5%86%85%E5%AD%98%E7%AE%A1%E7%90%86">9. 内存管理</a></li> </ul> </li> <li><a href="#%E8%BF%90%E7%BB%B4%E7%AE%A1%E7%90%86%E9%9D%A2%E8%AF%95%E9%A2%98">运维管理面试题</a> <ul> <li><a href="#10-%E9%9B%86%E7%BE%A4%E7%9B%91%E6%8E%A7">10. 集群监控</a></li> <li><a href="#11-%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5">11. 故障排查</a></li> <li><a href="#12-%E5%AE%89%E5%85%A8%E9%85%8D%E7%BD%AE">12. 安全配置</a></li> </ul> </li> <li><a href="#%E5%AE%9E%E9%99%85%E5%BA%94%E7%94%A8%E9%9D%A2%E8%AF%95%E9%A2%98">实际应用面试题</a> <ul> <li><a href="#13-%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E6%B5%81%E7%A8%8B">13. 数据处理流程</a></li> <li><a href="#14-%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%E5%AE%9E%E8%B7%B5">14. 性能调优实践</a></li> <li><a href="#15-%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5">15. 最佳实践</a></li> </ul> </li> <li><a href="#%E9%9D%A2%E8%AF%95%E6%8A%80%E5%B7%A7%E6%80%BB%E7%BB%93">面试技巧总结</a> <ul> <li><a href="#1-%E6%8A%80%E6%9C%AF%E6%B7%B1%E5%BA%A6">1. 技术深度</a></li> <li><a href="#2-%E6%8A%80%E6%9C%AF%E5%B9%BF%E5%BA%A6">2. 技术广度</a></li> <li><a href="#3-%E9%97%AE%E9%A2%98%E8%A7%A3%E5%86%B3%E8%83%BD%E5%8A%9B">3. 问题解决能力</a></li> <li><a href="#4-%E5%AD%A6%E4%B9%A0%E8%83%BD%E5%8A%9B">4. 学习能力</a></li> </ul> </li> </ul> </li> </ul> <hr> <h1 id="hadoop-基础概念">Hadoop 基础概念</h1> <h2 id="hadoop-生态系统">Hadoop 生态系统</h2> <p><strong>Hadoop</strong>是一个开源的分布式计算平台，主要用于处理大规模数据集。它由Apache软件基金会开发，是<strong>大数据处理</strong>的基础框架。</p>https://pothos.dpdns.org/posts/5.hive/Thu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/5.hive/<h1 id="hive-参考指南">Hive 参考指南</h1> <h2 id="目录">目录</h2> <details> <summary>点击展开目录</summary> <ul> <li><a href="#hive-%E5%8F%82%E8%80%83%E6%8C%87%E5%8D%97">Hive 参考指南</a> <ul> <li><a href="#%E7%9B%AE%E5%BD%95">目录</a></li> <li><a href="#hive-%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5">Hive 基础概念</a> <ul> <li><a href="#hive%E7%AE%80%E4%BB%8B">Hive简介</a> <ul> <li><a href="#hive%E6%A0%B8%E5%BF%83%E7%89%B9%E6%80%A7">Hive核心特性</a></li> <li><a href="#hive%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF">Hive应用场景</a></li> </ul> </li> <li><a href="#hive%E6%9E%B6%E6%9E%84">Hive架构</a> <ul> <li><a href="#%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6">核心组件</a></li> </ul> </li> <li><a href="#hive%E5%B7%A5%E4%BD%9C%E5%8E%9F%E7%90%86">Hive工作原理</a> <ul> <li><a href="#%E6%9F%A5%E8%AF%A2%E6%89%A7%E8%A1%8C%E6%B5%81%E7%A8%8B">查询执行流程</a></li> <li><a href="#hql%E8%BD%AC%E6%8D%A2%E4%B8%BAmapreduce">HQL转换为MapReduce</a></li> </ul> </li> <li><a href="#hive-vs-%E4%BC%A0%E7%BB%9F%E6%95%B0%E6%8D%AE%E5%BA%93">Hive vs 传统数据库</a></li> </ul> </li> <li><a href="#hive-%E5%AE%89%E8%A3%85%E4%B8%8E%E9%85%8D%E7%BD%AE">Hive 安装与配置</a> <ul> <li><a href="#%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87">环境准备</a> <ul> <li><a href="#%E7%B3%BB%E7%BB%9F%E8%A6%81%E6%B1%82">系统要求</a></li> <li><a href="#%E4%BE%9D%E8%B5%96%E8%BD%AF%E4%BB%B6">依赖软件</a></li> </ul> </li> <li><a href="#%E5%AE%89%E8%A3%85%E6%AD%A5%E9%AA%A4">安装步骤</a></li> <li><a href="#%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3">配置详解</a></li> <li><a href="#%E5%85%83%E6%95%B0%E6%8D%AE%E5%BA%93%E9%85%8D%E7%BD%AE">元数据库配置</a></li> </ul> </li> <li><a href="#hive-%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B">Hive 数据类型</a> <ul> <li><a href="#%E5%9F%BA%E6%9C%AC%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B">基本数据类型</a></li> <li><a href="#%E5%A4%8D%E6%9D%82%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B">复杂数据类型</a> <ul> <li><a href="#array%E7%B1%BB%E5%9E%8B">ARRAY类型</a></li> <li><a href="#map%E7%B1%BB%E5%9E%8B">MAP类型</a></li> <li><a href="#struct%E7%B1%BB%E5%9E%8B">STRUCT类型</a></li> </ul> </li> <li><a href="#%E7%B1%BB%E5%9E%8B%E8%BD%AC%E6%8D%A2">类型转换</a></li> </ul> </li> <li><a href="#1-sql-%E5%87%BD%E6%95%B0%E4%B8%8E%E8%AF%AD%E6%B3%95">1. SQL 函数与语法</a> <ul> <li><a href="#11-%E6%97%A5%E6%9C%9F%E4%B8%8E%E6%97%B6%E9%97%B4%E5%A4%84%E7%90%86">1.1 日期与时间处理</a></li> <li><a href="#12-%E5%AD%97%E7%AC%A6%E4%B8%B2%E5%A4%84%E7%90%86">1.2 字符串处理</a></li> <li><a href="#13-%E8%81%9A%E5%90%88%E5%87%BD%E6%95%B0">1.3 聚合函数</a></li> <li><a href="#14-%E6%95%B0%E7%BB%84%E4%B8%8E%E9%9B%86%E5%90%88%E6%93%8D%E4%BD%9C">1.4 数组与集合操作</a></li> <li><a href="#15-json-%E5%A4%84%E7%90%86">1.5 JSON 处理</a></li> <li><a href="#16-%E6%9D%A1%E4%BB%B6%E4%B8%8E%E5%88%A4%E6%96%AD">1.6 条件与判断</a></li> <li><a href="#17-%E5%88%86%E7%BB%84%E4%B8%8E%E8%81%9A%E5%90%88">1.7 分组与聚合</a></li> <li><a href="#18-%E7%AA%97%E5%8F%A3%E5%87%BD%E6%95%B0">1.8 窗口函数</a></li> <li><a href="#19-with-%E8%AF%AD%E5%8F%A5">1.9 WITH 语句</a></li> <li><a href="#110-join-%E6%93%8D%E4%BD%9C">1.10 JOIN 操作</a></li> </ul> </li> <li><a href="#2-%E8%A1%A8%E6%93%8D%E4%BD%9C">2. 表操作</a> <ul> <li><a href="#21-%E5%BB%BA%E8%A1%A8%E4%B8%8E%E5%8E%8B%E7%BC%A9%E6%A0%BC%E5%BC%8F">2.1 建表与压缩格式</a> <ul> <li><a href="#%E5%AD%98%E5%82%A8%E6%A0%BC%E5%BC%8F%E5%AF%B9%E6%AF%94">存储格式对比</a></li> <li><a href="#%E5%8E%8B%E7%BC%A9%E6%A0%BC%E5%BC%8F%E5%AF%B9%E6%AF%94">压缩格式对比</a></li> <li><a href="#%E8%AF%A6%E7%BB%86%E5%BB%BA%E8%A1%A8%E7%A4%BA%E4%BE%8B">详细建表示例</a></li> </ul> </li> <li><a href="#22-%E5%88%86%E6%A1%B6%E4%B8%8E%E5%88%86%E5%8C%BA">2.2 分桶与分区</a> <ul> <li><a href="#%E5%88%86%E5%8C%BA%E7%AD%96%E7%95%A5%E8%AF%A6%E8%A7%A3">分区策略详解</a></li> <li><a href="#%E5%88%86%E6%A1%B6%E7%AD%96%E7%95%A5%E8%AF%A6%E8%A7%A3">分桶策略详解</a></li> </ul> </li> <li><a href="#23-%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE">2.3 优化配置</a> <ul> <li><a href="#%E8%AF%A6%E7%BB%86%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE">详细优化配置</a></li> </ul> </li> <li><a href="#24-%E5%AE%9E%E7%94%A8%E6%9F%A5%E8%AF%A2%E7%A4%BA%E4%BE%8B">2.4 实用查询示例</a> <ul> <li><a href="#%E5%AE%9E%E9%99%85%E5%BA%94%E7%94%A8%E6%9F%A5%E8%AF%A2%E7%A4%BA%E4%BE%8B">实际应用查询示例</a></li> </ul> </li> </ul> </li> <li><a href="#3-udf%E4%B8%8E%E8%87%AA%E5%AE%9A%E4%B9%89%E5%87%BD%E6%95%B0">3. UDF与自定义函数</a> <ul> <li><a href="#31-%E5%9C%B0%E7%90%86%E4%BD%8D%E7%BD%AE%E5%87%BD%E6%95%B0">3.1 地理位置函数</a> <ul> <li><a href="#%E6%9B%B4%E5%A4%9A%E5%9C%B0%E7%90%86%E4%BD%8D%E7%BD%AEudf%E7%A4%BA%E4%BE%8B">更多地理位置UDF示例</a></li> </ul> </li> <li><a href="#32-%E6%95%B0%E6%8D%AE%E9%AA%8C%E8%AF%81%E5%87%BD%E6%95%B0">3.2 数据验证函数</a> <ul> <li><a href="#%E6%9B%B4%E5%A4%9A%E6%95%B0%E6%8D%AE%E9%AA%8C%E8%AF%81udf%E7%A4%BA%E4%BE%8B">更多数据验证UDF示例</a></li> </ul> </li> <li><a href="#33-%E5%AD%97%E7%AC%A6%E5%A4%84%E7%90%86%E5%87%BD%E6%95%B0">3.3 字符处理函数</a> <ul> <li><a href="#%E6%9B%B4%E5%A4%9A%E5%AD%97%E7%AC%A6%E5%A4%84%E7%90%86udf%E7%A4%BA%E4%BE%8B">更多字符处理UDF示例</a></li> </ul> </li> <li><a href="#34-%E5%B8%83%E9%9A%86%E8%BF%87%E6%BB%A4%E5%99%A8">3.4 布隆过滤器</a> <ul> <li><a href="#%E6%9B%B4%E5%A4%9A%E9%AB%98%E7%BA%A7udf%E7%A4%BA%E4%BE%8B">更多高级UDF示例</a></li> </ul> </li> </ul> </li> <li><a href="#4-hive-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96">4. Hive 性能优化</a> <ul> <li><a href="#41-%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96">4.1 查询优化</a> <ul> <li><a href="#%E6%9F%A5%E8%AF%A2%E8%AE%A1%E5%88%92%E5%88%86%E6%9E%90">查询计划分析</a></li> <li><a href="#%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96%E6%8A%80%E5%B7%A7">查询优化技巧</a></li> </ul> </li> <li><a href="#42-%E5%AD%98%E5%82%A8%E4%BC%98%E5%8C%96">4.2 存储优化</a> <ul> <li><a href="#%E5%AD%98%E5%82%A8%E6%A0%BC%E5%BC%8F%E9%80%89%E6%8B%A9">存储格式选择</a></li> <li><a href="#%E5%8E%8B%E7%BC%A9%E7%AD%96%E7%95%A5">压缩策略</a></li> </ul> </li> <li><a href="#43-%E9%85%8D%E7%BD%AE%E4%BC%98%E5%8C%96">4.3 配置优化</a> <ul> <li><a href="#%E5%86%85%E5%AD%98%E9%85%8D%E7%BD%AE">内存配置</a></li> <li><a href="#%E5%B9%B6%E8%A1%8C%E9%85%8D%E7%BD%AE">并行配置</a></li> </ul> </li> <li><a href="#44-%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5">4.4 常见问题排查</a> <ul> <li><a href="#%E6%80%A7%E8%83%BD%E9%97%AE%E9%A2%98%E8%AF%8A%E6%96%AD">性能问题诊断</a></li> <li><a href="#%E5%B8%B8%E8%A7%81%E9%94%99%E8%AF%AF%E8%A7%A3%E5%86%B3">常见错误解决</a></li> </ul> </li> </ul> </li> <li><a href="#5-hive-%E8%BF%90%E7%BB%B4%E7%AE%A1%E7%90%86">5. Hive 运维管理</a> <ul> <li><a href="#51-%E5%85%83%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86">5.1 元数据管理</a> <ul> <li><a href="#%E5%85%83%E6%95%B0%E6%8D%AE%E5%BA%93%E7%BB%B4%E6%8A%A4">元数据库维护</a></li> <li><a href="#%E7%BB%9F%E8%AE%A1%E4%BF%A1%E6%81%AF%E7%AE%A1%E7%90%86">统计信息管理</a></li> </ul> </li> <li><a href="#52-%E6%9D%83%E9%99%90%E7%AE%A1%E7%90%86">5.2 权限管理</a> <ul> <li><a href="#%E7%94%A8%E6%88%B7%E6%9D%83%E9%99%90%E7%AE%A1%E7%90%86">用户权限管理</a></li> <li><a href="#%E8%A7%92%E8%89%B2%E7%AE%A1%E7%90%86">角色管理</a></li> </ul> </li> <li><a href="#53-%E7%9B%91%E6%8E%A7%E4%B8%8E%E6%97%A5%E5%BF%97">5.3 监控与日志</a> <ul> <li><a href="#%E6%97%A5%E5%BF%97%E9%85%8D%E7%BD%AE">日志配置</a></li> <li><a href="#%E7%9B%91%E6%8E%A7%E6%8C%87%E6%A0%87">监控指标</a></li> </ul> </li> <li><a href="#54-%E5%A4%87%E4%BB%BD%E4%B8%8E%E6%81%A2%E5%A4%8D">5.4 备份与恢复</a> <ul> <li><a href="#%E6%95%B0%E6%8D%AE%E5%A4%87%E4%BB%BD%E7%AD%96%E7%95%A5">数据备份策略</a></li> <li><a href="#%E6%81%A2%E5%A4%8D%E7%AD%96%E7%95%A5">恢复策略</a></li> </ul> </li> </ul> </li> <li><a href="#6-hive-%E9%AB%98%E7%BA%A7%E7%89%B9%E6%80%A7">6. Hive 高级特性</a> <ul> <li><a href="#61-acid%E4%BA%8B%E5%8A%A1">6.1 ACID事务</a> <ul> <li><a href="#%E4%BA%8B%E5%8A%A1%E8%A1%A8%E5%88%9B%E5%BB%BA%E4%B8%8E%E4%BD%BF%E7%94%A8">事务表创建与使用</a></li> <li><a href="#%E4%BA%8B%E5%8A%A1%E6%93%8D%E4%BD%9C%E7%A4%BA%E4%BE%8B">事务操作示例</a></li> </ul> </li> <li><a href="#62-%E6%B5%81%E5%A4%84%E7%90%86%E6%94%AF%E6%8C%81">6.2 流处理支持</a> <ul> <li><a href="#hive-streaming-api">Hive Streaming API</a></li> <li><a href="#%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%86%99%E5%85%A5">实时数据写入</a></li> </ul> </li> <li><a href="#63-%E5%90%91%E9%87%8F%E5%8C%96%E6%89%A7%E8%A1%8C">6.3 向量化执行</a> <ul> <li><a href="#%E5%90%91%E9%87%8F%E5%8C%96%E9%85%8D%E7%BD%AE">向量化配置</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E6%8F%90%E5%8D%87%E6%95%88%E6%9E%9C">性能提升效果</a></li> </ul> </li> <li><a href="#64-%E7%89%A9%E5%8C%96%E8%A7%86%E5%9B%BE">6.4 物化视图</a> <ul> <li><a href="#%E7%89%A9%E5%8C%96%E8%A7%86%E5%9B%BE%E5%88%9B%E5%BB%BA">物化视图创建</a></li> <li><a href="#%E8%87%AA%E5%8A%A8%E6%9F%A5%E8%AF%A2%E9%87%8D%E5%86%99">自动查询重写</a></li> </ul> </li> </ul> </li> <li><a href="#7-hive-%E4%B8%8E%E5%85%B6%E4%BB%96%E7%BB%84%E4%BB%B6%E9%9B%86%E6%88%90">7. Hive 与其他组件集成</a> <ul> <li><a href="#71-hive-on-spark">7.1 Hive on Spark</a> <ul> <li><a href="#%E9%85%8D%E7%BD%AE%E4%B8%8E%E4%BC%98%E5%8C%96">配置与优化</a></li> <li><a href="#%E6%80%A7%E8%83%BD%E5%AF%B9%E6%AF%94">性能对比</a></li> </ul> </li> <li><a href="#72-hive%E4%B8%8Ekafka%E9%9B%86%E6%88%90">7.2 Hive与Kafka集成</a> <ul> <li><a href="#%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E6%8E%A5%E5%85%A5">实时数据接入</a></li> <li><a href="#%E6%B5%81%E6%89%B9%E4%B8%80%E4%BD%93%E6%9E%B6%E6%9E%84">流批一体架构</a></li> </ul> </li> <li><a href="#73-hive%E4%B8%8Ehbase%E9%9B%86%E6%88%90">7.3 Hive与HBase集成</a> <ul> <li><a href="#%E5%A4%96%E9%83%A8%E8%A1%A8%E6%98%A0%E5%B0%84">外部表映射</a></li> <li><a href="#%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5%E7%AD%96%E7%95%A5">数据同步策略</a></li> </ul> </li> <li><a href="#74-hive%E4%B8%8Eelasticsearch%E9%9B%86%E6%88%90">7.4 Hive与Elasticsearch集成</a> <ul> <li><a href="#%E6%95%B0%E6%8D%AE%E5%AF%BC%E5%85%A5%E5%AF%BC%E5%87%BA">数据导入导出</a></li> <li><a href="#%E5%85%A8%E6%96%87%E6%A3%80%E7%B4%A2%E6%9F%A5%E8%AF%A2">全文检索查询</a></li> </ul> </li> </ul> </li> <li><a href="#8-hive-%E9%9D%A2%E8%AF%95%E9%A2%98%E9%9B%86%E9%94%A6">8. Hive 面试题集锦</a> <ul> <li><a href="#81-%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5%E9%A2%98">8.1 基础概念题</a> <ul> <li><a href="#hive%E5%8E%9F%E7%90%86%E6%9C%BA%E5%88%B6">Hive原理机制</a></li> </ul> </li> <li><a href="#82-%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E9%A2%98">8.2 性能优化题</a></li> <li><a href="#83-%E5%AE%9E%E6%88%98%E5%BA%94%E7%94%A8%E9%A2%98">8.3 实战应用题</a></li> <li><a href="#84-%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1%E9%A2%98">8.4 架构设计题</a></li> </ul> </li> <li><a href="#9-%E5%8F%82%E8%80%83%E9%93%BE%E6%8E%A5%E4%B8%8E%E5%A4%96%E9%83%A8%E8%B5%84%E6%BA%90">9. 参考链接与外部资源</a></li> </ul> </li> </ul> </details> <h2 id="hive-基础概念">Hive 基础概念</h2> <h3 id="hive简介">Hive简介</h3> <p><strong>Apache Hive</strong> 是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。Hive最初由Facebook开发，用于处理海量结构化日志数据。</p>