数据库

创建space CREATE SPACE saas_graph (partition_num = 3, vid_type = FIXED_STRING(35)) COMMENT = “gt数据” 添加 tag CREATE tag gid (ts timestamp NULL DEFAULT now() COMMENT “出现时间”) COMMENT = “点类型-gid”; CREATE tag mac (ts timestamp NULL DEFAULT now() COMMENT “出现时间”) COMMENT = “点类型-mac”; CREATE tag wifi () COMMENT = “点类型-wifi”; CREATE tag wg () COMMENT = “点类型-wg”; CREATE tag ip () COMMENT = “点类型-wg”; 添加edge type CREATE edge connect (ts timestamp NULL DEFAULT now() COMMENT “关联时间”) COMMENT = “边类型-连接”; CREATE edge scan (ts timestamp NULL DEFAULT now() COMMENT “关联时间”) COMMENT = “边类型-扫描”; CREATE edge bind (ts timestamp NULL DEFAULT now() COMMENT “绑定时间”) COMMENT = “边类型-绑定关系”; #写入数据 ...

22. Redis 目录 点击展开目录 22. Redis 目录 Redis 基础概念 Redis 简介 核心特性与优势 1. 高性能 2. 丰富的数据结构 3. 持久化机制 4. 高可用与分布式 5. 扩展功能 应用场景 1. 缓存系统 2. 分布式锁 3. 消息队列 4. 排行榜与计数器 5. 社交网络功能 6. 地理位置应用 7. 限流与防刷 Redis 数据结构 String（字符串） 内部编码 常用命令 应用场景 List（列表） 内部编码 常用命令 应用场景 Set（集合） 内部编码 常用命令 应用场景 Hash（哈希） 内部编码 常用命令 应用场景 ZSet（有序集合） 内部编码 常用命令 应用场景 Bitmap、HyperLogLog、Geo Bitmap（位图） HyperLogLog Geo（地理位置） Redis 架构设计 单机架构 主从复制 哨兵模式 集群模式 高可用与分布式 Redis 持久化机制 RDB 快照 AOF 日志 混合持久化 持久化策略对比 Redis 高级特性 事务与Lua脚本 Redis事务 Lua脚本 发布订阅 延迟队列与消息队列 基于List的简单队列 基于Sorted Set的延迟队列 基于Stream的可靠队列 分布式锁 基于SETNX实现分布式锁 Redlock算法 缓存淘汰策略 内存管理与回收 内存占用分析 内存优化技巧 过期键回收机制 Redis 性能优化 网络与IO优化 网络配置优化 管道与批量操作 内存优化 内存使用优化 键设计优化 压缩与编码 慢查询与监控 慢查询日志 监控指标 大key与热点key处理 大key问题 热点key问题 Redis 运维与监控 常用运维命令 信息查看命令 数据库管理命令 集群管理命令 监控指标与工具 关键监控指标 监控工具与平台 告警策略 故障排查与恢复 常见故障场景 故障恢复流程 性能调优建议 Redis 典型面试题与答疑 基础概念面试题 1. Redis是什么？有什么特点？ 2. Redis为什么这么快？ 3. Redis单线程为什么能支持高并发？ 4. Redis有哪些数据类型？分别适用于什么场景？ 架构设计面试题 5. Redis的持久化机制有哪些？如何选择？ 6. Redis的主从复制原理是什么？ 7. Redis集群的数据分片原理？ 性能优化面试题 8. 如何解决Redis缓存穿透、缓存击穿、缓存雪崩？ 9. Redis如何实现分布式锁？有什么问题？ 10. Redis内存优化有哪些方法？ 运维监控面试题 11. Redis的监控指标有哪些？如何监控？ 12. Redis出现OOM如何排查和解决？ 实际应用面试题 13. 设计一个分布式计数器，要求高并发、高可靠？ 14. 如何设计一个基于Redis的延迟队列？ 15. 在电商秒杀场景中，如何使用Redis？ Redis 基础概念 Redis 简介 Redis (Remote Dictionary Server) 是一个开源的、基于内存的高性能键值对（Key-Value）数据库，由Salvatore Sanfilippo开发，现在由Redis Labs维护。 ...

23. MySQL 目录 点击展开目录 23. MySQL 目录 MySQL 基础概念 MySQL 简介 MySQL 特点与优势 1. 性能优势 2. 可靠性保障 3. 易用性特点 4. 扩展性设计 MySQL 版本演进 重要版本里程碑 MySQL 8.0 重大改进 MySQL 应用场景 1. Web应用开发 2. 企业级应用 3. 大数据分析 4. 移动应用后端 5. 物联网(IoT)应用 6. 游戏行业应用 7. 金融科技领域 8. 教育行业应用 MySQL 架构与存储引擎 MySQL 整体架构 连接层 服务层 存储引擎层 文件系统层 存储引擎对比 InnoDB 存储引擎 MyISAM 存储引擎 Memory 存储引擎 其他存储引擎 InnoDB 内部结构 缓冲池 (Buffer Pool) 重做日志 (Redo Log) 撤销日志 (Undo Log) 二进制日志 (Binary Log) 数据类型与表设计 MySQL 数据类型 数值类型 字符串类型 日期时间类型 JSON 数据类型 表设计最佳实践 表结构设计原则 字段类型选择 主键设计策略 外键约束使用 字符集与排序规则 字符集选择 排序规则配置 字符集转换 索引原理与优化 索引基础概念 索引定义与作用 索引分类 索引数据结构 B+树索引原理 B+树结构特点 索引查找过程 聚簇索引与非聚簇索引 索引使用策略 单列索引 复合索引 覆盖索引 前缀索引 索引优化技巧 索引失效场景 索引选择性分析 索引维护策略 SQL语句优化 查询优化基础 执行计划分析 查询成本分析 SELECT 查询优化 WHERE 条件优化 JOIN 连接优化 LIMIT 分页优化 DML 语句优化 INSERT 插入优化 UPDATE 更新优化 子查询与表连接 子查询优化 EXISTS vs IN 事务与锁机制 事务基础概念 ACID 特性 事务隔离级别 事务控制语句 并发控制问题 脏读 (Dirty Read) 不可重复读 (Non-Repeatable Read) 幻读 (Phantom Read) 丢失更新 (Lost Update) InnoDB 锁机制 锁的分类 行级锁详解 表级锁与意向锁 死锁检测与处理 MVCC多版本并发控制 性能监控与调优 性能监控指标 系统级监控 数据库级监控 SQL级监控 慢查询分析 慢查询日志配置 慢查询分析工具 慢查询优化策略 性能调优实践 配置参数优化 硬件资源优化 系统级优化 备份与恢复 备份策略设计 备份类型选择 备份方案设计 RTO与RPO指标 备份频率规划 逻辑备份 mysqldump详解 物理备份 MySQL Enterprise Backup Percona XtraBackup 快照备份 恢复操作 完全恢复 时间点恢复 灾难恢复 主从复制与高可用 主从复制原理 复制机制详解 复制格式对比 GTID复制 复制架构设计 一主多从架构 主主复制架构 级联复制架构 高可用解决方案 MHA高可用架构 MySQL Group Replication ProxySQL负载均衡 分区表设计 分区类型详解 RANGE分区 LIST分区 HASH分区 KEY分区 分库分表实践 垂直拆分 水平拆分 实际应用与最佳实践 电商系统数据库设计 核心表结构设计 用户模块 商品模块 订单模块 支付模块 金融系统数据库设计 账户与交易系统 业务逻辑实现 库存管理 订单状态流转 金融系统数据库设计 账户表设计 交易记录表设计 转账事务处理 MySQL 高频面试题 基础概念题 1. MySQL存储引擎对比 2. MySQL索引类型和原理 3. 事务隔离级别详解 性能优化题 4. 慢查询优化实战 5. 大表分页优化 架构设计题 6. 主从复制延迟问题 7. 数据库连接池设计 实战应用题 8. 秒杀系统数据库设计 9. 数据库选型决策 MySQL 基础概念 MySQL 简介 MySQL 是世界上最流行的开源关系型数据库管理系统之一，由瑞典MySQL AB公司开发，现在由Oracle公司维护。MySQL以其高性能、可靠性和易用性而著称，广泛应用于Web应用程序、企业级应用和大型网站。 ...

59. pgvector 技术指南 目录 点击展开目录 59. pgvector 技术指南 目录 pgvector 基础概念 什么是 pgvector 核心数据类型：vector 向量相似度度量标准 进阶：向量压缩技术 (Quantization) 底层原理：pgvector 与 PostgreSQL 的结合机制 1. 动态扩展机制 (Extension System) 2. 自定义数据类型 (User-Defined Types) 3. 运算符重载 (Operator Overloading) 4. 索引访问方法接口 (Index Access Method API) 安装与快速配置 1. 安装 pgvector 2. 启用扩展 pgvector 索引原理深度解析 IVFFlat 索引原理 1. 倒排索引的思想 2. 算法核心步骤 3. 形象比喻 4. 优缺点分析 HNSW 索引原理 1. 分层导航小世界 (Hierarchical Navigable Small World) 2. 算法核心步骤 3. HNSW 工作原理流程图 4. 形象比喻 4. 形象比喻 5. HNSW 核心优势总结 6. 性能优势对比 业务实战与性能优化 索引选择策略 关键参数调优 HNSW 调优参数 IVFFlat 调优参数 混合查询优化：向量搜索 + 业务过滤 pgvector 0.8.0 核心更新：迭代扫描 (Iterative Scan) 1. 什么是过度过滤？ 2. 迭代扫描的工作机制 3. 关键配置参数 索引构建提速技巧 运维监控与故障排查 1. 监控索引构建进度 2. 检查索引健康状况 3. 常见报错及对策 实战案例：Binary Quantization (BQ) 的应用 计算加速：SIMD 与硬件优化 1. 为什么需要 SIMD？ 2. 核心指令集支持 3. L2 距离计算的底层实现 4. 性能提升 HNSW 索引的底层维护与成本 1. 内存占用 (Graph Pointers) 2. WAL 压力 3. 更新与删除 (Vacuum) pgvector 0.8.0+ 高级特性深度解析 1. 稀疏向量 (sparsevec) 2. 半精度浮点数 (halfvec) 3. 多向量搜索与 Rerank 实战 实战：远程数据库迁移与优化指南 1. 内存瘦身：从 vector 迁移到 halfvec 2. 索引重构：HNSW 参数调优 3. 开启混合检索：集成全文搜索 大模型长期记忆 (LTM) 架构实战 1. 为什么 HNSW 是长期记忆的首选？ 2. 工业界三层存储架构 (Memory Hierarchy) 3. 记忆管理策略：从“存”到“用” A. 记忆的“遗忘机制” (Recency Weighting) B. 记忆的“压缩与归纳” (Summarization) C. 混合检索 (Hybrid Search) 文本预处理与切分策略 (RAG 核心) 1. 为什么不能直接存整篇文章？ 2. 切分粒度：词、短语还是段落？ 3. 实战切分策略 4. 重叠度 (Overlap) 的妙用 5. 实战案例：一句话的向量化之路 6. 多语言处理：中文 vs 英文 pgvector 在大模型应用中的实战 1. 向量嵌入模型选择 2. AI Agent 长期记忆系统架构 3. RAG 应用最佳实践 4. 性能优化实战 5. 生产环境配置建议 6. 监控与维护 高频面试题精选 解决过程记录 pgvector 基础概念 什么是 pgvector pgvector 是 PostgreSQL 的一个开源扩展，它允许在数据库中直接存储、索引和查询向量数据。它使 PostgreSQL 具备了“向量数据库”的能力，非常适合处理大语言模型（LLM）生成的 Embedding。 ...

目录 点击展开目录 PostgreSQL 简介 pgvector 向量数据库实战 环境准备与扩展启用 向量表结构设计 索引类型与选择 自动更新时间戳机制 Python 交互实战 (DeepSeek + OpenAI) 完整流程架构 关键代码实现 生产环境最佳实践 索引构建策略 故障排查与解决 PostgreSQL 简介 PostgreSQL 是一个强大的开源对象关系数据库系统，以其可靠性、功能稳健性和性能著称。在 AI 时代，通过 pgvector 扩展，PostgreSQL 能够原生支持向量存储和检索，成为构建 AI 应用（如 RAG、Agent Memory）的理想选择。 pgvector 向量数据库实战 基于 pgvector 插件，我们可以将 PostgreSQL 转变为高性能的向量数据库。 环境准备与扩展启用 首先需要创建一个数据库，并启用 vector 扩展。 -- 创建数据库 CREATE DATABASE clawdbot; -- 切换到该数据库后执行： -- 启用 pgvector 扩展 CREATE EXTENSION IF NOT EXISTS vector; 向量表结构设计 设计一个用于存储 AI 记忆（Memories）的表，包含内容、向量嵌入（Embedding）、元数据等字段。 关键点： embedding vector(1536)：根据使用的 Embedding 模型确定维度。例如 OpenAI text-embedding-3-small 为 1536 维。 metadata JSONB：使用 JSONB 存储灵活的元数据，支持高效查询。 CREATE TABLE IF NOT EXISTS memories ( id BIGSERIAL PRIMARY KEY, content TEXT NOT NULL, -- 原始文本内容 embedding vector(1536), -- 向量数据，1536维 metadata JSONB DEFAULT '{}'::jsonb, -- 元数据 source TEXT, -- 数据来源 created_at TIMESTAMPTZ DEFAULT now(), updated_at TIMESTAMPTZ DEFAULT now() ); 索引类型与选择 pgvector 支持多种索引类型，主要包括 ivfflat 和 hnsw。 ...