向量存储架构
目录
简介
本文档详细描述了基于Elasticsearch和向量数据库（ChromaDB/Milvus）的非结构化数据存储与检索架构。系统支持PDF、DOCX等文档的解析、切分、向量化和混合检索，广泛应用于RAG（检索增强生成）系统中。文档涵盖索引配置、分词器设置、文档解析流程、向量生成机制、向量存储结构及混合检索策略。
项目结构
系统采用模块化设计，主要分为配置、核心服务、向量存储、文档解析和检索处理等模块。文档解析与向量处理分离，支持多种文件格式的统一处理流程。
图示来源
本节来源
核心组件
系统核心组件包括Elasticsearch索引配置、文档解析器、向量生成器、向量数据库客户端和混合检索处理器。Elasticsearch用于全文检索，向量数据库用于语义相似度检索，两者结合实现高效的混合检索。
本节来源
架构概述
系统采用分层架构，从文档上传到最终检索结果生成，经过文档解析、文本切分、摘要生成、向量化、索引存储和混合检索等多个阶段。Elasticsearch和向量数据库并行工作，通过RAG处理器协调检索结果。
图示来源
详细组件分析
Elasticsearch索引配置分析
Elasticsearch索引配置定义了字段映射、分词器设置和查询模板。系统使用ik_smart中文分词器，支持全文检索、模糊匹配和最小匹配度控制。
图示来源
本节来源
文档解析流程分析
文档解析流程支持多种文件格式，包括PDF、DOCX、Markdown和纯文本。系统将DOCX文件转换为PDF，再统一转换为Markdown格式进行处理。
图示来源
本节来源
向量生成与存储分析
向量生成使用异步OpenAI客户端，支持批量处理和并发控制。系统为每个文本块生成向量嵌入，并存储到向量数据库中。
图示来源
本节来源
向量数据库结构分析
系统支持ChromaDB和Milvus两种向量数据库。ChromaDB适用于轻量级应用，Milvus适用于大规模向量检索。
图示来源
本节来源
混合检索机制分析
系统采用混合检索策略，结合Elasticsearch的关键词检索和向量数据库的语义检索，通过重排序和结果合并提高检索质量。
图示来源
本节来源
依赖分析
系统各组件之间存在清晰的依赖关系。文档解析模块依赖于文件转换工具，向量生成模块依赖于大模型API，检索模块依赖于存储模块。配置模块为所有组件提供参数支持。
图示来源
本节来源
性能考虑
系统在多个层面进行了性能优化。向量生成采用批量处理和并发控制，文档检索支持混合查询，结果处理包含去重和排序优化。建议根据数据规模选择合适的向量索引类型。
本节来源
故障排除指南
常见问题包括向量数据库连接失败、文档解析错误和检索结果不准确。检查配置文件中的连接参数，确保大模型API可用，验证文件格式兼容性。
本节来源
结论
该向量存储架构结合了Elasticsearch和向量数据库的优势，实现了高效的非结构化数据存储与检索。通过模块化设计和混合检索策略，系统在准确性和性能之间取得了良好平衡，适用于各种RAG应用场景。