向量数据库与相似性搜索技术解析

1. 向量数据库与相似性搜索基础

在信息检索和机器学习领域，向量已经成为表示数据的主流方式。不同于传统的关键词匹配，向量化表示能够捕捉数据的深层次特征和语义信息。Milvus作为一款开源的向量数据库，专门为高效存储和检索向量数据而设计。

1.1 为什么需要向量数据库？

传统数据库在处理非结构化数据（如图片、视频、文本）时面临巨大挑战。向量数据库通过以下方式解决了这些问题：

1. 特征提取：使用深度学习模型将非结构化数据转换为向量表示
2. 相似性计算：通过距离度量（如余弦相似度）比较向量间的相似程度
3. 高效检索：利用专门的索引结构加速大规模向量搜索

提示：向量数据库不是要取代传统数据库，而是专门为向量搜索场景优化的解决方案。

1.2 向量表示的基本概念

所有向量本质上都是高维空间中的点，但根据其特性可以分为两大类：

稠密向量示例（768维BERT嵌入）

python复制[0.12, -0.45, 0.87, ..., -0.23, 0.56]  # 每个维度都有非零值

稀疏向量示例（词频表示）

python复制{15: 2.1, 1024: 0.9, 2048: 1.3}  # 只有少数维度有值，其余默认为0

这两种表示形式各有优劣，适用于不同的场景和应用需求。

2. 稠密向量详解与应用

2.1 稠密向量的特性与生成

稠密向量是通过深度学习模型提取的连续分布式表示，具有以下特点：

• 维度固定：通常为128/256/768/1024维等
• 全维度有效：每个维度都包含语义信息
• 相似性计算：使用余弦相似度或欧氏距离

常见生成方式：

1. 文本嵌入：BERT、RoBERTa等Transformer模型
2. 图像特征：ResNet、CLIP等CNN/ViT模型
3. 多模态表示：CLIP等跨模态模型

python复制# 使用HuggingFace生成文本稠密向量示例
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("bert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

inputs = tokenizer("Hello world", return_tensors="pt")
outputs = model(**inputs)
dense_vector = outputs.last_hidden_state.mean(dim=1).detach().numpy()

2.2 稠密索引技术解析

Milvus支持多种稠密向量索引类型，各有适用场景：

HNSW索引配置示例

python复制index_params = {
    "index_type": "HNSW",
    "params": {
        "M": 16,       # 节点最大连接数
        "efConstruction": 200  # 构建时的搜索范围
    }
}

3. 稀疏向量与文本检索

3.1 稀疏向量的本质与优势

稀疏向量在信息检索领域有着悠久历史，其核心特点是：

• 维度极高：通常1万到100万维
• 非零元素少：通常只有几十到几百个非零值
• 计算高效：只需处理非零元素

常见生成方法：

1. 词频统计：TF-IDF、BM25
2. 学习型表示：SPLADE、ColBERT
3. 哈希技巧：Feature hashing

python复制# BM25稀疏向量生成示例
from rank_bm25 import BM25Okapi

corpus = ["Hello world", "Machine learning", "Vector database"]
tokenized_corpus = [doc.split() for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)

query = "database system"
tokenized_query = query.split()
sparse_vector = bm25.get_scores(tokenized_query)

3.2 稀疏索引优化技术

Milvus为稀疏向量提供了专门的索引结构：

SPARSE_INVERTED_INDEX工作原理

1. 为每个维度建立倒排列表
2. 只存储非零维度的信息
3. 搜索时只计算查询向量非零维度的交集

性能对比

code复制查询延迟测试（100万向量）：
- 线性扫描：1200ms
- 稀疏倒排索引：45ms
- SPARSE_WAND：28ms

4. 混合搜索实战指南

4.1 混合搜索架构设计

混合搜索结合了稠密和稀疏向量的优势：

1. 语义理解：稠密向量捕捉深层语义
2. 精确匹配：稀疏向量保留关键词信息
3. 结果融合：RRF等算法合并结果

典型应用场景

• 电商搜索：商品标题+图片特征
• 内容推荐：用户画像+内容语义
• 问答系统：问题理解+关键词匹配

4.2 Milvus混合搜索实现

集合定义

python复制from pymilvus import CollectionSchema, FieldSchema, DataType

fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=500),
    FieldSchema(name="dense_vector", dtype=DataType.FLOAT_VECTOR, dim=768),
    FieldSchema(name="sparse_vector", dtype=DataType.SPARSE_FLOAT_VECTOR)
]

schema = CollectionSchema(fields, description="Hybrid search demo")
collection = Collection("hybrid_collection", schema)

搜索请求构建

python复制from pymilvus import AnnSearchRequest, RRFRanker

dense_search_params = {"metric_type": "COSINE", "params": {"nprobe": 10}}
sparse_search_params = {"metric_type": "IP"}

search_requests = [
    AnnSearchRequest(dense_vector, "dense_vector", dense_search_params, limit=10),
    AnnSearchRequest(sparse_vector, "sparse_vector", sparse_search_params, limit=10)
]

results = collection.hybrid_search(
    search_requests,
    rerank=RRFRanker(),
    limit=5,
    output_fields=["text"]
)

4.3 混合搜索调优技巧

1. 权重调整：根据业务需求调整稠密/稀疏部分的权重
2. 结果融合策略：尝试RRF、加权求和等不同方法
3. 查询预处理：对稀疏向量进行维度剪枝
4. 性能监控：关注两部分查询的延迟平衡

注意：混合搜索不是简单的1+1=2，需要根据实际效果不断调整参数。

5. 生产环境最佳实践

5.1 向量数据建模建议

1. 维度选择：

   • 稠密向量：768维是较好起点
   • 稀疏向量：保留Top-100非零元素

2. 归一化处理：

   python复制# 稠密向量归一化
   dense_vector /= np.linalg.norm(dense_vector)
   
   # 稀疏向量归一化
   norm = sum(v**2 for v in sparse_vector.values())**0.5
   sparse_vector = {k:v/norm for k,v in sparse_vector.items()}
   

5.2 性能优化方案

集群配置参考

code复制查询节点：16核64GB * 3
索引节点：32核128GB * 2
存储：NVMe SSD RAID

常见问题排查

1. 召回率低：

   • 增加nprobe（IVF系列）
   • 调整efSearch（HNSW）

2. 内存不足：

   • 使用量化索引（SQ8）
   • 启用磁盘索引（DISKANN）

3. 延迟波动：

   • 检查负载均衡
   • 预热查询缓存

5.3 监控与维护

关键监控指标：

• QPS（Queries Per Second）
• 99th百分位延迟
• 召回率@K
• 资源利用率

我在实际项目中发现，定期重建索引（特别是当数据分布发生变化时）能保持搜索质量。对于每天增长超过10%的数据集，建议每周重建索引一次。