您好@c121914yu，这几天看了些代码和文档，有几个问题想询问下您：

Oceanbase 1bit量化不支持 inner_product
1bit量化（也就是HNSW_BQ）目前只支持 l2 和 cosine 距离，不支持 inner_product.
HNSW_BQ distance 参数支持 l2 和 cosine。cosine 从 V4.3.5 BP4 版本开始支持。
参见 https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000004920603

但是目前是统一使用 inner_product的：

FastGPT/packages/service/common/vectorDB/oceanbase/index.ts

Line 24 in cebfda4

    
           `CREATE VECTOR INDEX IF NOT EXISTS vector_index ON ${DatasetVectorTableName}(vector) WITH (distance=inner_product, type=hnsw, m=32, ef_construction=128);`

FastGPT/packages/service/common/vectorDB/oceanbase/index.ts

Lines 138 to 144 in cebfda4

    
                     SELECT id, collection_id, inner_product(vector, [${vector}]) AS score 
        
                       FROM ${DatasetVectorTableName} 
        
                       WHERE team_id='${teamId}' 
        
                         AND dataset_id IN (${datasetIds.map((id) => `'${String(id)}'`).join(',')}) 
        
                         ${filterCollectionIdSql} 
        
                         ${forbidCollectionSql} 
        
                       ORDER BY score desc APPROXIMATE LIMIT ${limit};

如果需要支持 HNSW_BQ，需要改用cosine或者l2距离，并且把 ORDER BY 方向改用 ASC，不知道这样是否可行
8bit量化（HNSW_SQ）没有这个问题

环境变量命名
当前 PGVector 使用 VECTOR_VQ_LEVEL = 32或者16决定全精度/半精度，是否直接复用这一变量？
预计对应关系为：

VECTOR_VQ_LEVEL	OceanBase 行为
32	type=hnsw (全精度)
8	type=hnsw_sq (8-bit 量化)
1	type=hnsw_bq (1-bit 量化)

参数选择
OceanBase 官方文档针对不同数据规模给出了推荐参数
（参见 https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000004920602 索引参数建议）

数据规模	推荐参数
百万级	`m=16, ef_construction=200, ef_search=100`
千万级	`m=32, ef_construction=400, ef_search=350`
亿级	使用分区表，`m=32, ef_construction=400, ef_search=1000, refine_k=10`

当前 FastGPT OceanBase 固定使用 m=32, ef_construction=128， ef_search 已经通过 global.systemEnv?.hnswEfSearch 配置，
需要把 m 和 ef_construction也暴露出来吗？

重建索引
同样是一个1bit量化兼容度的问题，参见https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000004920605 手动全表重建，其中有说 重建索引时不支持：hnsw <-> hnsw_bq 的索引重建。
当前的逻辑是 CREATE VECTOR INDEX IF NOT EXISTS，想确认下在现有的数据库重建索引这块有没有影响，谢谢您。

	SELECT id, collection_id, inner_product(vector, [${vector}]) AS score
	FROM ${DatasetVectorTableName}
	WHERE team_id='${teamId}'
	AND dataset_id IN (${datasetIds.map((id) => `'${String(id)}'`).join(',')})
	${filterCollectionIdSql}
	${forbidCollectionSql}
	ORDER BY score desc APPROXIMATE LIMIT ${limit};

Oceanbase 支持不同量化等级 #6202

Description

Metadata

Metadata

Assignees

Labels

Type

Fields

Projects

Milestone

Relationships

Development

Issue actions