结构体 faiss::ProductAdditiveQuantizer

struct ProductAdditiveQuantizer : public faiss::AdditiveQuantizer

乘积加法量化器

乘积加法量化器是 AQ 和 PQ 的变体。 它首先像 PQ 一样将向量空间分成多个正交子空间。 然后，它通过独立的加法量化器量化每个子空间。

被 faiss::ProductLocalSearchQuantizer, faiss::ProductResidualQuantizer 继承

公共类型

enum Search_type_t

编码如何执行搜索以及如何编码向量。

值

enumerator ST_decompress

解压数据库向量

enumerator ST_LUT_nonorm

使用 LUT，不包括范数（适用于 IP 或归一化向量）

enumerator ST_norm_from_LUT

从查找表计算范数（成本为 O(M^2)）

enumerator ST_norm_float

使用 LUT，并将 float32 范数与向量一起存储

enumerator ST_norm_qint8

使用 LUT，并存储 8 位量化范数

enumerator ST_norm_qint4
enumerator ST_norm_cqint8

使用 LUT，并存储非均匀量化范数

enumerator ST_norm_cqint4
enumerator ST_norm_lsq2x4

使用 2x4 位 lsq 作为范数量化器（用于快速扫描）

enumerator ST_norm_rq2x4

使用 2x4 位 rq 作为范数量化器（用于快速扫描）

公共函数

ProductAdditiveQuantizer(size_t d, const std::vector<AdditiveQuantizer*> &aqs, Search_type_t search_type = ST_decompress)

构造一个乘积加法量化器。

传入的加法量化器将被克隆到 ProductAdditiveQuantizer 对象中。

参数:

  • d – 输入向量的维度

  • aqs – 子加法量化器

  • search_type – AQ 搜索类型

ProductAdditiveQuantizer()
virtual ~ProductAdditiveQuantizer()
void init(size_t d, const std::vector<AdditiveQuantizer*> &aqs, Search_type_t search_type)
AdditiveQuantizer *subquantizer(size_t m) const

训练乘积加法量化器。

virtual void train(size_t n, const float *x) override

训练量化器

参数:

x – 训练向量，大小为 n * d

virtual void compute_codes_add_centroids(const float *x, uint8_t *codes, size_t n, const float *centroids = nullptr) const override

编码一组向量

参数:

  • x – 要编码的向量，大小为 n * d

  • codes – 输出码，大小为 n * code_size

  • centroids – 要添加到 x 的质心，大小为 n * d

void compute_unpacked_codes(const float *x, int32_t *codes, size_t n, const float *centroids = nullptr) const
virtual void decode_unpacked(const int32_t *codes, float *x, size_t n, int64_t ld_codes = -1) const override

解码非压缩格式的一组向量

参数:

  • codes – 要解码的代码，大小为 n * ld_codes

  • x – 输出向量，大小为 n * d

virtual void decode(const uint8_t *codes, float *x, size_t n) const override

解码一组向量

参数:

  • codes – 要解码的代码，大小为 n * code_size

  • x – 输出向量，大小为 n * d

virtual void compute_LUT(size_t n, const float *xq, float *LUT, float alpha = 1.0f, long ld_lut = -1) const override

计算内积查找表。 用于搜索功能。

参数:

  • xq – 查询向量，大小 (n, d)

  • LUT – 查找表，大小 (n, total_codebook_size)

  • alpha – 计算 alpha * 内积

  • ld_lut – LUT 的前导维度

void compute_codebook_tables()
uint64_t encode_norm(float norm) const

将范数编码为 norm_bits 位

uint32_t encode_qcint(float x) const

通过非均匀标量量化对范数进行编码

float decode_qcint(uint32_t c) const

通过非均匀标量量化解码范数

void set_derived_values()

训练范数量化器。

void train_norm(size_t n, const float *norms)
inline virtual void compute_codes(const float *x, uint8_t *codes, size_t n) const override

量化一组向量

参数:

  • x – 输入向量，大小为 n * d

  • codes – 输出码，大小为 n * code_size

void pack_codes(size_t n, const int32_t *codes, uint8_t *packed_codes, int64_t ld_codes = -1, const float *norms = nullptr, const float *centroids = nullptr) const

将一系列代码打包为位紧凑格式

参数:

  • codes – 要打包的代码，大小为 n * code_size

  • packed_codes – 输出位紧凑代码

  • ld_codes – 代码的前导维度

  • norms – 向量的范数 (大小为 n)。 如果需要但未提供，将计算这些范数

  • centroids – 要添加到 x 的质心，大小为 n * d

template<bool is_IP, Search_type_t effective_search_type>
float compute_1_distance_LUT(const uint8_t *codes, const float *LUT) const
void decode_64bit(idx_t n, float *x) const

用于在 64 位字中解码代码的函数

void knn_centroids_inner_product(idx_t n, const float *xq, idx_t k, float *distances, idx_t *labels) const

精确 IP 搜索

void compute_centroid_norms(float *norms) const

对于 L2 搜索，我们需要质心的 L2 范数

参数:

norms – 输出范数表，大小为 total_codebook_size

void knn_centroids_L2(idx_t n, const float *xq, idx_t k, float *distances, idx_t *labels, const float *centroid_norms) const

Exact L2 search, with precomputed norms

Public Members

size_t nsplits

number of sub-vectors we split a vector into

std::vector<AdditiveQuantizer*> quantizers
size_t M

number of codebooks

std::vector<size_t> nbits

bits for each step

std::vector<float> codebooks

codebooks

std::vector<uint64_t> codebook_offsets

codebook #1 is stored in rows codebook_offsets[i]:codebook_offsets[i+1] in the codebooks table of size total_codebook_size by d

size_t tot_bits = 0

total number of bits (indexes + norms)

size_t norm_bits = 0

bits allocated for the norms

size_t total_codebook_size = 0

size of the codebook in vectors

bool only_8bit = false

are all nbits = 8 (use faster decoder)

bool verbose = false

verbose during training?

bool is_trained = false

is trained or not

std::vector<float> norm_tabs

用于ST_norm_lsq2x4和ST_norm_rq2x4的辅助数据，存储4位快速扫描的代码本条目的范数。

IndexFlat1D qnorm

存储和搜索范数

std::vector<float> centroid_norms

所有代码本条目的范数 (大小为 total_codebook_size)

std::vector<float> codebook_cross_products

所有代码本条目与先前代码本的点积，大小为 sum(codebook_offsets[m] * 2^nbits[m], m=0..M-1)

size_t max_mem_distances = 5 * (size_t(1) << 30)

带有束搜索的范数和距离矩阵可能会很大，因此使用此选项来控制可以分配的内存量

Search_type_t search_type

还确定代码中的内容。

float norm_min = NAN

范数量化的最小值/最大值

float norm_max = NAN
size_t d

输入向量的大小

size_t code_size

每个索引向量的字节数