文件 IndexIVFPQFastScan.h
-
namespace faiss
实现 k-means 聚类，具有多种变体。
版权所有 (c) Facebook, Inc. 及其附属公司。
此源代码已获得 MIT 许可，可以在此源树根目录下的 LICENSE 文件中找到。
IDSelector 旨在定义要处理的向量子集（用于删除或作为搜索子集）
PQ4 SIMD 打包和累积函数
基本内核使用 bbs = nb * 2 * 16 个向量累积 nq 查询向量，并生成该向量的输出矩阵。 这对于 nq * nb <= 4 很有趣，否则寄存器溢出将变得太大。
这些函数的实现分布在 3 个 cpp 文件中，以减少并行编译时间。 模板被显式实例化。
此文件包含用于计算距离的内核的回调。
在整个库中，向量以 float * 指针的形式提供。 当批量处理（添加/搜索）多个向量时，大多数算法都可以优化。 在这种情况下，它们作为矩阵传递。 当大小为 d 的 n 个向量以 float * x 的形式提供时，向量 i 的分量 j 为
x[ i * d + j ]
其中 0 <= i < n 且 0 <= j < d。换句话说，矩阵始终是紧凑的。 当指定矩阵的大小时，我们称其为 n*d 矩阵，这意味着行优先存储。
I/O 函数可以读取/写入文件名、文件句柄或抽象介质的对象。
读取函数返回的对象应使用 delete 解分配。 这些对象内的所有引用都归该对象所有。
倒排列表的定义 + 一些实现该接口的常用类。
由于 IVF（倒排文件）索引在大型用例中非常有用，因此我们将一些与之相关的函数组合在这个小库中。 大多数函数都可以在 IndexIVF 和嵌入在 IndexPreTransform 中的 IndexIVF 上工作。
在此文件中，实现了除 L2 和内积之外的额外度量
实现了一些神经网络层，主要为了支持 QINCo
定义了一些将转换应用于一组向量的对象。 通常这些是预处理步骤。
-
struct IndexIVFPQFastScan : public faiss::IndexIVFFastScan
- #include <IndexIVFPQFastScan.h>
IVFPQ 的快速扫描版本。 目前适用于 4 位 PQ。
倒排列表中的代码不是按顺序存储的，而是分组为大小为 bbs 的块。 这使得可以使用 SIMD 指令非常快速地计算距离。
实现 (implem)：0：自动选择实现（默认） 1：orig 的搜索，重新实现 2：orig 的搜索，按 invlist 重新排序 10：优化器 int16 搜索，在堆中收集结果，无 qbs 11：idem，在水库中收集结果 12：优化器 int16 搜索，在堆中收集结果，使用 qbs 13：idem，在水库中收集结果
公共函数
-
IndexIVFPQFastScan(Index *quantizer, size_t d, size_t nlist, size_t M, size_t nbits, MetricType metric = METRIC_L2, int bbs = 32)
-
IndexIVFPQFastScan()
-
explicit IndexIVFPQFastScan(const IndexIVFPQ &orig, int bbs = 32)
-
virtual void train_encoder(idx_t n, const float *x, const idx_t *assign) override
训练向量的编码器。
如果 by_residual 为真，则使用残差和相应的 assign 数组调用它，否则 x 是原始训练向量，assign=nullptr
-
void precompute_table()
构建预计算表，可能会更新 use_precomputed_table
-
virtual void encode_vectors(idx_t n, const float *x, const idx_t *list_nos, uint8_t *codes, bool include_listno = false) const override
与常规 IVFPQ 编码器相同。此时代码不会按块重新组织
-
virtual bool lookup_table_is_3d() const override
-
virtual void compute_LUT(size_t n, const float *x, const CoarseQuantized &cq, AlignedTable<float> &dis_tables, AlignedTable<float> &biases) const override
-
virtual void sa_decode(idx_t n, const uint8_t *bytes, float *x) const override
解码一组向量
- 参数:
n – 向量数
bytes – 输入编码向量，大小为 n * sa_code_size()
x – 输出向量，大小为 n * d
公共成员
-
ProductQuantizer pq
生成代码
-
int use_precomputed_table = 0
预计算表管理
-
AlignedTable<float> precomputed_table
如果 use_precompute_table 大小 (nlist, pq.M, pq.ksub)
-
IndexIVFPQFastScan(Index *quantizer, size_t d, size_t nlist, size_t M, size_t nbits, MetricType metric = METRIC_L2, int bbs = 32)
-
struct IndexIVFPQFastScan : public faiss::IndexIVFFastScan