文件 IVFlib.h
-
namespace faiss
实现具有多种变体的 k-means 聚类。
版权所有 (c) Facebook, Inc. 及其附属公司。
此源代码根据本源代码树根目录中的 LICENSE 文件中找到的 MIT 许可证获得许可。
IDSelector旨在定义要处理的向量子集（用于删除或作为搜索的子集）
PQ4 SIMD 打包和累积函数
基本内核使用 bbs = nb * 2 * 16 个向量累积 nq 查询向量，并为此生成一个输出矩阵。它对于 nq * nb <= 4 很有用，否则寄存器溢出变得太大。
这些函数的实现分布在 3 个 cpp 文件中，以减少并行编译时间。模板被显式实例化。
此文件包含用于计算距离的内核的回调。
在整个库中，向量以 float * 指针形式提供。当一起批量处理（添加/搜索）多个向量时，大多数算法都可以优化。在这种情况下，它们作为矩阵传入。当提供大小为 d 的 n 个向量作为 float * x 时，向量 i 的分量 j 为
x[ i * d + j ]
其中 0 <= i < n 且 0 <= j < d。换句话说，矩阵始终是紧凑的。在指定矩阵大小时，我们称其为 n*d 矩阵，这意味着行优先存储。
I/O 函数可以读取/写入到文件名、文件句柄或抽象介质的对象。
读取函数返回应使用 delete 释放的对象。这些对象中的所有引用都归该对象所有。
倒排列表的定义 + 一些实现该接口的常见类。
由于 IVF（倒排文件）索引对于大规模用例非常有用，因此我们将与它们相关的一些函数分组到这个小库中。大多数函数都适用于 IndexIVF 和嵌入在 IndexPreTransform 中的 IndexIVF。
在此文件中，实现了 L2 和内积之外的额外度量标准
实现了一些神经网络层，主要用于支持 QINCo
定义了一些将转换应用于向量集的对象。通常这些是预处理步骤。
-
namespace ivflib
函数
-
void check_compatible_for_merge(const Index *index1, const Index *index2)
检查两个索引是否具有相同的参数并且以相同的方式进行训练，否则抛出异常。
-
const IndexIVF *extract_index_ivf(const Index *index)
从索引中获取一个 IndexIVF。索引可以是一个 IndexIVF，或者是一些包含 IndexIVF 的包装类。
如果不是这种情况，则抛出异常。
-
void merge_into(Index *index0, Index *index1, bool shift_ids)
将 index1 合并到 index0 中。适用于 IndexIVF 以及嵌入在 IndexPreTransform 中的 IndexIVF。输出时，index1 为空。
- 参数:
shift_ids – 将 id 从 index1 转换为 index0->prev_ntotal
-
void search_and_return_centroids(Index *index, size_t n, const float *xin, long k, float *distances, idx_t *labels, idx_t *query_centroid_ids, idx_t *result_centroid_ids)
-
ArrayInvertedLists *get_invlist_range(const Index *index, long i0, long i1)
获取倒排列表的子集 [i0, i1)
-
void set_invlist_range(Index *index, long i0, long i1, ArrayInvertedLists *src)
设置倒排列表的子集。
-
void search_with_parameters(const Index *index, idx_t n, const float *x, idx_t k, float *distances, idx_t *labels, const IVFSearchParameters *params, size_t *nb_dis = nullptr, double *ms_per_stage = nullptr)
使用给定的参数搜索 IndexIVF，可能嵌入在 IndexPreTransform 中。这是一种以线程安全的方式设置 nprobe 并获取统计信息的方法。
可以选择返回（如果非空）：
nb_dis：计算的距离数
ms_per_stage: [0]: 预处理时间 [1]: 粗量化, [2]: 列表扫描
-
void range_search_with_parameters(const Index *index, idx_t n, const float *x, float radius, RangeSearchResult *result, const IVFSearchParameters *params, size_t *nb_dis = nullptr, double *ms_per_stage = nullptr)
与 search_with_parameters 相同，但用于范围搜索
-
IndexIVFResidualQuantizer *ivf_residual_from_quantizer(const ResidualQuantizer&, int nlevel)
从 ResidualQuantizer 构建 IndexIVFResidualQuantizer，使用前 nlevel 个组件作为粗量化器，其余作为 invlist 中的代码
-
void ivf_residual_add_from_flat_codes(IndexIVFResidualQuantizer *ivfrq, size_t ncode, const uint8_t *codes, int64_t code_size = -1)
从代码添加。注意，未使用范数分量，因此可以提供 code_size。
- 参数:
ivfrq – 要使用代码填充的索引
codes – 要添加的代码，大小 (ncode, code_size)
code_size – 覆盖 ivfrq 的 code_size，如果范数编码不同，则很有用
-
void check_compatible_for_merge(const Index *index1, const Index *index2)
-
namespace ivflib