文件 sorting.h
-
namespace faiss
实现具有多种变体的 k-means 聚类。
版权所有 (c) Facebook, Inc. 及其附属公司。
此源代码根据 MIT 许可证获得许可，该许可证位于此源树的 LICENSE 文件中。
IDSelector旨在定义要处理的向量子集（用于删除或作为搜索子集）
PQ4 SIMD 压缩和累积函数
基本内核用 bbs = nb * 2 * 16 个向量累积 nq 查询向量，并为此生成一个输出矩阵。对于 nq * nb <= 4 很有用，否则寄存器溢出太大。
这些函数的实现分布在 3 个 cpp 文件中，以减少并行编译时间。模板被显式实例化。
此文件包含计算距离的内核的回调。
在整个库中，向量以 float * 指针的形式提供。当在批处理中一起处理（添加/搜索）多个向量时，大多数算法都可以得到优化。在这种情况下，它们作为矩阵传入。当大小为 d 的 n 个向量作为 float * x 提供时，向量 i 的分量 j 为
x[ i * d + j ]
其中 0 <= i < n 且 0 <= j < d。换句话说，矩阵始终是紧凑的。指定矩阵的大小时，我们称其为 n*d 矩阵，这意味着行优先存储。
I/O 函数可以读取/写入到文件名、文件句柄或抽象介质的对象。
读取函数返回应该使用 delete 释放的对象。这些对象中的所有引用都归该对象所有。
倒排列表的定义 + 一些实现该接口的常见类。
由于 IVF（倒排文件）索引对于大规模用例非常有用，因此我们将与它们相关的一些函数分组到这个小库中。大多数函数都适用于 IndexIVF 和嵌入在 IndexPreTransform 中的 IndexIVF。
此文件中实现了 L2 和内积之外的额外度量
实现了一些神经网络层，主要用于支持 QINCo
定义了一些对一组向量应用转换的对象。通常这些是预处理步骤。
函数
-
void fvec_argsort(size_t n, const float *vals, size_t *perm)
浮点数组的间接排序
- 参数:
n – 数组的大小
vals – 要排序的数组，大小为 n
perm – 输出：[0..n-1] 的排列，使得 vals[perm[i + 1]] >= vals[perm[i]]
-
void fvec_argsort_parallel(size_t n, const float *vals, size_t *perm)
与 fvec_argsort 相同，但并行化处理
-
void bucket_sort(size_t nval, const uint64_t *vals, uint64_t nbucket, int64_t *lims, int64_t *perm, int nt = 0)
对值列表进行桶排序
- 参数:
vals – 要排序的值，大小为 nval，最大值为 nbucket - 1
lims – 桶的输出限制，大小为 nbucket + 1
perm – 输出桶，桶 i 的元素位于 perm[lims[i]:lims[i + 1]] 中
nt – 线程数（0 = 纯顺序代码）
-
void matrix_bucket_sort_inplace(size_t nrow, size_t ncol, int32_t *vals, int32_t nbucket, int64_t *lims, int nt = 0)
原地桶排序（注意内存=>int32），输入值位于 nrow * col 矩阵中，我们想将行号存储在输出中。
- 参数:
vals – 要排序的正值，大小为 nrow * ncol，最大值为 nbucket - 1
lims – 桶的输出限制，大小为 nbucket + 1
nt – 线程数（0 = 纯顺序代码）
-
void matrix_bucket_sort_inplace(size_t nrow, size_t ncol, int64_t *vals, int64_t nbucket, int64_t *lims, int nt = 0)
与 int64 元素相同
-
void hashtable_int64_to_int64_init(int log2_capacity, int64_t *tab)
用于 int64 -> int64 的哈希表实现，带有外部存储，用于快速批量添加和查找。
tab 的大小为 2 * (1 << log2_capacity) n 是要添加或搜索的元素数量
在同一批次中添加多个值：任意一个会被添加到不同的批次中：较新的批次会覆盖。 如果容量耗尽，则引发异常。
-
void hashtable_int64_to_int64_add(int log2_capacity, int64_t *tab, size_t n, const int64_t *keys, const int64_t *vals)
-
void hashtable_int64_to_int64_lookup(int log2_capacity, const int64_t *tab, size_t n, const int64_t *keys, int64_t *vals)
变量
- FAISS_API int bucket_sort_verbose
增加 bucket_sort 函数的详细程度
-
void fvec_argsort(size_t n, const float *vals, size_t *perm)