文件 io.h

namespace faiss

实现了具有多种变体的 k-means 聚类。

此源代码根据本源代码树根目录中的 LICENSE 文件中找到的 MIT 许可证获得许可。

IDSelector 旨在定义要处理的向量子集（用于删除或作为搜索的子集）

PQ4 SIMD 打包和累积函数

基本内核使用 bbs = nb * 2 * 16 个向量累积 nq 个查询向量，并生成该向量的输出矩阵。它对于 nq * nb <= 4 很有趣，否则寄存器溢出变得太大。

这些函数的实现分布在 3 个 cpp 文件中，以减少并行编译时间。模板是显式实例化的。

此文件包含用于计算距离的内核的回调。

在整个库中，向量以 float * 指针的形式提供。当批量处理（添加/搜索）多个向量时，大多数算法都可以得到优化。在这种情况下，它们作为矩阵传入。当大小为 d 的 n 个向量作为 float * x 提供时，向量 i 的分量 j 为

x[ i * d + j ]

其中 0 <= i < n 且 0 <= j < d。换句话说，矩阵始终是紧凑的。指定矩阵大小时，我们称其为 n*d 矩阵，这意味着行优先存储。

I/O 函数可以读/写到文件名、文件句柄或抽象介质的对象。

读取函数返回应该使用 delete 取消分配的对象。这些对象中的所有引用都归该对象所有。

反向列表的定义 + 一些实现该接口的常用类。

由于 IVF（倒排文件）索引对于大规模用例非常有用，因此我们将与它们相关的一些函数分组到这个小型库中。大多数函数同时作用于 IndexIVF 和嵌入在 IndexPreTransform 中的 IndexIVF。

在此文件中，实现了 L2 和内积之外的额外度量标准

实现了一些神经网络层，主要用于支持 QINCo

定义了一些将转换应用于一组向量的对象。通常这些是预处理步骤。

函数

uint32_t fourcc(const char sx[4]): 将 4 个字符的字符串转换为可以轻松写入和读取的 uint32_t

uint32_t fourcc(const std::string &sx)

void fourcc_inv(uint32_t x, char str[5])

std::string fourcc_inv(uint32_t x)

std::string fourcc_inv_printable(uint32_t x)

struct IOReader

被 PyCallbackIOReader, faiss::BufferedIOReader, faiss::FileIOReader, faiss::VectorIOReader 继承

公共函数

virtual size_t operator()(void *ptr, size_t size, size_t nitems) = 0

virtual int filedescriptor()

inline virtual ~IOReader()

公共成员

std::string name

struct IOWriter

被 PyCallbackIOWriter, faiss::BufferedIOWriter, faiss::FileIOWriter, faiss::VectorIOWriter 继承

公共函数

virtual size_t operator()(const void *ptr, size_t size, size_t nitems) = 0

virtual int filedescriptor()

inline virtual ~IOWriter() noexcept(false)

公共成员

std::string name

struct VectorIOReader : public faiss::IOReader 

公共函数

virtual size_t operator()(void *ptr, size_t size, size_t nitems) override

virtual int filedescriptor()

公共成员

std::vector<uint8_t> data

size_t rp = 0

std::string name

结构体 VectorIOWriter : public faiss::IOWriter

公共函数

virtual size_t operator()(const void * ptr, size_t size, size_t nitems) override

virtual int filedescriptor()

公共成员

std::vector<uint8_t> data

std::string name

结构体 FileIOReader : public faiss::IOReader

公共函数

FileIOReader(FILE * rf)

FileIOReader(const char * fname)

~FileIOReader() override

virtual size_t operator()(void * ptr, size_t size, size_t nitems) override

virtual int filedescriptor() override

公共成员

FILE * f = nullptr

bool need_close = false

std::string name

结构体 FileIOWriter : public faiss::IOWriter

公共函数

FileIOWriter(FILE * wf)

FileIOWriter(const char *fname)

析构函数，重写基类析构函数。

重载操作符 ()，用于写入数据。

获取文件描述符，重写基类方法。

公共成员

FILE 指针，初始化为空。

bool need_close = false

std::string name

struct BufferedIOReader : public faiss::IOReader 

#include <io.h>

wraps an ioreader to make buffered reads to avoid too small reads

公共函数

explicit BufferedIOReader(IOReader *reader, size_t bsz = 1024 * 1024)

Parameters:: bsz – buffer size (bytes). Reads will be done by batched of this size

virtual size_t operator()(void *ptr, size_t size, size_t nitems) override

virtual int filedescriptor()

公共成员

IOReader *reader

size_t bsz

size_t ofs: offset in input stream

size_t ofs2: number of bytes returned to caller

size_t b0

size_t b1: range of available bytes in the buffer

std::vector<char> buffer

std::string name

struct BufferedIOWriter : public faiss::IOWriter 

公共函数

explicit BufferedIOWriter(IOWriter *writer, size_t bsz = 1024 * 1024)

virtual size_t operator()(const void *ptr, size_t size, size_t nitems) override

~BufferedIOWriter() override

virtual int filedescriptor()

公共成员

IOWriter *writer

size_t bsz

size_t ofs

size_t ofs2: 从调用者收到的字节数

size_t b0: 缓冲区中的数据量

std::vector<char> buffer

std::string name