Class faiss::gpu::GpuIndexFlatIP

class GpuIndexFlatIP : public faiss::gpu::GpuIndexFlat

GPU 实现的封装,看起来像 faiss::IndexFlatIP;从给定的 faiss::IndexFlat 复制质心数据

公共类型

using component_t = float
using distance_t = float

公共函数

GpuIndexFlatIP(GpuResourcesProvider *provider, faiss::IndexFlatIP *index, GpuIndexFlatConfig config = GpuIndexFlatConfig())

从预先存在的 faiss::IndexFlatIP 实例构造,将数据复制到给定的 GPU

GpuIndexFlatIP(std::shared_ptr<GpuResources> resources, faiss::IndexFlatIP *index, GpuIndexFlatConfig config = GpuIndexFlatConfig())
GpuIndexFlatIP(GpuResourcesProvider *provider, int dims, GpuIndexFlatConfig config = GpuIndexFlatConfig())

构造一个可以添加到其中的空实例。

GpuIndexFlatIP(std::shared_ptr<GpuResources> resources, int dims, GpuIndexFlatConfig config = GpuIndexFlatConfig())
void copyFrom(faiss::IndexFlat *index)

从给定的 CPU 索引初始化自身; 将覆盖自身中的所有数据

void copyTo(faiss::IndexFlat *index)

将自身复制到给定的 CPU 索引;将覆盖索引实例中的所有数据。

void copyFrom(const faiss::IndexFlat *index)

从给定的 CPU 索引初始化自身; 将覆盖自身中的所有数据

void copyTo(faiss::IndexFlat *index) const

将自身复制到给定的 CPU 索引;将覆盖索引实例中的所有数据。

size_t getNumVecs() const

返回我们包含的向量的数量。

virtual void reset() override

从该索引中清除所有向量。

virtual void train(idx_t n, const float *x) override

此索引未经过训练,因此此操作不执行任何操作。

virtual void add(idx_t, const float *x) override

覆盖以避免过多的复制。

virtual void reconstruct(idx_t key, float *out) const override

重建方法;首选批量重建,因为它会更有效率

virtual void reconstruct_n(idx_t i0, idx_t num, float *out) const override

批量重建方法。

virtual void reconstruct_batch(idx_t n, const idx_t *keys, float *out) const override

批量重建方法。

virtual void compute_residual(const float *x, float *residual, idx_t key) const override

计算残差。

virtual void compute_residual_n(idx_t n, const float *xs, float *residuals, const idx_t *keys) const override

计算残差(批处理模式)

inline FlatIndex *getGpuData()

用于内部访问。

int getDevice() const

返回此索引所在的设备。

std::shared_ptr<GpuResources> getResources()

返回对 GpuResources 对象的引用,该对象管理 GPU 上的内存、流和句柄资源。

void setMinPagingSize(size_t size)

设置使用 CPU -> GPU 分页搜索的最小数据大小(以 MiB 为单位)。

size_t getMinPagingSize() const

返回分页搜索的当前最小数据大小。

virtual void add_with_ids(idx_t n, const float *x, const idx_t *ids) override

xids 可以驻留在 CPU 或任何 GPU 上;会根据需要执行复制。如果添加集太大,则处理分页添加;调用 addInternal_

virtual void assign(idx_t n, const float *x, idx_t *labels, idx_t k = 1) const override

xlabels 可以驻留在 CPU 或任何 GPU 上;会根据需要执行复制。

virtual void search(idx_t n, const float *x, idx_t k, float *distances, idx_t *labels, const SearchParameters *params = nullptr) const override

xdistanceslabels 可以驻留在 CPU 或任何 GPU 上;会根据需要执行复制。

virtual void search_and_reconstruct(idx_t n, const float *x, idx_t k, float *distances, idx_t *labels, float *recons, const SearchParameters *params = nullptr) const override

xdistanceslabelsrecons 可以驻留在 CPU 或任何 GPU 上;会根据需要执行复制。

virtual void range_search(idx_t n, const float *x, float radius, RangeSearchResult *result, const SearchParameters *params = nullptr) const

查询索引中维度为 d 的 n 个向量。

返回所有距离小于 radius 的向量。请注意,许多索引不实现 range_search(只有 k-NN 搜索是强制性的)。

参数:
  • n – 向量的数量

  • x – 要搜索的输入向量,大小为 n * d

  • radius – 搜索半径

  • result – 结果表

virtual size_t remove_ids(const IDSelector &sel)

从索引中移除 ID。并非所有索引都支持。返回移除的元素数量。

virtual DistanceComputer *get_distance_computer() const

为此类索引获取一个 DistanceComputer(在 AuxIndexStructures 中定义)对象。

DistanceComputer 为支持随机访问其向量的索引实现。

virtual size_t sa_code_size() const

生成的代码的大小(以字节为单位)

virtual void sa_encode(idx_t n, const float *x, uint8_t *bytes) const

编码一组向量

参数:
  • n – 向量的数量

  • x – 输入向量,大小为 n * d

  • bytes – 输出编码向量,大小为 n * sa_code_size()

virtual void sa_decode(idx_t n, const uint8_t *bytes, float *x) const

解码一组向量

参数:
  • n – 向量的数量

  • bytes – 输入编码向量,大小为 n * sa_code_size()

  • x – 输出向量,大小为 n * d

virtual void merge_from(Index &otherIndex, idx_t add_id = 0)

将条目从另一个数据集移动到自身。在输出时,other 为空。 add_id 添加到所有移动的 id (对于顺序 id,这将是 this->ntotal)

virtual void check_compatible_for_merge(const Index &otherIndex) const

检查两个索引是否兼容(即,它们以相同的方式进行训练并具有相同的参数)。否则抛出异常。

virtual void add_sa_codes(idx_t n, const uint8_t *codes, const idx_t *xids)

添加使用独立编解码器计算的向量

参数:
  • codes – 要添加的代码,大小为 n * sa_code_size()

  • xids – 对应的 id,大小为 n

公共成员

int d

向量维度

idx_t ntotal

已索引向量的总数

bool verbose

详细级别

bool is_trained

如果 Index 不需要训练,或者已经完成训练,则设置此项

MetricType metric_type

此索引用于搜索的度量类型

float metric_arg

度量类型的参数

保护函数

void copyFrom(const faiss::Index *index)

从 CPU 等效项复制我们需要的内容。

void copyTo(faiss::Index *index) const

将我们拥有的内容复制到 CPU 等效项。

void resetIndex_(int dims)
virtual bool addImplRequiresIDs_() const override

Flat 索引不需要 ID,因为没有可用于它们的存储

virtual void addImpl_(idx_t n, const float *x, const idx_t *ids) override

GpuIndex 调用以进行添加。

virtual void searchImpl_(idx_t n, const float *x, int k, float *distances, idx_t *labels, const SearchParameters *params) const override

GpuIndex 调用以进行搜索。

保护属性

const GpuIndexFlatConfig flatConfig_

我们的配置选项。

std::unique_ptr<FlatIndex> data_

保存包含向量列表的 GPU 数据。

std::shared_ptr<GpuResources> resources_

管理设备的流、cuBLAS 句柄和暂存内存。

const GpuIndexConfig config_

我们的配置选项。

size_t minPagedSize_

超过此大小,我们将页面从 CPU 复制到 GPU。