Faiss利用mkl加速,构建索引训练时出错。

SnaiLiu 发布于2019-07-31 10:14 / 2680人阅读

摘要：前言记录一下构建索引训练时碰到的一个坑。问题利用英特尔库加速。时报如下错误解决方案在调用之前导入调用。代码如下为什么这么做，我还不太理解。猜测是安装版本兼容的问题。具体可以看我提的补充如出现导入失败的情况。如解决方式如下执行转自个人博客

前言
记录一下faiss构建索引训练时碰到的一个坑。
Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

问题：

利用英特尔mkl(Math Kernel Library)库加速faiss。 index.train()时报如下错误：

Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

解决方案

在调用faiss之前导入调用mkl。代码如下：

import mkl
mkl.get_max_threads()

为什么这么做，我还不太理解。猜测是conda安装版本兼容的问题。具体可以看我提的issue

补充

如出现mkl导入失败的情况。如

    import mkl
ImportError: No module named mkl

解决方式如下：

### 执行：
$ conda install mkl
$ conda install mkl-service

转自个人博客：https://kirio.vip/2019/03/28/...

服务器托管 GPU服务器构建索引利用腾讯云服务器训练模型与内核通信时出错服务器返回时出错

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/43479.html

Tensorflow代码解析（二）

摘要：为了进一步了解的逻辑，图对和进行了展开分析。另外，在命名空间中还隐式声明了控制依赖操作，这在章节控制流中相关说明。简述是高效易用的开源库，有效支持线性代数，矩阵和矢量运算，数值分析及其相关的算法。返回其中一块给用户，并将该内存块标识为占用。 3. TF 代码分析初步3.1 TF总体概述为了对TF有整体描述，本章节将选取TF白皮书[1]中的示例展开说明，如图 3 1所示是一个简单线性模型的TF...

zhigoo 2019-04-25 18:10 评论0 收藏0
python学习笔记 --- python中的list和numpy中的矩阵分析

摘要：中的和中的矩阵分析由于之前在做的源码学习，并且将其的源码翻译成了的版本。在逛知乎里，我又发现了很多关于为什么这么快的讨论，很有意思。作者链接来源知乎著作权归作者所有。 python中的list和numpy中的矩阵分析 Author : Jasper Yang School : Bupt preface 由于之前在做GIbbsLDA++的源码学习，并且将其c++的源码翻译成了pyth...

DobbyKim 2019-07-30 14:18 评论0 收藏0
Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证

摘要：前言记录一下在项目使用中的一些优化，对环境变量参数的测试验证用于控制线程并发数测试条件单个循环请求，持续时间大于基础数据软件环境检索服务功能汉明距离计算欧式距离计算结论测试总结如下时，分布为，，用户空间占比内核空间占比空闲占比检索耗前言记录一下Faiss在项目使用中的一些优化，对OMP_NUM_THREADS 环境变量参数的测试验证～ OMP_NUM_THREADS 用于控制...

wangtdgoodluck 2019-07-30 18:40 评论0 收藏0