摘要：双目摄像头检测方案双目摄像头检测流程人脸检测结果信息调整若摄像头和摄像头的成像不一致存在偏移旋转镜像等问题，需要将传递给活体检测的人脸信息人脸框人脸角度进行调整。否则活体检测将无法解析人脸，报错误。
前几天虹软推出了 Android ArcFace 2.2版本的SDK，相比于2.1版本，2.2版本中的变化如下：
• VIDEO模式新增faceId（类似于之前文章中提到的trackId）
• 新增IR活体检测功能
• 新增IR、RGB的活体阈值设置
1. 定义
在连续的视频帧中，当一个人脸进入视频画面直到离开，其faceId不变。
2. 应用场景举例
在门禁应用场景下，若一个人长时间停留在画面中，借助faceId的功能，在此人的人脸特征提取成功后，可不再对此人的后续人脸信息进行处理。
3. 注意事项
faceId在VIDEO模式下有意义；
faceId在IMAGE模式下无效。
1. 接口介绍
支持的颜色格式如下：
Windows: GRAY、DEPTH_U16、NV21、NV12、I420
Android: GRAY、DEPTH_U16、NV21
注：若图像数据的颜色格式不在上述列表中，必须对图像数据进行格式转换。
2. IR活体检测实现方案
• 单目摄像头检测方案（IR）
单目摄像头检测流程
注意：在Windows平台下，若通过OpenCV获取IR摄像头的图像数据，由于其颜色格式为BGR_24，不能用于IR活体检测，需要转成GRAY（或IR活体检测接口支持的其他颜色格式），但BGR_24数据可直接用于人脸检测。
• 双目摄像头检测方案（IR + RGB）
双目摄像头检测流程
人脸检测结果信息调整 ：若RGB摄像头和IR摄像头的成像不一致（存在偏移、旋转、镜像等问题），需要将传递给IR活体检测的人脸信息（人脸框、人脸角度）进行调整。
3. 双目IR活体检测遇到的坑
在双目的画面有明显的不一致的情况时，若我们直接把RGB摄像头的人脸检测结果用于IR活体检测，很有可能会报81925（人脸置信度低）错误。原来，摄像头回传的数据和我们直接看到的画面很可能是不一样的，我们看到的画面可能是经过处理的（缩放、旋转、镜像等）。
• 检测方法
最直观的检查方法就是将摄像头数据显示到屏幕上。只要我们把2个摄像头回传的数据显示到屏幕上，就能了解两个摄像头数据的成像关系。例如Android平台可使用以下方式查看NV21数据：
示例流程
nv21 -> YuvImage -> jpg bytes -> bitmap -> ImageView。
示例代码
@Override
public void onPreview(final byte[] nv21, Camera camera) {
......
//30帧一次，把帧数据显示到界面上（要是每帧都做就太卡了），若还是影响UI请放到子线程处理
if (index++ % 30 == 0) {
YuvImage yuvImage = new YuvImage(nv21, ImageFormat.NV21, previewSize.width, previewSize.height, null);
ByteArrayOutputStream baos = new ByteArrayOutputStream();
yuvImage.compressToJpeg(new Rect(0, 0, previewSize.width, previewSize.height), 100, baos);
byte[] bytes = baos.toByteArray();
ivFrame.setImageBitmap(BitmapFactory.decodeByteArray(bytes, 0, bytes.length));
}
......
}
• 解决方案
1. RGB和IR摄像头图像数据的其中一个被左右镜像
对于这种情况，我们在将RGB数据的人脸检测结果用于IR活体检测时，需要将其人脸框（rect）进行左右镜像调整。（Android demo中已提供左右镜像的代码）：
/**
* 人脸框水平镜像
*
* @param rect 人脸框
* @return 水平镜像后的人脸框
*/
private Rect mirrorRectHorizontal(Rect rect) {
Rect newRect = new Rect(rect);
newRect.right = previewSize.width - rect.left;
newRect.left = previewSize.width - rect.right;
return newRect;
}
2. RGB和IR摄像头图像数据均被镜像或均未被镜像
对于这种情况，RGB数据的人脸检测结果用于IR活体检测时，不需要进行镜像调整。
3. RGB和IR摄像头图像数据有旋转关系
若有旋转关系，我们不仅要旋转人脸信息（FaceInfo）中的人脸框（rect），还需要修改人脸角度（orient）。否则IR活体检测将无法解析人脸，报81925错误。
（Android demo中已提供将orient单次旋转90度的代码）：
/**
* 获取逆时针旋转90度后的人脸角度
*
* @param orient 人脸角度信息，即{@link FaceInfo#orient}属性，由{@link FaceEngine#detectFaces(byte[], int, int, int, List)}接口获取
* @return 旋转后的人脸角度
*/
private int rotateOrient(int orient) {
switch (orient) {
case FaceEngine.ASF_OC_0:
return FaceEngine.ASF_OC_90;
case FaceEngine.ASF_OC_90:
return FaceEngine.ASF_OC_180;
case FaceEngine.ASF_OC_180:
return FaceEngine.ASF_OC_270;
case FaceEngine.ASF_OC_270:
return FaceEngine.ASF_OC_0;
default:
throw new IllegalArgumentException("unsupported orient "" + orient + """);
}
}
以上是个人使用的一点心得，如果需要下载虹软sdk可以到官网：https://ai.arcsoft.com.cn/pro...
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/20072.html
摘要：引擎的多线程使用单个引擎的同一功能模块中的算法功能函数不支持多线程调用，且调用过程中不能进行销毁。若需多线程调用，需要创建多个引擎。 很多朋友在开发人脸识别系统的时候，会遇到各种各样的问题，现在我们以安卓平台使用虹软的免费离线人脸识别SDK开发为例，给大家介绍一下如何开发一个带有图片的人脸检测、视频画面的人脸属性检测、人脸注册识别等功能的人脸识别系统。 一、获取SDK 1.进入ArcF...
摘要：一获取进入的申请地址填写信息申请并提交申请通过后即可下载，查看和二功能介绍虹软包含人脸检测年龄信息检测性别信息检测人脸三维角度检测活体检测人脸特征提取人脸特征比对功能。在线程进行人脸检测时不可以在线程同时进行人脸检测。一、获取SDK 1.进入ArcFace2.0的申请地址 https://ai.arcsoft.com.cn/product/arcface.html 2.填写信息申请并提交 申...
摘要：引言使用了免费的人脸识别算法，感觉还是很不错的，但是初次接触的话会对一些接口的参数有些疑问的。这里分享一下我对一些参数的验证结果这里以版本为例，基本一样，希望能更好的帮助各位接入虹软的人脸识别算法。 引言 使用了免费的人脸识别算法，感觉还是很不错的，但是初次接触的话会对一些接口的参数有些疑问的。这里分享一下我对一些参数的验证结果（这里以windows版本为例，linux、android...
摘要：引言使用了免费的人脸识别算法，感觉还是很不错的，但是初次接触的话会对一些接口的参数有些疑问的。这里分享一下我对一些参数的验证结果这里以版本为例，基本一样，希望能更好的帮助各位接入虹软的人脸识别算法。 引言 使用了免费的人脸识别算法，感觉还是很不错的，但是初次接触的话会对一些接口的参数有些疑问的。这里分享一下我对一些参数的验证结果（这里以windows版本为例，linux、android...
摘要：简介本文主要会对虹软人脸识别在平台下的使用过程做简要介绍，其中包含材料准备环境搭建代码实现三个主要步骤，帮助我们有过程上的参考。 简介 本文主要会对虹软人脸识别SDK在 Qt 平台下的使用过程做简要介绍，其中包含材料准备、环境搭建、代码实现三个主要步骤，帮助我们有过程上的参考。 showImg(https://segmentfault.com/img/bVbj9jQ?w=917&h=3...
阅读 1890·2021-11-24 09:39
阅读 1160·2021-10-11 10:59
阅读 1099·2021-09-27 13:35
阅读 2336·2021-09-24 10:28
阅读 3158·2021-09-08 09:45
阅读 1078·2021-09-07 10:06
阅读 1473·2019-08-30 15:53
阅读 1892·2019-08-30 15:53
