linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux基础建设 >

OpenCV实现人脸检测及旋转处理

时间:2019-05-13  来源:未知  作者:admin666

年会签到,拍自己的大头照,有的人可能会拍成横向的,需要旋转,用人脸检测并修正它(图片)。

1. 无脑检测步骤为:

1. opencv 读取图片,灰度转换
2. 使用CascadeClassifier()通过训练数据训练分类器
3. detectMultiScale()检测人脸

训练数据集下最基本的人脸haarcascade_frontalface_default.xml

2. 开始检测

1) 斜脸检测失败
用了一张逃避可耻但有用剧照,不知是gakki脸斜还是不清晰的缘故,face_cascade.detectMultiScale无结果。

网上找了一张人脸图发现可以有结果[[436 142 604 604]]

2) 旋转图片,被裁剪
测试图片旋转90°,180°,270°时,发现有个问题。下面为旋转180°,90°的效果:90°(以及270°)的图片大小没变,导致横向过长,纵向太窄,图片被裁减。


粗暴的尝试,直接用:

if angle in (90,270):
 w,h = h,w

转换宽高后,输出90°为:

出现了奇怪的边框。

再来看一个45°的输出,也同样被裁剪

直到我找到了 Rotate images (correctly) with OpenCV and Python 这篇文章,写的太好了,用的动图也恰到好处。

rotating oblong pills using the OpenCV’s standard cv2.getRotationMatrix2D and cv2.warpAffine functions caused me some problems that weren’t immediately obvious.

作者检测原型药片旋转没关系,用椭圆的药片就有被裁剪的问题,我上面的那些就是被裁剪了。

使用作者给的函数实验:

def rotate_bound(image, angle):
    # grab the dimensions of the image and then determine the
    # center
    (h, w) = image.shape[:2]
    (cX, cY) = (w // 2, h // 2)
 
    # grab the rotation matrix (applying the negative of the
    # angle to rotate clockwise), then grab the sine and cosine
    # (i.e., the rotation components of the matrix)
    M = cv2.getRotationMatrix2D((cX, cY), -angle, 1.0)
    cos = np.abs(M[0, 0])
    sin = np.abs(M[0, 1])
 
    # compute the new bounding dimensions of the image
    nW = int((h * sin) + (w * cos))
    nH = int((h * cos) + (w * sin))
 
    # adjust the rotation matrix to take into account translation
    M[0, 2] += (nW / 2) - cX
    M[1, 2] += (nH / 2) - cY
 
    # perform the actual rotation and return the image
    return cv2.warpAffine(image, M, (nW, nH))

-45°旋转

-90°旋转

完成。

4) 自动旋转图片

作者旋转的很好看,所以也模仿了一把,将自己展示图片的函数改为:「 获取图片宽高,然后动态改变宽高显示图片,ms参数为停留的毫秒数(宽高除以3是因为图片太大了,展示不好看)」

def show(img, ms=0):
 """ 显示 """
 cv2.imshow('show', img)
 h, w = img.shape[:2]
 cv2.resizeWindow("show", w//3, h//3)
 cv2.waitKey(ms)

用自己之前不正确的旋转函数rotate_img_old测试,有裁剪

for angle in range(0,360,10):
 show(rotate_img_bad(img_bgr, angle), 200)

用正确的测试:裴斐科特

for angle in range(0,360,10):
 show(rotate_img(img_bgr, angle), 200)

3) 再试gakki图

range(0,360,45)以45°为步长检测,发现-315°(即45°)有结果:

检测到两处人脸:修改配置 每次缩减比例:scaleFactor=1.2,检测多次: minNeighbors=10

# 探测图片中的人脸
faces = face_cascade.detectMultiScale(
 img_gray,
 scaleFactor=1.2,  # 每次缩减比例
 minNeighbors=10,  # 检测多次
 flags=cv2.CASCADE_SCALE_IMAGE,
 minSize=(50,50)
)

之后检测,只有一处。

4. 生成头像

最后,想截取有效的最大头像,

90°旋转裁剪

在这次真实的年会场合实际使用的时候,不能转45°去裁剪显示,斜着头拍照的可不想转成正经的证件照,

所以只用转90°然后裁剪其中最大正方形,取高和宽中小的一个。较简单,蓝色为实际裁剪区域。

斜的图则不可这样,会裁剪黑色的区域,(避免脸在图中过小,取了**检测到的脸宽*2.5长度**)

代码段

if angle%90 == 0:
    # 90° 裁剪图片
    logging.debug("90° 裁剪图片")
    logging.debug(f"{ix}, {iy}, {x}, {y}, {w}, {h}")

    length2 = min(ix, iy)

    # 如果人脸太小,放大区域但又不超过图片长度
    length = int(w*2.5)
    length = min(length2, length)
    logging.debug(f"length: {length2} {length}")

    ow = length-w
    ow1 = ow//2
    oh = length-h
    oh1 = oh//2

    y1, y2 = y-oh1, y+h+oh1
    x1, x2 = x-ow1, x+w+ow1

    # 检测图片溢出
    logging.debug(f"{y1}, {y2}, {x1}, {x2}")
    if y1 < 0:
    logging.debug('裁剪:1 顶部溢出')
    y1 = 0
    y2 = length
    if y2 > iy:
    logging.debug('裁剪:2 底部溢出')
    y2 = iy
    y1 = iy-length
    if x1 < 0:
    logging.debug('裁剪:3 左侧溢出')
    x1 = 0
    x2 = length
    if x2 > ix:
    logging.debug('裁剪:4 右侧溢出')
    x2 = ix
    x1 = ix-length

    # 裁剪标记
    cv2.rectangle(img, (x1, y1), (x2, y2), (255, 0, 0), 2)

斜矩形裁剪探索

那么gakki那张斜的如何裁剪呢,斜矩形之外有黑色背景。举例:应该取到绿色矩形的扩大版,但又没有取到黑色背景。比如这样的蓝色区域

转换为数学方法为:todo, 画在本子上的,最后再补

编写数学函数:

else:
    # 非90°裁剪图片
    logging.debug(f"{angle}°裁剪图片")
    # 1. 求A点坐标
    origin_h, origin_w = self.img_bgr.shape[:2]

    # 旋转角度取的ab ad边不同
    if angle%180<90:
        ab = origin_w
        ad = origin_h
    else:
        ab = origin_h
        ad = origin_w
    op = ix
    ap = math.cos(math.radians(angle)) * ab
    oa = op-ap
    A = Point(oa, 0)
    logging.debug(f"ab={ab}, ad={ad}, op={op}, ap={ap}, oa={oa}, {A}")
    # 2. 人脸中心Z坐标
    face_rect = Rectangle(Point(x, y), w, h)
    z = face_rect.center_p

    logging.debug(f"{face_rect} center point is {z}")
    # 3. Z到AB、AD距离
    k = math.tan(math.radians(angle)) # tan(α)
    k2 = -1/k # 垂直
    logging.info(f"k1 = {k}, k2 = {k2}")
    z_ab_len = abs(k*z.x-z.y-oa*k)/math.sqrt(k**2+1)
    z_ad_len = abs(k2*z.x-z.y-oa*k2)/math.sqrt(k2**2+1)
    logging.debug(f"z-ab len is {z_ab_len}, z-ad len is {z_ad_len}")
    # 4. 距离四边最小距离
    h1 = z_ab_len
    h2 = z_ad_len
    h3 = ad-h1
    h4 = ab-h2
    min_len = min(h1, h2, h3, h4)
    logging.debug(f"face around len is {h1} {h2} {h3} {h4}, min:{int(min_len)}")

    # 5. 圆形标注
    #cv2.line(img, z.r_tuple(), (50, 100), (0,255,0))
    for r in (h1, h2, h3, h4):
        r = int(r)
        if int(min_len) == r:
            cv2.circle(img, z.r_tuple(), r, (255, 0, 0), 3)
        else:
            cv2.circle(img, z.r_tuple(), r, (0, 0, 255), 2)

来测试一波,最后的圆形标注只是为了辅助验证。

其实是有问题的,看效果,最小的蓝色圆形标注位置不对,超出原图片了,而且观察其他三个圆也不在图片边上。

if angle%180<90:
    ab = origin_w
    ad = origin_h
else:
    ab = origin_h
    ad = origin_w

这块处理不同角度下取的矩形ABCD边不同,数学角度看是没有错的,但是Opencv坐标圆心在左上角,所以得将数学图形画为:todo

上面赋值代码只需改为

if angle%180<90:
    ab = origin_h
    ad = origin_w
else:
    ab = origin_w
    ad = origin_h

蓝色圈已经是我们要求的矩形头像外接圆了,其他三个圆输出也是贴紧各自的边框,完美。

在蓝圈中画黑色正方形:

是想要的效果,最后裁剪即可。

多角度修复

测试初始角度为横向或者侧向时,需修复角度:

# 最后取的图片和角度无关,只取锐角
angle=angle%90

测试三张不同角度照片,和一张不需旋转的图:

结果为:

过程:

Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx

友情链接
  • Linux Lite用户第一个尝试Linux Kernel 5.1,以下是如何安装它
  • Ubuntu 18.04 Linux上安装Etherpad,基于Web的实时协作编辑器
  • Kakoune - 受 Vim 启发的代码编辑器
  • Slimbook - Ubuntu的电池优化工具
  • 如何在Linux中创建磁盘分区
  • Oracle 经典面试题分享
  • 如何使用Vi/Vim编辑器删除文件中的所有文本
  • Vis - 类似Vim的文本编辑器
  • MySQL 正则表达式详解
  • 关于 Linux系统用户、组和权限管理
  • Rust更换Crates源为国内中科大镜像源
  • MySQL数据库优化
  • 命令行中的 vi 模式
  • AMP - 受Vi/Vim启发的Linux终端文本编辑器
  • MySQL查询表与表字段的信息
  • Ubuntu 18.04源码安装caffe步骤
  • 一份比较全的 VS Code 快捷键
  • MySQL 中的日期时间类型
  • Ubuntu 18.04源码编译安装OpenCV 4.0步骤
  • VMware虚拟机下Ubuntu Cheese黑屏问题解决方法
  • Oracle 分页查询与数据去重实例
  • Aria2 - 适用于Linux的多协议命令行下载工具
  • Ubuntu 18.04.2下编译安装OpenCV 3.4.0 过程
  • Oracle中order by造成分页错误
  • 如何在Ubuntu 18.04/16.04/Linux中安装FreeCAD 0.18
  • git clone速度太慢的解决办法(亲测还有效)
  • Hive0.13.1介绍及安装部署
  • 从命令行关闭Linux计算机的5种方法
  • 简单测试latch nowilling等待模式案例
  • Python面向对象之私有属性和方法
  • TypeScript 中的方法重载
  • Python面向对象之类属性类方法静态方法
  • TypeScript 中非代码模块的导入
  • Python面向对象之单例模式
  • 理解 KMP 算法
  • Python3使用TCP编写一个简易的文件下载器
  • 一道C语言面试题:大整数乘法
  • Python Numpy 数组的基本操作示例
  • Python中模块互相调用的例子
  • Python多进程编程详解
  • Python实现全排列算法
  • Python函数search()和match()的区别
  • 使用Python的matplotlib绘制广义mandelbrot集
  • 如何使用Python删除一个文件或文件夹
  • 使用Python的matplotlib绘制lozi混沌映射吸引子
  • 双色球走势图500期图
  • 福彩3d预测分析
  • 金沙中文
  • 一肖彩经
  • 赌大小
  • 855a网页游戏