图像处理 on 搁浅St的blog

opencv中LBPH的人脸识别代码分析

Wed, 06 May 2015 22:32:42 +0000

我开始用opencv的时候，用的是opencv最新的3.0版本。不过我死活找不到LBPH的代码，网上的教程也都是opencv 2.4的，so 我也去下一份2.4的源码来读读。

opencv目前支持一下三种方法来实现人脸识别：

Eigenfaces特征脸createEigenFaceRecognizer()
Fisherfaces createFisherFaceRecognizer()
Local Binary Patterns Histograms局部二值直方图 createLBPHFaceRecognizer()

我今天读了一下LBPH的代码。自动人脸识别就是如何从一幅图像中提取有意义的特征，把它们放入一种有用的表示方式，然后对他们进行一些分类。特征脸方法描述了一个全面的方法来识别人脸：面部图像是一个点，这个点是从高维图像空间找到它在低维空间的表示，这样分类变得很简单。低维子空间低维是使用主元分析(Principal Component Analysis,PCA)找到的，它可以找拥有最大方差的那个轴。虽然这样的转换是从最佳重建角度考虑的，但是他没有把标签问题考虑进去。想象一个情况，如果变化是基于外部来源，比如光照。轴的最大方差不一定包含任何有鉴别性的信息，因此此时的分类是不可能的。因此，一个使用线性鉴别(Linear Discriminant Analysis,LDA)的特定类投影方法被提出来解决人脸识别问题。其中一个基本的想法就是，使类内方差最小的同时，使类外方差最大。近年来，各种局部特征提取方法出现。为了避免输入的图像的高维数据，仅仅使用的局部特征描述图像的方法被提出，提取的特征(很有希望的)对于局部遮挡、光照变化、小样本等情况更强健。有关局部特征提取的方法有盖伯小波(Gabor Waelets)，离散傅立叶变换(Discrete Cosinus Transform,DCT)，局部二值模式(Local Binary Patterns,LBP)。使用什么方法来提取时域空间的局部特征依旧是一个开放性的研究问题，因为空间信息是潜在有用的信息。

使用opencv实现人脸检测

Sun, 26 Apr 2015 12:54:24 +0000

这两个星期，都在搞这个，就把代码都分享一下，太烂，就不分享到github了。

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'
import cv2
import Image
import ImageDraw
import sys,os
def detectFaces(image_name):
    img = cv2.imread(image_name)
    face_cascade = cv2.CascadeClassifier('../data2/haarcascades/haarcascade_frontalface_alt.xml')# 加载级联分类器，这里使用的是intel训练出来的人脸识别分类器
    if img.ndim == 3:# 判断图片是否是灰度图像，如果img.ndim==3那就表示不是灰度图像
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 将图片转化为灰度图像
    else:
        gray = img

    faces = face_cascade.detectMultiScale(gray, scaleFactor=1.2, minNeighbors=4, minSize=(30, 30), flags = cv2.CASCADE_SCALE_IMAGE)# 核心操作，返回图片中所有的人脸的坐标和宽高度
    result = []
    for (x, y, width, height) in faces:
        print (x, y, width, height)
        result.append((x, y, x+width, y+height))# 将原始数据，转化为人脸的四个点的坐标
    return result

def drawFaces(image_name):
    faces = detectFaces(image_name)# 此处的返回值是一个元组，(x, y, width, height)，每一个元组都包括人脸的（x,y）坐标，还有人脸的宽度和高度，有这些数据，我们就可以把人脸标记出来，比如画一个矩形框出来
    print faces
    if faces:
        imga = cv2.imread(image_name)# 读取图片
        draw_rects(imga, faces, (0,255,0))# 画矩形标记
        cv2.imshow('img', imga)# 显示修改后的矩形
        cv2.waitKey(0)

def draw_rects(img, rects, color):
    for x1, y1, x2, y2 in rects:
        cv2.rectangle(img, (x1, y1), (x2, y2), color, 2)# 调用cv2的矩形函数，画矩形

def saveFaces(image_name):# 将人脸截取并保存成图片
    faces = detectFaces(image_name)
    if faces:
        save_dir = image_name.split('.')[0] + "_faces_"
        if not os.path.isdir(save_dir):# 检测目录是否存在，如果不存在那就创建目录
            os.mkdir(save_dir)
        count = 0
        for (x1, y1, x2, y2) in faces:
            imga = cv2.imread(image_name)
            file_name = os.path.join(save_dir,str(count)+".jpg")
            roi = imga[y1:y2,x1:x2]# 这一步是重点，他就像取一个数组一样，把人脸的部分保存出来
            cv2.imwrite(file_name,cv2.cvtColor(cv2.resize(roi,(92,112)), cv2.COLOR_BGR2GRAY))# 把图片的size重新设定维（92,112），并将图片转换为灰度图像
            # cv2.imshow('aaa',imga)


drawFaces('../at/chen.jpg')
saveFaces('../at/chen.jpg')

这里面的截取人脸并保存的saveFaces函数，我觉得还不错。网上找到的代码，调用了Image库，我的代码全部都是用cv2搞定的，没有用Image库。画矩形也是，我也都是用cv2自带的东西完成的。我用以上代码生成的数据，去进行人脸识别，惨不忍睹。

参考文献

1 Python-OpenCV人脸检测(代码) 2 python os.path模块常用方法详解

使用opencv实现人脸识别

Sun, 26 Apr 2015 10:50:00 +0000

最近搞了两个星期的opencv，人脸识别方向，感觉没有什么前途，看不到论文在哪里啊。

# !/usr/bin/env python
# -*- coding:utf-8-*-
import os
import sys
import cv2
import numpy as np

z = {} # 存储关于每张图片对应的lable
for_pre = []  # 存储用来进行测试的图片，规则是每个人10张图，5张用来训练，5张用来测试
def normalize(X, low, high, dtype=None):
    """对数据进行正常化处理，让其处于最高和最低值之间."""
    X = np.asarray(X)
    minX, maxX = np.min(X), np.max(X)
    # normalize to [0...1].
    X = X - float(minX)
    X = X / float((maxX - minX))
    # scale to [low...high].
    X = X * (high-low)
    X = X + low
    if dtype is None:
        return np.asarray(X)
    return np.asarray(X, dtype=dtype)


def read_images(path, sz=None):
    """从文件夹中读取图像，并且将其大小限制在一定范围之内

    参数:
        path: 图片的路径
        sz: 设定图像的大小以元组的形式，例如(92,112)

    返回值:
        返回一个list的数据[X,y]

            X: 一个numpy的数组，里面存储的是所有的图片的矩阵.
            y:一个list存储的，都是与X中图片对应的lable
    """
    c = 0
    X,y = [], []
    for dirname, dirnames, filenames in os.walk(path):
        for subdirname in dirnames:
            subject_path = os.path.join(dirname, subdirname)
            for filename in os.listdir(subject_path):
                try:
                    im = cv2.imread(os.path.join(subject_path, filename), cv2.IMREAD_GRAYSCALE)
                    # resize to given size (if given)
                    if (sz is not None):
                        im = cv2.resize(im, sz)
                    if y.count(c) > 4:
                        for_pre.append({'no':c,'src':np.asarray(im, dtype=np.uint8)})
                    else:
                        X.append(np.asarray(im, dtype=np.uint8))
                        y.append(c)
                    global z
                    z[os.path.join(subject_path, filename)] = c
                except IOError, (errno, strerror):
                    print "I/O error({0}): {1}".format(errno, strerror)
                except:
                    print "Unexpected error:", sys.exc_info()[0]
                    raise
            c = c+1
    return [X,y]

def prediction(model):
    """图像预测

    参数:
        model: 就是图片训练的那个model

    数据集中每个人存储了10张图片，我把其中的5张存储到for_pre，作为训练数据。用已知的lable和预测的lable作比较，得出图片识别正确的概率
    """
    tn = 0 # 识别正确的图片数
    for item in for_pre:
        [p_label, p_confidence] = model.predict(cv2.resize(item['src'],(92,112)))
        if p_label == item['no']:
            tn = tn+1
        else:
            print 'the answer is %d,' % item['no'],
            print "Predicted label = %d (confidence=%.2f)" % (p_label, p_confidence)

    print "总共有%d次预测，其中正确次数为%d" %(len(for_pre),tn)

if __name__ == "__main__":
    # This is where we write the images, if an output_dir is given
    # in command line:
    out_dir = None
    # You'll need at least a path to your image data, please see
    # the tutorial coming with this source code on how to prepare
    # your image data:
    if len(sys.argv) < 2:
        print "USAGE: face_rec.py </path/to/images> [</path/to/store/images/at>]"
        sys.exit()
    # Now read in the image data. This must be a valid path!
    [X,y] = read_images(sys.argv[1], (92, 112))
 
    # Convert labels to 32bit integers. This is a workaround for 64bit machines,
    # because the labels will truncated else. This will be fixed in code as
    # soon as possible, so Python users don't need to know about this.
    # Thanks to Leo Dirac for reporting:
    y = np.asarray(y, dtype=np.int32)
    # If a out_dir is given, set it:
    if len(sys.argv) == 3:
        out_dir = sys.argv[2]
    # Create the Eigenfaces model. We are going to use the default
    # parameters for this simple example, please read the documentation
    # for thresholding:
    model = cv2.createEigenFaceRecognizer()
    # Read
    # Learn the model. Remember our function returns Python lists,
    # so we use np.asarray to turn them into NumPy lists to make
    # the OpenCV wrapper happy:
    model.train(np.asarray(X), np.asarray(y))
    prediction(model) # 图片预测
    #
    #
    # You can see the available parameters with getParams():
    print model.getParams()
    # Now let's get some data:
    mean = model.getMat("mean")
    print out_dir + '/out.xml'
    f = open(out_dir + '/out.xml','w')
    model.save(out_dir + '/out.xml')
    eigenvectors = model.getMat("eigenvectors")
    # We'll save the mean, by first normalizing it:
    mean_norm = normalize(mean, 0, 255, dtype=np.uint8)
    mean_resized = mean_norm.reshape(X[0].shape)
    if out_dir is None:
        cv2.imshow("mean", mean_resized)
    else:
        cv2.imwrite("%s/mean.png" % (out_dir), mean_resized)
    # Turn the first (at most) 16 eigenvectors into grayscale
    # images. You could also use cv::normalize here, but sticking
    # to NumPy is much easier for now.
    # Note: eigenvectors are stored by column:
    # for i in xrange(min(len(X), 16)):
    #     eigenvector_i = eigenvectors[:,i].reshape(X[0].shape)
    #     eigenvector_i_norm = normalize(eigenvector_i, 0, 255, dtype=np.uint8)
    #     # Show or save the images:
    #     if out_dir is None:
    #         cv2.imshow("%s/eigenface_%d" % (out_dir,i), eigenvector_i_norm)
    #     else:
    #         cv2.imwrite("%s/eigenface_%d.png" % (out_dir,i), eigenvector_i_norm)
    # Show the images:
    print z
    if out_dir is None:
        cv2.waitKey(0)

代码执行效果如下我在这里输出的是那些预测错误的。总共有200次预测，其中正确次数为186。这预测率有点低啊，我用的数据都是来自于 AT&T Facedatabase。一共40个人，每个人10张图，图片宽高是92*112像素，全部是灰度图像。至于如何提高图片识别的效率，我也不知道。

参考文献

1 http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html 2 python调用opencv实现人脸识别