OpenCV C++案例实战五《答题卡识别》

• 前言
• 一、图像矫正
• • 1.源码
• 二、获取选项区域
• • 1.扣出每题选项
  • 2.源码
• 三、获取答案
• • 1.思路
  • 2.辅助函数
  • 3.源码
  • 4.效果
• 总结

本文将使用OpenCV C++ 进行答题卡识别。

原图如图所示。我们拿到图像首先要进行图像预处理。本文目的是进行答题卡选项识别。所以，第一步我们需要将答题卡区域切割出来以进行后续识别工作。在上一篇文章我已经做过图像矫正案例OpenCV C++案例实战四《图像透视矫正》，详细内容大家可以参考，这里就不再赘述。

void Answer::GetWarpImg(Mat src, Mat& WarpImg)
{
	Mat gray;
	cvtColor(src, gray, COLOR_BGR2GRAY);

	Mat blur;
	GaussianBlur(gray, blur, Size(3, 3), 0);

	Mat canny;
	Canny(blur, canny, 100, 200);

	vector>contours;
	findContours(canny, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);

	//找到最大矩形轮廓
	int index = 0;
	double maxArea = 0;
	for (int i = 0; i < contours.size(); i++)
	{
		double area = contourArea(contours[i]);

		if (maxArea < area)
		{
			maxArea = area;
			index = i;
		}

	}

	//多边形近似
	vector>conPloy(contours.size());

	double peri = arcLength(contours[index], true);

	approxPolyDP(contours[index], conPloy[index], 0.02*peri, true);

	//找到矩形四个顶点
	vectorsrcPts;
	for (int i = 0; i < conPloy[index].size(); i++)
	{
		srcPts.push_back(Point(conPloy[index][i].x, conPloy[index][i].y));
	}

	int width = src.cols / 2;
	int height = src.rows / 2;

	//将矩形四个顶点按T_L, B_L, B_R, T_R区分
	int T_L, B_L, B_R, T_R;
	for (int i = 0; i < srcPts.size(); i++)
	{
		if (srcPts[i].x < width && srcPts[i].y < height)
		{
			T_L = i;
		}
		if (srcPts[i].x < width && srcPts[i].y > height)
		{
			B_L = i;
		}
		if (srcPts[i].x > width && srcPts[i].y > height)
		{
			B_R = i;
		}
		if (srcPts[i].x > width && srcPts[i].y < height)
		{
			T_R = i;
		}
	}


	
	double upWidth = EuDis(srcPts[T_R], srcPts[T_L]);
	double downWidth = EuDis(srcPts[B_R], srcPts[B_L]);
	double maxWidth = max(upWidth, downWidth);

	double leftHeight = EuDis(srcPts[B_L], srcPts[T_L]);
	double rightHeight = EuDis(srcPts[B_R], srcPts[T_R]);
	double maxHeight = max(leftHeight, rightHeight);

	Point2f AffineSrcPts[4] = { Point2f(srcPts[T_L]) ,Point2f(srcPts[T_R]) ,Point2f(srcPts[B_L]) ,Point2f(srcPts[B_R]) };

	Point2f AffineDstPts[4] = { Point2f(0, 0),Point2f(maxWidth , 0),Point2f(0, maxHeight),Point2f(maxWidth , maxHeight) };

	Mat M;
	//计算仿射变换矩阵
	M = getPerspectiveTransform(AffineSrcPts, AffineDstPts);

	//对加载图形进行仿射变换操作
	warpPerspective(src, WarpImg, M, Point(maxWidth, maxHeight));
}

如图就是经图像透视矫正切割出来的答题卡区域。接下来，我们就需要对该图进行后续识别处理。

我对于该案例的处理思路是：先对原图进行透视矫正；然后将每一题号选项都切割出来；最后对这些切割出来的选项一一识别。

	Mat gray;
	cvtColor(WarpImg, gray, COLOR_BGR2GRAY);

	Mat bin;
	threshold(gray, bin, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);

	//使用 Size(15, 5)闭操作目的是为了将每一题选项连接起来。
	Mat close;
	Mat kernel = getStructuringElement(MORPH_RECT, Size(15, 5));
	morphologyEx(bin, close, MORPH_CLOSE, kernel);

如图所示，经过上述图像预处理，我们就可以利用轮廓筛选出每一题号选项。

	vector>contours;
	findContours(close, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);

	RotatedRect rect;
	Rect box;
	for (int i = 0; i < contours.size(); i++)
	{
		Mat mask = Mat::zeros(WarpImg.size(), WarpImg.type());
		mask = Scalar::all(255);

		double area = contourArea(contours[i]);

		if (area > 1000)
		{
			rect = minAreaRect(contours[i]);

			box = rect.boundingRect();

			double ratio = rect.size.height / rect.size.width;

			//将每一选项都单独抠出来放进AnswerROI容器，以便后续识别。
			if (ratio > 0.1)
			{
				//rectangle(WarpImg, Rect(box.tl(), box.br()), Scalar(0, 255, 0), 2);

				Mat ROI = WarpImg(Rect(box.tl(), box.br()));

				ROI.copyTo(mask(box));

				AnswerROI.push_back(mask);

			}

		}

	}

如图为扣出的题号选项，这里只展示其中之一。接下来我们对每一题的选项进行识别就可以了。

void  Answer::GetAnswerArea(Mat&WarpImg, vector&AnswerROI)
{
	
	Mat gray;
	cvtColor(WarpImg, gray, COLOR_BGR2GRAY);

	Mat bin;
	threshold(gray, bin, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);

	//使用 Size(15, 5)闭操作目的是为了将每一题选项连接起来。
	Mat close;
	Mat kernel = getStructuringElement(MORPH_RECT, Size(15, 5));
	morphologyEx(bin, close, MORPH_CLOSE, kernel);

	vector>contours;
	findContours(close, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);

	RotatedRect rect;
	Rect box;
	for (int i = 0; i < contours.size(); i++)
	{
		Mat mask = Mat::zeros(WarpImg.size(), WarpImg.type());
		mask = Scalar::all(255);

		double area = contourArea(contours[i]);

		if (area > 1000)
		{
			rect = minAreaRect(contours[i]);

			box = rect.boundingRect();

			double ratio = rect.size.height / rect.size.width;

			//将每一选项都单独抠出来放进AnswerROI容器，以便后续识别。
			if (ratio > 0.1)
			{
				//rectangle(WarpImg, Rect(box.tl(), box.br()), Scalar(0, 255, 0), 2);

				Mat ROI = WarpImg(Rect(box.tl(), box.br()));

				ROI.copyTo(mask(box));

				AnswerROI.push_back(mask);

			}

		}

	}

	reverse(AnswerROI.begin(), AnswerROI.end());

}

由于之前我们已经将图像透视矫正，并且将每一题号选项都一一抠出来作为一张新图像存储。所以，这里我们可以将每个选项按A,B,C,D,E划分区域，然后计算每个选项区域像素点个数，选项涂抹区域必定是像素点最多的，由此我们可以判定出每一题号的选项。

//计算ABCDE区域所有像素点个数
int get_pixsum(Mat image, int pixstart, int pixend)
{
	int sum = 0;
	for (int i = pixstart; i < pixend; i++)
	{
		for (int j = 0; j < image.rows; j++)
		{
			if (image.at(j, i) != 0)
			{
				sum++;
			}
		}
	}
	return sum;
}


//找到像素点最多区域的索引
int getMaxIndex(vectorAnswer)
{
	int max = 0;
	int index = -1;

	for (int i = 0; i < Answer.size(); i++)
	{

		if (Answer[i] > max)
		{
			max = Answer[i];
			index = i;
		}

	}
	return index;
}

void Answer::GetAnswer(cv::Mat&WarpImg, vector&AnswerROI, vectorAnswers, int &Score)
{
	const double Total = 5;  //题目数量
	double Count = 0;       //答对数量
	vectorResults;

	for (int i = 0; i < AnswerROI.size(); i++)
	{
		Mat gray;
		cvtColor(AnswerROI[i], gray, COLOR_BGR2GRAY);

		Mat bin;
		threshold(gray, bin, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);

		vectorAnswer;

		//计算ABCDE区域所有像素点个数
		int A = get_pixsum(bin,  60,  110);
		int B = get_pixsum(bin, 110, 160);
		int C = get_pixsum(bin,  160,  210);
		int D = get_pixsum(bin,  210, 260);
		int E = get_pixsum(bin,  260, 310);

		Answer = { A,B,C,D,E };

		//找到像素点最多区域的索引
		int Index = getMaxIndex(Answer);
		
		Results.push_back(Index);

		//将选项在原图圈出来
		vector>contours;
		findContours(bin, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);

		reverse(contours.begin(), contours.end());

		for (int j = 0; j < contours.size(); j++)
		{
			double area = contourArea(contours[j]);

			if (area > 200)
			{

				if (Answers[i] == Index)
				{
					drawContours(WarpImg, contours, Index, Scalar(0, 255, 0), 2);
				}
				else
				{
					drawContours(WarpImg, contours, Answers[i], Scalar(0, 0, 255), 2);
				}

			}

		}

	}

	//统计得分
	for (int i = 0; i < Total; i++)
	{
		if (Results[i] == Answers[i])
		{
			Count++;
		}
	}

	Score = (Count / Total) * 100;

}

这里我设置的正确答案为：B,E,A,C,D。故只答对4题，得80分。

本文使用OpenCV C++ 进行答题卡识别，关键步骤有以下几点。
1、图像透视矫正，将答题卡区域正确切割出来。
2、将每一题号分别抠出来存为新图像，待后续识别。
3、对每一题号确定其A,B,C,D,E选项区域，统计其像素点个数，故而匹配选项。

以上就是我对整个案例是思路以及处理手法，如果大家有更好地想法欢迎讨论。最后附上源码与素材图像。

百度网盘下载
链接：https://pan.baidu.com/s/1kt6IR3op1x90LMrLjWGpQA
提取码：reug