目标

在本章中，将学习

• 使用模板匹配在图像中查找对象
• 函数：cv2.matchTemplate()，cv2.minMaxLoc()

理论

模板匹配是一种用于在较大图像中搜索和查找模板图像位置的方法。为此，OpenCV实现了一个函数cv2.matchTemplate()。
它只是将模板图​​像滑动到输入图像上（就像在2D卷积中一样），然后在模板图像下比较模板和输入图像的拼图。
OpenCV中实现了几种比较方法。它返回一个灰度图像，其中每个像素表示该像素的邻域与模板匹配的程度。

如果输入图像的大小为(WxH)，而模板图像的大小为(wxh)，则输出图像的大小将为(W-w+1，H-h+1)。得到结果后，可以使用cv2.minMaxLoc()函数查找最大/最小值在哪。将其作为矩形的左上角，并以(w，h)作为矩形的宽度和高度， 该矩形是模板的区域。

注意
如果使用cv2.TM_SQDIFF作为比较方法，则是最小值提供最佳匹配。

OpenCV中的模板匹配

作为示例，将在梅西的照片中搜索他的脸。所以创建了一个模板，如下所示：

将尝试所有比较方法，以便可以看到它们的结果：

import cv2
import numpy as np
from matplotlib import pyplot as pltimg = cv2.imread('messi.png', 0)
img2 = img.copy()template = cv2.imread('template.png', 0)
w, h = template.shape[::-1]# All the 6 methods for comparison in a list
methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED','cv2.TM_CCORR', 'cv2.TM_CCORR_NORMED','cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']for meth in methods:img = img2.copy()method = eval(meth)# apply template matchingres = cv2.matchTemplate(img, template, method)min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)# if the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimumif method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:top_left = min_locelse:top_left = max_locbottom_right = (top_left[0]+w, top_left[1]+h)cv2.rectangle(img, top_left, bottom_right, 255, 2)plt.subplot(121),plt.imshow(res,cmap = 'gray')plt.title('Matching Result'), plt.xticks([]), plt.yticks([])plt.subplot(122),plt.imshow(img,cmap = 'gray')plt.title('Detected Point'), plt.xticks([]), plt.yticks([])plt.suptitle(meth)plt.show()

查看以下结果：

• cv2.TM_CCOEFF
  

• cv2.TM_CCOEFF_NORMED
  

• cv2.TM_CCORR
  

• cv2.TM_CCORR_NORMED

• cv2.TM_SQDIFF
  

• cv2.TM_SQDIFF_NORMED

可以看到，使用cv2.TM_CCORR系列以及cv2.TM_SQDIFF_NORMED的结果并不理想

多对象的模板匹配

在上一节中，在图像中搜索了梅西的脸，该脸在图像中仅出现一次。假设正在搜索具有多次出现的对象，则cv2.minMaxLoc()不会提供所有位置。在这种情况下，将使用阈值化。因此，在此示例中，我们将使用著名游戏Mario的屏幕截图，并在其中找到硬币。

# 匹配多个对象
img_bgr = cv2.imread('mario.png')
img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)  # plt.imshow different from cv2.imshow
img_copy = img_rgb.copy()
img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)template = cv2.imread('mario_coin.png', 0)
w, h = template.shape[::-1]res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
threshold = 0.8
loc = np.where(res >= threshold)
for pt in zip(*loc[::-1]):cv2.rectangle(img_rgb, pt, (pt[0]+w, pt[1]+h), (0,0,255), 2)plt.subplot(121)
plt.imshow(img_copy)
plt.title('origin')
plt.xticks([])
plt.yticks([])plt.subplot(122)
plt.imshow(img_rgb)
plt.title('match res')
plt.xticks([])
plt.yticks([])plt.show()

结果:

附加资源

• https://docs.opencv.org/4.1.2/d4/dc6/tutorial_py_template_matching.html
• cv2.minMaxLoc
• cv2.matchTemplate
  • cv2.TM_CCOEFF
  • cv2.TM_CCOEFF_NORMED
  • cv2.TM_CCORR
  • cv.TM_CCORR_NORMED
  • cv.TM_SQDIFF
  • cv.TM_SQDIFF_NORMED