目錄1.效果圖2.原理2.1OCR-A字體2.2檢測(cè)過(guò)程步驟2.3優(yōu)化3.源代碼

這篇博客將介紹如何通過(guò)OpenCV和Python使用模板匹配執(zhí)行光學(xué)字符識(shí)別（OCR）。具體來(lái)說(shuō)，將使用Python+OpenCV實(shí)現(xiàn)模板匹配算法，以自動(dòng)識(shí)別卡的類型和以及16位卡號(hào)數(shù)字。

在比較數(shù)字時(shí)，模板匹配是一種非常快速的方法。

為此將圖像處理管道分為4個(gè)步驟：

通過(guò)各種圖像處理技術(shù)檢測(cè)信用卡上四組四個(gè)數(shù)字，包括形態(tài)學(xué)操作、閾值和輪廓提取。 從四個(gè)分組中提取每個(gè)單獨(dú)的數(shù)字，得到16個(gè)需要分類的數(shù)字。 將模板匹配應(yīng)用于每個(gè)數(shù)字，將其與OCR-A字體進(jìn)行比較，以獲得數(shù)字分類。 檢查信用卡號(hào)的第一位數(shù)字以確定發(fā)卡公司。

在對(duì)信用卡OCR系統(tǒng)進(jìn)行評(píng)估后，發(fā)現(xiàn)如果發(fā)卡信用卡公司使用OCR-A字體作為數(shù)字，該系統(tǒng)的準(zhǔn)確率為100%。 優(yōu)化可以考慮在野外采集信用卡的真實(shí)圖像，并訓(xùn)練機(jī)器學(xué)習(xí)模型（通過(guò)標(biāo)準(zhǔn)特征提取或訓(xùn)練或卷積神經(jīng)網(wǎng)絡(luò)），以進(jìn)一步提高此系統(tǒng)的準(zhǔn)確性。

1. 效果圖

首先了解一下卡的組成：

OCR-A 參考字體識(shí)別如下：原始圖 VS 灰度圖 VS 閾值化圖 VS 輪廓每個(gè)數(shù)字提取圖：灰度圖：忽略顏色對(duì)輪廓提取的影響閾值化圖：使得輪廓在前景白色，背景黑色便于輪廓提取。輪廓提取圖：提取每個(gè)數(shù)字ROI并記錄，方便后續(xù)對(duì)比卡片中的區(qū)域以識(shí)別出對(duì)應(yīng)的數(shù)字。

以下卡號(hào)均是演示卡，正確的識(shí)別卡的類型和卡號(hào)，效果圖1：

識(shí)別過(guò)程1——原圖 VS 灰度圖 VS 白帽圖 VS 梯度圖如下：灰度圖：忽略色彩影響白帽圖：從較暗的背景中提取較亮的區(qū)域梯度圖：計(jì)算Schaar梯度圖，便于了解圖像的色彩分配及提取；

識(shí)別過(guò)程2——形態(tài)學(xué)閉合圖 VS 二值化圖1 VS 閾值化圖2 如下：形態(tài)學(xué)閉合圖：矩形框形態(tài)學(xué)閉合操作，以幫助閉合信用卡數(shù)字之間的小的縫隙二值化圖：以便于提取閾值化圖：方形框形態(tài)學(xué)閉合操作，以二次幫助閉合信用卡數(shù)字區(qū)域之間的縫隙

識(shí)別過(guò)程3——輪廓過(guò)濾圖 VS 提取最終效果圖 如下：輪廓過(guò)濾圖：根據(jù)面積及縱橫比，只保留卡片中的卡號(hào)區(qū)最終效果圖：提取4組4數(shù)字每一個(gè)組，然后對(duì)每一個(gè)組中的4個(gè)數(shù)字進(jìn)行截取ROI并識(shí)別，并與之前存儲(chǔ)的數(shù)字ROI進(jìn)行模板匹配，選取匹配值最高的作為最終結(jié)果。

2. 原理2.1 OCR-A字體

OCR-A字體，是一種專門用于輔助光學(xué)字符識(shí)別算法的字體。

主要分為：

檢測(cè)圖像中信用卡的位置；本地化信用卡上的四組四位數(shù)字；應(yīng)用OCR識(shí)別信用卡上的16位數(shù)字；識(shí)別信用卡的類型。

Tesseract庫(kù)在某些情況無(wú)法正確識(shí)別數(shù)字（這可能是因?yàn)門esseract未接受信用卡示例字體培訓(xùn)）。

2.2 檢測(cè)過(guò)程步驟

在字典中存儲(chǔ)卡類型映射關(guān)系（卡號(hào)的第一位數(shù)字代表卡類型）。獲取參考圖像并提取數(shù)字。將數(shù)字模板存儲(chǔ)在字典中。本地化四個(gè)信用卡號(hào)組，每個(gè)組有四位數(shù)字（總共16位）。提取要“匹配”的數(shù)字。對(duì)每個(gè)數(shù)字執(zhí)行模板匹配，將每個(gè)單獨(dú)的ROI與每個(gè)數(shù)字模板0-9進(jìn)行比較，同時(shí)存儲(chǔ)每個(gè)嘗試匹配的分?jǐn)?shù)。查找每個(gè)候選數(shù)字的最高分?jǐn)?shù)，并構(gòu)建一個(gè)名為“輸出”的列表。其中包含信用卡號(hào)。將信用卡號(hào)和信用卡類型輸出到終端，并將輸出圖像顯示到屏幕上。

2.3 優(yōu)化

使用OpenCV和Python匹配OCR腳本的模板在100%的時(shí)間內(nèi)正確識(shí)別了16位數(shù)字中的每一位。然而在將OCR圖像應(yīng)用于真實(shí)的信用卡圖像時(shí)，考慮到照明條件、視角和其他一般噪音的變化，可能需要采取更面向機(jī)器學(xué)習(xí)的方法。

3. 源代碼

# 信用卡類型及卡號(hào)OCR系統(tǒng)# USAGE# python ocr_template_match.py --reference images/ocr_a_reference.png --image images/credit_card_05.pngimport argparseimport cv2import imutilsimport numpy as np# 導(dǎo)入必要的包from imutils import contours# 構(gòu)建命令行參數(shù)及解析# --image 必須 要進(jìn)行OCR的輸入圖像# --reference 必須 參考OCR-A圖像ap = argparse.ArgumentParser()ap.add_argument('-i', '--image', required=True,help='path to input image')ap.add_argument('-r', '--reference', required=True,help='path to reference OCR-A image')args = vars(ap.parse_args())# 定義一個(gè)字典（映射信用卡第一位數(shù)字和信用卡類型的編號(hào)）FIRST_NUMBER = { '3': 'American Express', '4': 'Visa', '5': 'MasterCard', '6': 'Discover Card'}# 從磁盤加載參考OCR-A圖像，轉(zhuǎn)換為灰度圖，閾值化圖像以顯示為白色前景和黑色背景# 并反轉(zhuǎn)圖像# and invert it, such that the digits appear as *white* on a *black*ref_origin = cv2.imread(args['reference'])cv2.imshow('ref_origin', ref_origin)ref = ref_origin.copy()ref = cv2.cvtColor(ref, cv2.COLOR_BGR2GRAY)cv2.imshow('ref_gray', ref)ref = cv2.threshold(ref, 180, 255, cv2.THRESH_BINARY)[1]cv2.imshow('ref_threshhold', ref)cv2.waitKey(0)# 尋找OCR-A圖像中的輪廓（數(shù)字的外輪廓線）# 并從左到右排序輪廓，初始化一個(gè)字典來(lái)存儲(chǔ)數(shù)字ROIrefCnts = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)print(’findContours: ’, len(refCnts))refCnts = imutils.grab_contours(refCnts)refCnts = contours.sort_contours(refCnts, method='left-to-right')[0]digits = {}# 遍歷OCR-A輪廓for (i, c) in enumerate(refCnts): # 計(jì)算數(shù)字的邊界框，提取它，縮放到固定的大小 (x, y, w, h) = cv2.boundingRect(c) cv2.rectangle(ref_origin, (x, y), (x + w, y + h), (0, 255, 0), 2) roi = ref[y:y + h, x:x + w] roi = cv2.resize(roi, (57, 88)) # 更新數(shù)字字典，數(shù)字匹配ROI digits[i] = roicv2.imshow('ref and digits', ref_origin)cv2.waitKey(0)# 初始化矩形和方形結(jié)構(gòu)內(nèi)核# 在圖像上滑動(dòng)它來(lái)進(jìn)行（卷積）操作，如模糊、銳化、邊緣檢測(cè)或其他圖像處理操作。# 使用矩形函數(shù)作為Top-hat形態(tài)學(xué)運(yùn)算符，使用方形函數(shù)作為閉合運(yùn)算。rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))# 準(zhǔn)備進(jìn)行OCR的輸入圖像# 加載輸入圖像，保持縱橫比縮放圖像寬度為300，轉(zhuǎn)換為灰度圖origin = cv2.imread(args['image'])origin = imutils.resize(origin, width=300)image = origin.copy()cv2.imshow('origin', origin)gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)cv2.imshow('gray', gray)# 執(zhí)行形態(tài)學(xué)操作# 應(yīng)用tophat（白帽）形態(tài)學(xué)操作以在暗的背景中提取出亮的區(qū)域（信用卡上的數(shù)字卡號(hào)）# Top hat操作在深色背景（即信用卡號(hào)）下顯示淺色區(qū)域tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)cv2.imshow('tophat', tophat)# 計(jì)算Scharr梯度，計(jì)算梯度值# 在白色禮帽上，計(jì)算x方向的Scharr梯度，然后縮放到范圍[0, 255]gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1)gradX = np.absolute(gradX)(minVal, maxVal) = (np.min(gradX), np.max(gradX))# 最小/最大歸一化, 由float轉(zhuǎn)換gradX到uint8范圍[0-255]gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))gradX = gradX.astype('uint8')cv2.imshow('gradient', gradX)# 使用矩形框應(yīng)用閉合操作以幫助閉合信用卡數(shù)字之間的小的縫隙# 應(yīng)用Otsu’s閾值方法二值化圖像gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)cv2.imshow('morphologyEx', gradX)thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]cv2.imshow('thresh1', thresh)# 在二值化圖像上，應(yīng)用二次閉合操作# 再一次方形框形態(tài)學(xué)操作，幫助閉合信用卡數(shù)字區(qū)域之間的縫隙thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)cv2.imshow('thresh2', thresh)# 閾值圖像中查找輪廓，然后初始化數(shù)字位置列表cnts = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)cnts = imutils.grab_contours(cnts)locs = []# 遍歷輪廓for (i, c) in enumerate(cnts): # 計(jì)算輪廓的邊界框，并計(jì)算縱橫比 (x, y, w, h) = cv2.boundingRect(c) ar = w / float(h) # 由于信用卡有固定的4組4數(shù)字，可以根據(jù)縱橫比來(lái)尋找潛在的輪廓 if ar > 2.5 and ar < 4.0:# 輪廓可以在最小/最大寬度上進(jìn)一步修剪if (w > 40 and w < 55) and (h > 10 and h < 20): # 添加數(shù)字組輪廓的編輯框輪廓到位置list locs.append((x, y, w, h)) cv2.rectangle(origin, (x, y), (x + w, y + h), (255, 0, 0), -1)cv2.imshow('contours filter', origin)# 突出顯示信用卡上四組四位數(shù)字（總共十六位）。# 從左到右排序輪廓，并初始化list來(lái)存儲(chǔ)信用卡數(shù)字列表locs = sorted(locs, key=lambda x: x[0])output = []# 遍歷四組四位數(shù)字for (i, (gX, gY, gW, gH)) in enumerate(locs): # 初始化存放每組數(shù)字的list groupOutput = [] # 提取每組4位數(shù)字的灰度圖ROI # 應(yīng)用閾值方法從背景信用卡中分割數(shù)字 group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5] group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] # 檢測(cè)組中每個(gè)單獨(dú)數(shù)字的輪廓 # 從左到右排序輪廓 digitCnts = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) digitCnts = imutils.grab_contours(digitCnts) digitCnts = contours.sort_contours(digitCnts, method='left-to-right')[0] # 遍歷數(shù)字輪廓 for c in digitCnts:# 計(jì)算每個(gè)單獨(dú)數(shù)字的邊界框# 提取數(shù)字，縮放以擁有和參考OCR-A字體模板圖像相同的大小(x, y, w, h) = cv2.boundingRect(c)roi = group[y:y + h, x:x + w]roi = cv2.resize(roi, (57, 88))# 初始化模板匹配分?jǐn)?shù)listscores = []# 遍歷參考數(shù)字名和數(shù)字ROIfor (digit, digitROI) in digits.items(): # 應(yīng)用基于相關(guān)性的模板匹配，計(jì)算分?jǐn)?shù)，更新分?jǐn)?shù)list # apply correlation-based template matching, take the # score, and update the scores list result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF) (_, score, _, _) = cv2.minMaxLoc(result) scores.append(score)# 數(shù)字ROI的分類將取 模板匹配分?jǐn)?shù)中分?jǐn)?shù)最大的參考數(shù)字# the classification for the digit ROI will be the reference# digit name with the *largest* template matching scoregroupOutput.append(str(np.argmax(scores))) # 圍繞每組畫(huà)一個(gè)矩形，并以紅色文本標(biāo)識(shí)圖像上的信用卡號(hào) # 繪制每組的數(shù)字識(shí)別分類結(jié)果 cv2.rectangle(image, (gX - 5, gY - 5), (gX + gW + 5, gY + gH + 5), (0, 0, 255), 2) cv2.putText(image, ''.join(groupOutput), (gX, gY - 15),cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2) # 更新輸出數(shù)字分組列表 # Pythonic的方法是使用extend函數(shù)，它將iterable對(duì)象的每個(gè)元素（本例中為列表）追加到列表的末尾 output.extend(groupOutput)# 顯示檢測(cè)到的信用卡類型和卡號(hào)到屏幕上print('Credit Card Type: {}'.format(FIRST_NUMBER[output[0]]))print('Credit Card #: {}'.format(''.join(output)))cv2.imshow('Image', image)cv2.waitKey(0)

參考 https://www.pyimagesearch.com/2017/07/17/credit-card-ocr-with-opencv-and-python/

到此這篇關(guān)于使用Pyhton+OpenCV進(jìn)行卡類型及16位卡號(hào)數(shù)字的OCR功能的文章就介紹到這了,更多相關(guān)Pyhton+OpenCV卡號(hào)數(shù)字識(shí)別內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！