理論
GrabCut 算法由英國劍橋微軟研究院的 Carsten Rother、Vladimir Kolmogorov 和 Andrew Blake 設計。在他們的論文“GrabCut”：使用迭代圖切割的交互式前景提取中。需要一種算法來以最少的用戶交互進行前景提取，結果就是 GrabCut。
從用戶的角度來看它是如何工作的？最初用戶在前景區域周圍繪製一個矩形（前景區域應該完全在矩形內）。然後算法迭代地對其進行分段以獲得最佳結果。完畢。但在某些情況下，分割效果不佳，例如，它可能將一些前景區域標記為背景，反之亦然。在這種情況下，用戶需要進行精細的修飾。只需在有錯誤結果的圖像上畫一些筆劃即可。Strokes 基本上說 *“嘿，這個區域應該是前景，你將它標記為背景，在下一次迭代中更正它”* 或者它的反面是背景。然後在下一次迭代中，你會得到更好的結果。
請參見下圖。第一個球員和足球被包圍在一個藍色矩形中。然後進行一些帶有白色筆觸（表示前景）和黑色筆觸（表示背景）的最終潤色。我們得到了一個不錯的結果。
函數介紹
grabCut()
下面介紹幾個常用的參數:
- img – 輸入圖像
- mask – 這是一個蒙版圖像，我們在其中指定哪些區域是背景、前景或可能的背景/前景等。它由以下標誌完成，cv.GC_BGD、cv.GC_FGD、cv.GC_PR_BGD、cv.GC_PR_FGD，或者簡單地通過0,1,2,3 到圖像。
- rect – 它是包含格式為 (x,y,w,h) 的前景對象的矩形的坐標
- bdgModel、fgdModel – 這些是算法內部使用的數組。您只需創建兩個大小為 (1,65) 的 np.float64 類型零數組。
- iterCount – 算法應該運行的迭代次數。
- model- 它應該是cv.GC_INIT_WITH_RECT或cv.GC_INIT_WITH_MASK或組合決定我們是繪製矩形還是最終的修飾筆劃。
簡單範例
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('image.jpg')
mask = np.zeros(img.shape[:2],np.uint8)
bgdModel = np.zeros((1,65),np.float64)
fgdModel = np.zeros((1,65),np.float64)
rect = (50,50,450,290)
cv.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv.GC_INIT_WITH_RECT)
mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')
img = img*mask2[:,:,np.newaxis]
plt.imshow(img),plt.colorbar(),plt.show()
# newmask是我手動標註的mask圖片
newmask = cv.imread('newmask.png',0)
# 標記為白色的地方（當然是前景），更改 mask=1
# 標記為黑色的地方（確定背景），更改 mask=0
mask[newmask == 0] = 0
mask[newmask == 255] = 1
mask, bgdModel, fgdModel = cv.grabCut(img,mask,None,bgdModel,fgdModel,5,cv.GC_INIT_WITH_MASK)
mask = np.where((mask==2)|(mask==0),0,1).astype('uint8')
img = img*mask[:,:,np.newaxis]
cv.imshow("img",img)
plt.imshow(img),plt.colorbar(),plt.show()
結果
