s1091521 Homework #7

 s1091521 1122 Homework #7

1122 Digital Image Processing Assignment #7

學號：1091521

姓名：林哲慶

主題：Image Segmentation and Object Detection 影像分割及物件偵測

專案目標：

        撰寫一個程式來偵測出附件2張視訊照片中的所有書桌的桌面區域。 

        (1) 標示出每張桌子的桌面的矩形邊界框(Bounding box) 

        (2) 標示出偵測到桌子的桌角

開發平台：

        Windows 11, Python 3.9.10, OpenCV-Python 4.9.0, matplotlib 3.8.3, Visual Studio Code

步驟說明：

本次作業我依照以下步驟進行影像處理：

1. 圖片高斯模糊後轉HSV color space

（圖片不變是正常的）

2. 針對HSV圖片三個通道各進行篩選

左上是篩選後的H通道的結果，右上則為S通道篩選後的結果，左下為V，右下則為三者疊合的結果，黃綠色為255，紫色為0。

3. 篩選後的H, S, V組合得接近桌面顏色區塊的二值化圖片（包含其他雜訊及非桌面物體）

與2.之左下圖相同

4. 使用Closing方式（侵蝕與沉積的Closing）處理二值化圖片

5. 用cv2.findContours找出邊界

6. 將找出的邊界透過cv2.boundingRect找出Bounding box

7. 畫出Bounding box前，使用一些特定條件篩選出較正確的Bounding box再繪製

8. 在Bounding box內找尋輪廓，畫出程式認定較可能為桌角的座標點

由於並無規定標示桌腳位置一定要位於Bounding box上，所以我使用程式找尋的桌角座標點會盡可能的在真正的桌角上，不過效果仍舊差強人意。

成果展示：

        這次作業僅使用影像處裡的方式完成，先透過HSV通道篩選出我們要找尋的桌面特徵，再使用尋找邊界的方式找到bounding box和桌角，而此方法容易將具有較接近特徵的其他物體也一同包含進入中後段影像處理，且會有些許我們欲標記的物體沒有通過設定的特徵，或是在後段影像處理時被清除或是未被標記，導致效果不佳，僅能成功標記部分桌面及桌角。