OpenCV ve YOLO ile Nesne Tespiti
Masaüstü otomasyonunda «görme» katmanı iki yaklaşıma ayrılır: klasik bilgisayarlı görü (şablon, kontur, morfoloji, OCR) ve derin öğrenme tabanlı dedektörler (YOLO ailesi). Doğru seçim, UI’nın ne kadar değişken olduğuna bağlıdır.
Şablon eşleştirme (MatchTemplate)
OpenCvSharp4 veya OpenCV Python’da Cv2.MatchTemplate sabit piksel düzeninde hızlıdır. TemplateMatchModes.CCoeffNormed ışık değişimine karşı daha dayanıklıdır. Eşik tipik %85–92 aralığındadır; kalibrasyon sırasında histogram kaydedilmelidir.
Avantaj: Düşük CPU, öngörülebilir gecikme, küçük profil dosyası (PNG şablon). Dezavantaj: Tema değişimi, animasyon ve çözünürlük farkında kırılganlık.
YOLO ve ONNX
Değişken düzenlerde YOLOv8n gibi küçük modeller ONNX olarak export edilir. GPU’da CUDA Execution Provider gecikmeyi düşürür. C# tarafında YOLOv8 pipeline makalesi adım adım anlatılır.
Hibrit strateji (önerilen)
- Önce ucuz şablon veya piksel eşiği testi.
- Belirsiz bölgede OCR (Tesseract).
- Yalnızca gerekirse YOLO inference (ROI kırpılmış).
Bu sıra, ofis otomasyonunda ortalama CPU kullanımını %40–60 düşürebilir (iç ölçümlere göre değişir).
Performans
- ROI kırpma: tam ekran yerine panel bölgesi.
- Kare atlama: her N karede tam tespit, arada basit takip.
- Batch size 1; gecikme öncelikli.
- Çözünürlük ve DPI sabit tutulmalıdır.
Veri etiketleme ve gizlilik
Kendi UI veri setiniz genel COCO modellerinden daha tutarlı sonuç verir. Ekran görüntüleri yerel diskte işlenmeli; buluta gönderilmemelidir. Etiketleme araçları (LabelImg, CVAT) ile sınıf sayısı düşük tutulmalıdır.
Karar tablosu
Şablon: Sabit buton/ikon, aynı tema. OCR: Metin/sayı okuma. YOLO: Çoklu benzer öğe, hafif konum kayması. Üçü birlikte ScreenSense Studio tarzı senaryolarda kullanılır.