ilgi noktası, anahtar nokta, detector ve descriptor kavramlarını ayırt edebilecektir.
yerel özellik çıkarımının neden köşe tespitinden sonraki doğal adım olduğunu açıklayabilecektir.
SIFT yönteminin ölçek-uzayı, DoG, keypoint localization, orientation assignment ve descriptor üretimi adımlarını açıklayabilecektir.
SIFT, SURF ve ORB yöntemlerini açıklayabilecek ve hız, dayanıklılık, pratik kullanım açısından karşılaştırabilecektir.
Önceki Derste Neler Öğrendik?
Önceki derste şu soruya odaklanmıştık:
Görüntüde ilginç noktalar nerede?
Bu derste ise bir adım daha ileri gidiyoruz:
Bulduğumuz bu noktaları başka görüntülerde nasıl tekrar tanıyacağız?
Yani artık yalnızca köşe bulmak değil, bu noktaları ayırt edici biçimde tanımlamak istiyoruz.
Corner and Interest Point Detection
Amaç
Görüntüdeki tekrarlanabilir ve ayırt edici noktaları tespit ederek, bu noktalar üzerinden:
görüntüler arası eşleşme sağlamak
nesne tanıma, takip ve görüntü birleştirme yapmak
aynı sahnenin farklı görünümleri arasında ilişki kurmak
Neden Köşe ve İlgi Noktası?
Köşeler ve ilgi noktaları, bir nesnenin konumunu ve yapısını temsil eden karakteristik bölgelerdir.
Düz bölgelere göre daha ayırt edicidirler.
Kenarlara göre daha kararlı eşleşme üretirler.
Aynı sahnenin farklı görüntülerinde tekrar bulunabilirler.
İlgi Noktası Özellikleri
Özellik
Açıklama
Tekrarlanabilirlik
Farklı görüntülerde aynı noktaları tekrar bulabilme
Ayrımsal Güç
Başka bölgelerle karışmaması
Konum Doğruluğu
Noktanın yerini güvenilir belirleyebilme
Dönüşüm Kararlılığı
Döndürme, ölçek, ışık değişimi altında çalışabilme
İlgi Noktası vs Anahtar Nokta
Interest Point
Görüntüde ayırt edici olabilecek yerel yapı
Keypoint
Uygulamada seçilmiş, çoğu zaman ölçek/yön bilgisi de atanmış ve descriptor ile temsil edilmeye hazır hale gelmiş nokta
Bu ayrım kaynaklar arasında her zaman aynı sertlikte yapılmasa da, ders içinde bu ayrımı kullanmak öğretici olur.
Neden Descriptor Gerekiyor?
Köşe veya ilgi noktası tek başına yalnızca bir konum bilgisidir.
Ama gerçek problem şudur:
Bu nokta başka görüntüde hangisi?
Aynı nesnenin farklı ölçekteki görüntüsünde yine bu noktayı bulabilir miyim?
Döndürülmüş veya aydınlatması değişmiş görüntülerde aynı yapıyı tanıyabilir miyim?
Bu nedenle noktanın çevresini sayısal olarak tanımlayan bir yapıya ihtiyaç duyarız.
Detector ve Descriptor
İki temel kavram vardır:
Detector
ilginç nokta nerede?
örnek: Harris, Shi-Tomasi, FAST
Descriptor
bu noktanın çevresi nasıl temsil edilmeli?
örnek: SIFT descriptor, BRIEF, ORB descriptor
Bazı yöntemler yalnızca detector değildir; hem detector hem descriptor içerir.
Descriptor İş Akışı
Köşe / ilgi noktası tespiti
Güvenilir noktaların seçimi
Her nokta için descriptor çıkarımı
Descriptor’lar arasında benzerlik ölçümü
Eşleşmeler üzerinden daha büyük görevleri çözme. Örneğin:
panorama
nesne eşleme
görsel odometri
homografi
Ele Alacağımız Yöntemler
Yöntem
Temel fikir
SIFT
Ölçek ve dönme dayanımlı güçlü klasik yöntem
SURF
SIFT benzeri ama daha hız odaklı yaklaşım
ORB
FAST + BRIEF tabanlı pratik ve hızlı yöntem
Bu yöntemlerin ortak amacı şudur:
Bir özellik noktasını, ölçek, yön ve görüntü değişimlerine rağmen tekrar tanınabilir hale getirmek.
Genel Akış Şeması
Neden SIFT, SURF ve ORB Önemli?
Bu yöntemler uzun yıllar boyunca çok etkili olmuştur:
görüntü eşleme
nesne tanıma
panorama oluşturma
görüntü hizalama
3B yeniden yapılandırma
robotik ve SLAM
Bugün derin öğrenme çok güçlü olsa da bu yöntemler hâlâ:
veri gerektirmez
düşük maliyetli sistemlerde güçlüdür
SIFT
Scale-Invariant Feature Transform
SIFT, görüntüdeki yerel özellik noktalarını bulmak ve bu noktaları ayırt edici biçimde tanımlamak için geliştirilmiş klasik bir yöntemdir.
Temel amaç, aynı yapıyı:
farklı ölçeklerde,
farklı yönelimlerde,
ve kısmen değişen görüntü koşullarında
yeniden tanıyabilmektir.
Neden SIFT?
Farklı boyutlarda çekilmiş görüntülerde aynı yapıyı bulabilir.
Döndürülmüş nesnelerde eşleme yapabilir.
Aydınlatma değişimlerine karşı belirli ölçüde kararlıdır.
Yalnızca köşe değil, karakteristik yerel yapıları da temsil edebilir.
SIFT’in Ana Aşamaları
SIFT genellikle 4 ana adım ile anlatılır:
Scale-Space Extrema Detection
Keypoint Localization
Orientation Assignment
Descriptor Oluşturma
Bu aşamaların her biri yöntemin dayanıklılığına doğrudan katkı yapar.
Ölçek Problemi Nedir?
Bir nesne kameraya yakınsa büyük, uzaktaysa küçük görünür.
Aynı yerel yapı iki görüntüde farklı büyüklükte olabilir. Eğer tek bir sabit pencere boyutu kullanırsak, aynı yapıyı farklı ölçeklerde kararlı biçimde bulmak zorlaşır.
Örnek: Ölçek Problemi Görsel
Ölçek-Uzayı Fikri
SIFT bu problemi çözmek için görüntüyü tek bir çözünürlükte incelemez.
Bunun yerine:
görüntüyü farklı bulanıklık seviyelerinde değerlendirir
yani ölçek boyunca değişen bir temsil kurar
Temel fikir şudur:
Aynı yapıyı farklı ölçeklerde test edelim ve en belirgin olduğu seviyeyi bulalım.
Gaussian Blur ile Ölçek Uzayı
Ölçek uzayında görüntü genellikle farklı \(\sigma\) değerlerinde Gaussian bulanıklaştırma ile temsil edilir:
\[
L(x, y, \sigma) = G(x, y, \sigma) * I(x, y)
\]
Burada:
\(I(x,y)\): orijinal görüntü
\(G(x,y,\sigma)\): Gaussian çekirdeği
\(L(x,y,\sigma)\): ilgili ölçekte bulanıklaştırılmış görüntü
Sigma (\(\sigma\)) Nedir?
Gaussian bulanıklaştırmanın standart sapmasıdır.
Küçük \(\sigma\) → daha az bulanıklık, daha ince detaylar
Büyük \(\sigma\) → daha fazla bulanıklık, daha kaba yapı
SIFT bağlamında \(\sigma\) yalnızca blur parametresi değil, aynı zamanda ölçek parametresi gibi davranır.
LoG Nedir?
Laplacian of Gaussian (LoG):
önce Gaussian ile bulanıklaştırır
sonra ikinci türev / Laplacian uygular
Bu yapı: - blob benzeri yerel yapıları tespit etmede etkilidir - farklı \(\sigma\) değerlerinde farklı boyuttaki yapıları bulabilir
Ancak doğrudan uygulanması maliyetlidir.
Gaussian Piramidi
SIFT’te farklı bulanıklık seviyeleri ve çözünürlükler piramit mantığıyla organize edilir:
aynı çözünürlükte artan blur seviyeleri
sonra daha düşük çözünürlüklü görüntü
tekrar artan blur seviyeleri
Bu yapıya Gaussian pyramid denir.
Difference of Gaussians (DoG)
SIFT, LoG’yi doğrudan kullanmak yerine pratik bir yaklaşım kullanır:
\[
D(x, y, \sigma) = L(x, y, k\sigma) - L(x, y, \sigma)
\]
Yani iki farklı blur seviyesindeki görüntü birbirinden çıkarılır.
Bu yapıya Difference of Gaussians (DoG) denir.
DoG Neden Kullanılır?
DoG şu nedenle önemlidir:
köşe, blob ve yerel yapılar belirgin hale gelir
ölçek boyunca dikkat çekici noktalar ortaya çıkar
LoG’e göre hesaplaması çok daha pratiktir
İpucu
Teorik Not: DoG, Laplacian of Gaussian için bir yaklaşıklaştırma sağlar. Bu nedenle SIFT, LoG’nin sağladığı ölçek seçiciliğini daha verimli biçimde elde etmeye çalışır.
DoG Görsel Sezgi
Aday Nokta Nasıl Bulunur?
DoG görüntüleri elde edildikten sonra, her piksel aynı görüntü düzlemindeki komşularıyla, bir alt ölçek düzeyiyle ve bir üst ölçek düzeyiyle karşılaştırılır.
Bir nokta tüm komşularından büyükse yerel maksimum, tüm komşularından küçükse yerel minimum olarak işaretlenir.
SIFT’te Yerel Ekstremum Arama
Bir aday nokta 3B komşulukta değerlendirilir:
x yönü
y yönü
ölçek yönü
Yani aranan şey yalnızca 2B uzayda dikkat çekici bir nokta değil, aynı zamanda ölçek boyunca da kararlı bir noktadır.
Görsel Sezgi: Ölçek Boyunca Ekstremum
Keypoint Localization
Potansiyel anahtar noktalar bulunduktan sonra hepsi korunmaz.
Bu aşamada amaç:
konumu daha hassas belirlemek
zayıf adayları elemek
kararsız noktaları temizlemek
Dolayısıyla bu adım, “aday üretimi”nden “güvenilir seçim”e geçiştir.
Düşük Kontrastlı Noktalar Neden Elenir?
Bazı adaylar:
gürültüden kaynaklanabilir
çok zayıf kontrasta sahip olabilir
kararsız olabilir
Bu yüzden SIFT düşük kontrastlı adayları eler.
Amaç:
daha güvenilir
tekrar bulunabilir
eşleme için daha yararlı noktalar bırakmaktır
Kenar Benzeri Noktalar Neden Sorunludur?
Bir nokta güçlü görünse bile bazen yalnızca bir kenar yapısının üzerinde olabilir.
Bu durumda:
bir yönde çok güçlü değişim vardır
diğer yönde zayıf değişim vardır
Bu tür noktalar eşleme için kararsız olabilir. Bu nedenle SIFT, Hessian benzeri analizle kenar-benzeri noktaları da eler.
Keypoint Localization Özeti
Bu adım sonunda elimizde:
düşük kontrastlı olmayan
yalnızca kenar üzerinde kalmayan
daha kararlı
daha güvenilir
anahtar noktalar kalır.
Orientation Assignment
Bir anahtar nokta bulunduğunda işlem bitmez.
Bir sonraki soru şudur:
Bu noktanın baskın yönü nedir?
Bu amaçla anahtar nokta çevresindeki gradyanlar incelenir.