Büyük Veri Kümelerinde Vektör Arama Nasıl Optimize Edilir?

Vektör arama sistemleri, birçok yapay zeka ve makine öğrenimi tabanlı uygulamanın temelini oluşturur. Özellikle öneri sistemleri, anlamsal arama ve görüntü tanıma gibi alanlarda içerikler, yüksek boyutlu vektörlere dönüştürülerek dizinlenir ve benzerliğe göre karşılaştırılır. Ancak, veri boyutu büyüdükçe bu süreç hesaplama açısından yoğun hale gelir ve daha fazla donanım kaynağı talep eder.

Bu nedenle, vektör aramayı optimize etmek için üç katmanlı bir yaklaşım izlenmelidir:

1. Vektör Verilerinin Etkin Bir Şekilde Hazırlanması

Veri kalitesi arama sonuçlarını doğrudan etkiler. İyi yapılandırılmış vektör verileri yalnızca daha doğru sonuçlar sağlamakla kalmaz, aynı zamanda sistem kaynaklarının daha verimli kullanılmasını da sağlar.

Normalizasyon

Sorun
Farklı büyüklüklere sahip vektörler, özellikle kosinüs benzerliği gibi benzerlik ölçümleri kullanıldığında anlamlı sonuçlar üretmez. Ölçeklendirilmemiş veriler tutarsız benzerlik skorlarına yol açabilir.

Yöntemler
● L2 Normalizasyonu: Her vektör, kendi L2 normuna bölünerek birim uzunluğa ölçeklendirilir. Bu, tüm vektörlerin aynı ölçekte olmasını sağlayarak kosinüs benzerliği hesaplamalarında tutarlılık sunar.
● Min-Max Normalizasyonu: Vektör bileşenleri belirli bir aralığa (genellikle 0 ile 1 arasına) ölçeklendirilir. Bu yöntem, değerleri farklı ölçekler arasında standartlaştırır.
● Z-Skor Normalizasyonu (Standartlaştırma): Her bileşenden ortalama çıkarılır ve sonuç standart sapmaya bölünür. Bu, ortalaması 0 ve standart sapması 1 olan bir dağılımla sonuçlanır. Özellikle istatistiksel modelleme için kullanışlıdır.
● Grup (Batch) Normalizasyonu: Bir yapay sinir ağı katmanındaki aktivasyonlar, bir mini grup içindeki ortalama ve varyansa göre normalize edilir. Bu, eğitimi hızlandırır ve kararlılığı artırır.

Boyut İndirgeme

Sorun

Yüksek boyutlu vektörler (örneğin 1024 boyutlu) daha fazla hesaplama ve bellek gerektirir.

Yöntemler

● PCA (Temel Bileşen Analizi): Yüksek boyutlu verilerdeki varyansı en iyi açıklayan temel bileşenleri çıkaran istatistiksel bir boyut indirgeme tekniğidir. En çok bilgi taşıyan eksenleri tanımlar ve buna göre yeni bir alt uzay oluşturur. Bu, hesaplama maliyetini ve gürültüyü azaltır.
● Autoencoder (Ototeyp): Yüksek boyutlu verileri sıkıştırılmış ve anlamlı temsillere sıkıştıran denetimsiz bir yapay sinir ağı mimarisidir. Bir kodlayıcı (encoder) ve kod çözücüden (decoder) oluşur. Kodlayıcı, girdiyi daha düşük boyutlu gizli bir alana sıkıştırır ve kod çözücü orijinal girdiyi yeniden oluşturmaya çalışır. Bu süreç verinin temel özelliklerini öğrenmeyi sağlar.

Projemizde, dil modellerinden elde edilen gömmeler (embeddings) (genellikle 768 veya daha fazla boyuta sahip) boyutlarını küçültmek için önce bir oto-kodlayıcıdan geçirilir. Örneğin, 768 boyutlu bir gömme, kodlayıcı kullanılarak 128 boyutlu gizli bir vektöre indirgenir. Bu daha küçük ancak anlamsal olarak zengin vektör daha sonra vektör veritabanına (örneğin Qdrant) eklenir. 

Avantajlar: Daha düşük hesaplama maliyeti, daha hızlı sorgular ve daha küçük dizin boyutu.

Kuantizasyon (Nicemleme)

Sorun

Varsayılan olarak vektörler, büyük bellek ve disk alanı tüketen 32-bit float değerler olarak saklanır.

Yöntemler

● 8-bit Kuantizasyon: Her vektör bileşeni, 32-bit float yerine 8-bit tam sayı olarak temsil edilir.
Bu, veri boyutunu dörtte bire indirerek depolama ve hesaplamadan önemli ölçüde tasarruf sağlar.
● 16-bit Float (Float16) Kuantizasyonu: Veriler, 32-bit yerine 16-bit float biçiminde saklanır; float'ın esnek aralığı sayesinde doğruluğun çoğunu korurken veri boyutunu yarıya indirir.
● Bfloat16 Kuantizasyonu: Daha geniş bir değer aralığı sunan 8-bit üslü bir 16-bit float varyantıdır.
Derin öğrenmede, minimum doğruluk kaybıyla daha hızlı hesaplama yapmak için kullanılır.
● Int16 Kuantizasyonu: Her vektör bileşeni, 16-bit işaretli tam sayı olarak saklanır. Veri boyutunu yarı yarıya azaltır ve aritmetik işlemler genellikle 32-bit tam sayılarla gerçekleştirilir.
● Ürün Kuantizasyonu (PQ): Vektörler bölümlere ayrılır (örneğin, 128 boyutlu bir vektör, 8 bölüm × 16 boyuta ayrılır).
Her bölüm kendi kod kitabı kullanılarak sıkıştırılır.
Bu, çok büyük bellek tasarrufu sağlar ve kod düzeyinde aramalar kullanarak daha hızlı benzerlik karşılaştırması yapılmasını mümkün kılar.
Avantajlar: %70-90 oranında depolama tasarrufu, daha küçük dizin boyutları ve önemli ölçüde daha hızlı arama performansı.

2. Doğru Algoritmaları Kullanmak

Yaklaşık En Yakın Komşu (ANN) Algoritmaları

Tüm vektörlerle kaba kuvvet karşılaştırması yapmak büyük veri kümeleri için pratik değildir. ANN algoritmaları, küçük doğruluk ödünleriyle büyük hız kazanımları sağlar. Birkaç varyantı vardır:

Varyant 1 – IVF (Ters Çevrilmiş Dosya Dizini)

Yapı: IVF, vektörlerin önceden tanımlanmış kümelere ayrıldığı kümeleme tabanlı bir yapı kullanır. Her küme, kendisine en yakın vektörlerin bir gönderi listesini içerir.

Çalışma İlkesi: İlk adımda, vektör uzayı k-means gibi algoritmalar kullanılarak kümelenir. Her vektör en yakın merkez noktasına atanır. Sorgu sırasında arama, yalnızca süreci hızlandıran en yakın nprobe kümeleri içinde gerçekleştirilir.

Parametreler
● k: Küme sayısı – ayrıntı düzeyini ve dizin doğruluğunu belirler.
● nprobe: Aranacak küme sayısı – daha yüksek değerler daha iyi doğruluk sağlar ancak sorgu süresini artırır.
● PQ: Bellek ayak izini sıkıştırmak için IVF ile kullanılabilir.

Avantajlar
● Yüksek Ölçeklenebilirlik: Milyarlarca vektörü işleme kapasitesi.
● Disk Tabanlı Yürütme: Belleğe sığmayan veriler için idealdir.
● Performans Odaklı: Özellikle statik veri kümeleri için verimli çalışır.
● FAISS Entegrasyonu: IVF, Facebook'un FAISS kitaplığı aracılığıyla verimli bir şekilde kullanılabilir.

Kullanım Alanları
● Görsel benzerlik araması
● Öneri motorları
● Büyük ölçekli yapay zeka sistemleri

Sınırlamalar
● Sınırlı dinamik veri desteği – yeni veri eklemek genellikle yeniden kümeleme gerektirir.
● Kümeleme kalitesi performansı doğrudan etkiler.
● Zayıf kümeleme yakın eşleşmelerin kaçırılmasına neden olabilir.

Varyant 2 – HNSW (Hiyerarşik Gezinilebilir Küçük Dünya)

Yapı

HNSW, vektörleri çok katmanlı, küçük dünyalı bir grafik şeklinde düzenler. Her vektör, bir dizi komşuya bağlı bir düğümdür. Üst katmanlarda seyrek ve uzun menzilli bağlantılar bulunurken, alt katmanlarda yoğun ve yerel bağlantılar bulunur.

Çalışma İlkesi

Arama en üst katmanda başlar. Algoritma en yakın düğüme doğru ilerler, ardından daha hassas bir arama için katman katman aşağı iner. En altta, en iyi sonuçlar için efSearch adayları incelenir.

Parametreler
● M: Düğüm başına maksimum komşu sayısı – grafik yoğunluğunu kontrol eder.
● efConstruction: Dizin oluşturma sırasındaki aday sayısı – daha yüksek değer = daha iyi yapı ancak daha uzun oluşturma süresi.
● efSearch: Sorgu sırasındaki aday sayısı – doğruluğu ve gecikmeyi etkiler.

Avantajlar
● Yüksek doğruluk: Yaklaşık olmasına rağmen, sonuçlar genellikle tam sonuca yakındır.
● Düşük gecikme süresi: Gerçek zamanlı sistemler için idealdir.
● Dinamik: Yeni vektörler yeniden oluşturmaya gerek kalmadan eklenebilir.
● RAM için optimize edilmiş: Yüksek hızlı bellek içi arama.

Kullanım Alanları
● Gerçek zamanlı öneri sistemleri
● Dinamik içerik akışları
● Yüksek doğruluklu bilgi edinimi

Sınırlamalar
● Yüksek bellek kullanımı – büyük veri kümelerinde kaynak yoğundur.
● Yüksek efConstruction ile uzun dizin oluşturma süresi.
● Disk tabanlı işlemler için verimsizdir; RAM'e bağımlıdır.

Varyant 3 – ANNOY (Approximate Nearest Neighbors Oh Yeah)

Yapı

ANNOY, rastgele projeksiyonlara dayalı birden fazla ikili ağaç yapısı kullanır. Her ağaç, vektörleri rastgele düzlemlere yansıtarak böler.

Çalışma İlkesi
Dizin oluşturma sırasında, her ağaç vektörleri rastgele hiperdüzlemler kullanarak iki gruba ayırır ve yapraklar oluşana kadar yinelemeli olarak devam eder. Arama sırasında birden fazla ağaç sorgulanır ve en iyi eşleşmeler için search_k düğümleri incelenir.

Parametreler
● f: Vektör boyutu
● n_trees: Ağaç sayısı – doğruluğu ve dizin boyutunu etkiler
● search_k: Sorgu sırasındaki aday sayısı – doğruluk ile hızı dengeler

Avantajlar
● Disk uyumlu: Dizinler diskte saklanabilir ve mmap aracılığıyla erişilebilir.
● Düşük bellek: Paylaşılan erişimi destekler ve belleğe tam yükleme gerektirmez.
● Hızlı dizin yükleme: mmap ile hızlı başlangıç.
● Statik veri kümeleri için idealdir.

Kullanım Alanları
● Spotify gibi müzik öneri sistemleri
● Gömmeleri arşivleme ve vektör arama
● Paralel sistemlerde dizin paylaşımı

Sınırlamalar
● Güncelleme desteği yoktur – dinamik veriler tam bir yeniden dizinleme gerektirir.
● Yüksek boyutlu seyrek verilerde performansı düşük olabilir.
● Genellikle HNSW'den daha düşük doğruluğa sahiptir.

Diğer Alternatifler

● ScaNN (Google): Yeniden sıralama ve kuantizasyon desteği ile yüksek doğruluk.
● DiskANN (Microsoft): Diskte saklanan milyarlarca vektör için verimli.
● NMSLIB: Açık kaynaklı, yüksek performanslı, HNSW benzeri yapı. 

3. Altyapı ve Donanımın Optimize Edilmesi

Vektör arama sistemlerinin hızı ve ölçeklenebilirliği yalnızca verilere ve algoritmalara değil, aynı zamanda altyapı tercihlerine de bağlıdır.

Dağıtık Sistemler ve Parçalama (Sharding)

Sorun
Tek bir sunucu milyarlarca vektörü işleyemez.

Çözüm
Veri kümesi parçalara bölünür ve birden fazla sunucuya dağıtılır.

Paralel Sorgulama
Her parça sorguyu bağımsız olarak işler ve sonuçlar merkezi olarak birleştirilir.

Örnek Platformlar
● Milvus: GPU özellikli, yüksek performanslı vektör veritabanı
● Qdrant: Rust tabanlı, hızlı, JSON filtrelemeyi destekler
● Vespa: Vektör arama, filtreleme ve makine öğrenimi puanlaması için birleşik platform
● Weaviate: Otomatik gömme, anlamsal arama, GraphQL desteği

GPU Hızlandırması

Sorun
CPU tabanlı arama yüksek gecikme sürelerine neden olabilir.

Çözüm
GPU'ları kullanarak paralel sorgu işleme.
● FAISS-GPU: Facebook’un FAISS kütüphanesinin CUDA tabanlı sürümü, milyonlarca vektörün milisaniyeler içinde sorgulanmasını sağlar.

Performans İzleme ve İnce Ayar

Metrikler
● Recall@k: Doğru sonuç ilk k içinde mi?
● Gecikme Süresi: Ortalama sorgu süresi
● QPS: Saniyedeki sorgu sayısı
● efSearch, nprobe: Hız ve doğruluğu dengelemek için kullanılan parametreler
Ayrıca, hibrit arama, daha hedefli sonuçlar elde etmek için vektör benzerliğini yapılandırılmış filtreleme ile birleştirir.
Örnek: "Benzer resimleri bulun, ancak yalnızca elektronik kategorisinden olsun ve fiyatı 500 TL'nin altında olsun".
● Vespa: Makine öğrenimi puanlamasını klasik filtreleme ile birleştirir
● Qdrant: Güçlü JSON tabanlı filtreleri destekler
● Weaviate: GraphQL aracılığıyla basit ve esnek hibrit sorgular

Sonuç: Üç Katmanlı Optimizasyon Stratejisi

● Algoritma Seviyesi: HNSW ve IVF gibi yöntemlerle hızlı ve esnek arama
● Veri Hazırlama Seviyesi: Normalleştirme, boyut indirgeme ve kuantizasyon yoluyla verimli temsil
● Altyapı Seviyesi: Parçalama, GPU hızlandırma, izleme ve hibrit sorgular

Bu katmanlar birlikte optimize edildiğinde, milyarlarca ögeden oluşan veri kümelerinde bile milisaniyeler içinde doğru sonuçlar elde etmek mümkündür.