Yapay Zekâ ve Makine Öğrenmesi Mühendisliği

Cue

Cue’yu, bir arama sonucunu yalnız video adıyla bırakmadan ilgili zaman aralığına ve kaynaklarına götürmek için geliştirdim. Her sonuçta kareyi, transkripti ve görüntü ile metin kanallarının sıralama katkılarını gösterdim.

Basit görsel aramaArayüzü incele ↘
Çalışma
Görüntü ve zamanlı transkriptle yerel an araması
Katkım
Pencereleme, iki kanallı arama, sıralama birleştirme, CLIP karşılaştırması ve yerel sonuç arayüzünü geliştirdim.
Yıl
2026
İçindekiler

İncelenebilir bir ana ulaşmak

Cue'yu, bir kaydın içindeki işe yarar bölümü bulabilmek için geliştirdim. Arama sonucunda kaynağın ve zaman aralığının belli olması gerekiyor. Kişi, o bölümü açmaya değip değmeyeceğini anlayacak bir kanıt da görebilmeli. Aranan bilgi bir karede görünür olabilir veya o sırada söylenen sözlerin içinde geçebilir.

Bu iki yolu birleştirmeden önce ayrı ayrı incelemek istedim. Görsel eşleşme ve transkript eşleşmesi farklı sorgu türlerine cevap verebiliyor. Birleşik puan tek başına gösterildiğinde sonuca hangi kanalın katkı yaptığı kolayca kaybolabiliyor. Cue'da sonucu çözümlenmiş bir kare, transkript metni ve kanal sıralarıyla birlikte tuttum. Uygulama yerel kare dizileri ve hazır zamanlı transkriptlerle çalışıyor. Böylece bir kayıt servisine ihtiyaç duymadan aramanın veri ve değerlendirme adımlarını aynı örnek üzerinde kontrol edebiliyorum.

Mavi bir dikdörtgeni aramak

Hazır örnekte blue rectangle sorgusuyla başlıyorum. Örnek veri kipinde sonuç, clip-10 kaydının sıfır ile üç saniye arasını gösteriyor. Görsel kosinüs değeri 1; metin kanalı bu sorguya kanıt eklemiyor. Birleşik sıralama puanı, görsel kanalın ilk sırasından gelen 1/61 katkısıyla oluşuyor.

Aralığın başlangıcındaki gerçek kareyi, kaynak kimliği ve zamanlarıyla birlikte gösteriyorum. Kanıt panelinde puanlar ve kanalların katkıları korunuyor. Böylece sonucun neden geldiğini somut olarak sorabiliyorum: görüntü mü eşleşti, yoksa transkriptteki bir ifade mi bu aralığı sıralamaya taşıdı? Ekrandaki kare ile temsil arasındaki farkı da açık tutuyorum. Gösterilen görüntü aralıktaki tek bir gerçek kare; arama için kullanılan bölüm temsili ise o aralığın karelerini özetliyor. Bütün özelliklerin yalnız o ilk karede birlikte görünmesi gerekmiyor.

Film karesiyle kâğıt şeridi aynı noktada birleştiren karakter
Görüntü ve metin kanıtını aynı anda buluşturma fikrini çizdim.

Puanın önüne sonucu koymak

Streamlit arama yüzeyini küçük tuttum. Sorgu alanının altında veri bölümünü, arama yöntemini ve sonuç sayısını seçen kontroller var. Arama, kaydedilmiş yerel indeksi kullanıyor. Her sonuçta sıra, video kimliği ve zaman aralığı bulunuyor; görüntü ile transkript bunları izliyor. Daha ayrıntılı sıralama kanıtı, açılabilir bir bölümde duruyor.

Arayüz etkin görsel yöntemi ve verinin kaynağını da adlandırıyor. Aynı sorguyu basit görsel tanımlayıcılarla ve isteğe bağlı modelle denediğimde bu ayrım önemli. Kontroller aynı kalsa da yöntemlerin anlayabildiği ifadeler ve cevapsız sorguya davranışları farklı. Kaydedilmiş değerlendirmeyi ayrı bir panelde gösteriyorum. Böylece güncel arama kendi sonucu olarak incelenebiliyor. Daha önceki karşılaştırmayı görmek isteyen kişi o paneli açıp deney türüne ve örnek sayılarına geçebiliyor; arama düğmesine basmak eski ölçümü yeni bir test sonucuna çevirmiyor.

Uygulama ekranları

1 / 3
Basit görsel arama

Üretilmiş kare dizisindeki blue rectangle sorgusunu, kaynak ve zaman aralığıyla birlikte açtım.

Görseli tam boyutta aç

Kayda bir zaman yapısı vermek

Her girdi dizisini, her saniyede başlayan üç saniyelik pencerelere ayırıyorum. Son pencereler kaydın toplam süresinde bitiyor. Aralıkları yarı açık tanımladım; böylece bir sınır noktası sonraki aralığa ait oluyor. Transkript parçası ile pencerenin zamanları pozitif uzunlukta kesişiyorsa metin o pencereye giriyor ve sözlerin sırası korunuyor.

İçe aktarma adımında kaynak kimliklerini ve grup ayrımlarını indekslemeden önce denetliyorum. Karelerin açılabilmesi, boyutları ve zaman bilgileri de kontrol ediliyor. Bozuk bir kayıt, arama sonucuna dönüşmeden önce adı belli bir hata üretiyor. Aynı kaynaktan gelen örtüşen bölümler kaynak grubunu birlikte taşıyor. Böylece bir klibin pencereleri eğitim ile test arasında dağılmıyor. İndeksleme ve tahmin girdi içeriğini kullanıyor; doğru kabul edilen zaman aralıklarını yalnız değerlendirme adımı okuyor.

Sözlüğü sınırlı bir görsel başlangıç

Görsel kanalda doğrudan inceleyebileceğim tanımlayıcılarla başladım. Karelerdeki renk maskelerinin alanlarını ve basit şekil özelliklerini ölçüyor, sonra bu değerleri pencere boyunca ortalıyorum. Sorgu dilbilgisi, blue ve rectangle gibi küçük bir renk ve şekil sözcüğü kümesini destekliyor. Bu sözlüğün dışındaki sorgu için desteklenen görsel kanıt bulunmayabiliyor.

Bu başlangıç yönteminin varsayımları açık. Daire özelliği, sınırlayıcı kutunun doluluk oranına dayanan bir yaklaşım; benzer doluluğa sahip başka şekillere de cevap verebilir. In veya on gibi sözcükler uzamsal ilişki kurmuyor. Bu tanımlayıcıları, içeriğin doğru zaman aralıklarına ulaşıp ulaşmadığını görmek ve daha geniş bir görsel temsille karşılaştırılacak sayısal bir referans oluşturmak için kullanıyorum. Birkaç sözcükle alınan doğru cevabı, keyfi sahneleri anlayabilme yeteneği olarak genişletmiyorum.

Metin öğrenmesini eğitim tarafında tutmak

Sözcükler için yalnız 36 eğitim bölümünde kurulmuş TF-IDF kullanıyorum. Oluşan sözlük ve ters belge sıklıkları, 72 bölümün tamamını yeniden öğrenmeden dönüştürüyor. Bu seçim, transkript aramasını incelenebilir bir temele oturtuyor. Test metinleri, hazırlık aşamasındaki sözlük ve ağırlıkları değiştirmiyor.

Kararın görünür bir bedeli var. Yalnız ayrılmış kliplerde geçen proje kimlikleri sözlüğe girmiyor. Kapanış veya logo gibi ortak sözcükler birkaç kaynak arasında eşit puan oluşturabiliyor. Hangi sonucun önce gösterileceğini bu durumda belirlenmiş sıralama kuralı seçiyor. Bu davranışı karşılaştırmada korudum. Hatayı gördükten sonra test kimliklerini sözlüğe eklemek, deneyin neyi ölçtüğünü değiştirecekti. Metin kanalının girdisi de hazır transkript. Ses tanıma veya ses çıkarma, bu sürümün çalıştırdığı girdi hattında yer almıyor; arayüzdeki metinler bu ayrımla okunmalı.

Görsel temsili değiştirmek

Daha geniş bir görsel arama uzayını incelemek için görüntü ve metin kuleleri eşleşen LAION CLIP ViT-B/32 modelini ekledim. Kare vektörleri normalize ediliyor, mevcut pencere içinde ortalanıyor ve ortalama yeniden normalize ediliyor. Sorgu, aynı modelin metin kulesini kullanıyor. Pencereleri ve transkript yöntemini değiştirmedim. Böylece karşılaştırmada hangi temsilin değiştiği belirli kalıyor.

Bağdaştırıcı, doğrulanmış yerel dosyalardan CPU üzerinde çalışıyor. Eksik veya uyumsuz dosya olduğunda tahmin sırasında indirme başlatmak yerine hata veriyor. Kaydedilen indeks, girdi özetlerinin yanında kullanılan yöntemin ve ön işlemenin kimliğini de taşıyor. Kaynak içerik değiştiğinde yeni indeks gerekiyor. Model, kendi İngilizce belirteçlemesini ve 77 belirteçlik kısaltma sınırını kullanıyor. Buradaki Türkçe anlatı, modelin Türkçe arama başarısının sınandığı anlamına gelmiyor; bu destek ayrıca değerlendirilmeyi bekliyor.

Puan ölçeklerini karıştırmadan sıraları birleştirmek

Kanalları 60 sabitli reciprocal-rank fusion ile birleştiriyorum. İlk sıradaki sonuç 1/61, ikinci sıradaki 1/62 katkı veriyor. Aynı bölüm iki kanaldan da geldiğinde katkılar toplanıyor. Ham kosinüs değerlerini ayrı tutuyorum; görüntü ve transkript puanlarının kendiliğinden karşılaştırılabilir bir ölçeği yok.

Birleştirmeden sonra aynı kaynaktan doğrudan örtüşen aralıkları bastırıyor, istenen sonuç sayısını bundan sonra seçiyorum. Bu adım listeyi okunabilir tutuyor. Yine de yan yana duran iki aralık aynı anı anlatabiliyor. Katkıları görünür bırakmamın nedeni, tek bir yararlı kanalın bir sorguyu karşılamasıyla iki kanalın aynı aralığı desteklemesini ayırabilmek. Değerlendirmede, bu iki durumun sonuç sırasını nasıl değiştirdiğine bakıyorum. Bir sonuçta iki katkı görmek, tek başına o sonucun daha üst sıraya taşındığını göstermiyor.

Karşılaştırmayı ortak bir veri üzerinde tutmak

Zamanlı transkriptlerle birlikte 144 PNG içeren, altışar saniyelik 12 klip ürettim. Kaynak grupları altı eğitim, üç doğrulama ve üç test klibi olarak ayrılıyor. Toplamda 27 sorgu ve 30 ilgili aralık kaydı var. Test karşılaştırmasında altı cevaplanabilir sorgu bulunuyor; tek cevapsız sorguyu ayrıca değerlendiriyorum. Tekrarlanan sahneler ve yalnız dört farklı kare içeriği, bunun küçük bir bütünleşme örneği olduğunu belirliyor.

Tanımlayıcı ile modelin eşli koşumları, sonuçları önceden bilinen sorgular üzerindeki kaydedilmiş keşif karşılaştırmaları. Uygun veri kümesini ve arama politikasını ortak tutup kanalları ayrı ayrı ve birleşik biçimde ölçtüm. İlgili sonuç için doğru kaynak ve işaretlenmiş aralıkla zamansal örtüşme gerekiyor. Bire bir eşleştirme, birkaç dönen pencerenin aynı işaretli an için tekrar tekrar başarı sayılmasını önlüyor.

İkinci kanalın nerede yardım ettiğini görmek

Kaydedilmiş testte basit görsel yöntem, altı cevaplanabilir sorgunun üçünü ilk üç sonuçta buldu. Metin yöntemi ikisini buldu. Birleşik sıralama beşini buldu ve MRR 0.755556 oldu. Korunan örnek veri sonuçlarının hiçbiri iki kanaldan birden katkı almıyordu. Buradaki artış, farklı sorgu türlerinin karşılanmasından geliyor.

CLIP görsel yöntemi ve onun birleşik sıralaması, altı sorgunun tamamını ilk üçte buldu. İkisinin MRR değeri de 0.805556. Birleştirme, bir konuşma sonucunu üçüncü sıradan ikinciye çıkarırken diğerini ikinciden üçüncüye indirdi. Bu karışık sonucu görünür bıraktım. Isınma sonrasındaki 20 tek örnekli işlemde medyan süre basit birleştirme için 0.5842 ms, model için 72.0735 ms olarak kaydedildi. Bunlar arayüzü ve ilk yüklemeyi içermiyor. Arayüz her istekte yeni arayıcı kurduğu için etkileşimli arama yeniden model yükleme maliyeti de taşıyabiliyor.

Cevapsız sorguyu ve yinelenen anları görünür bırakmak

Purple elephant in snow sorgusu, modelin önemli bir hatasını açığa çıkarıyor. Örnek veride ilgili bir an bulunmadığı hâlde görsel model pozitif benzerlik döndürüyor ve birleşik yöntem sonuçları koruyor. İkisinde de tek cevapsız sorgunun biri yanlış olumlu oluyor. Pozitif kosinüsü, cevap bulunabildiğine güvenilir biçimde karar veren bir ölçü olarak kullanamıyorum.

Kapanış anındaki hatayı da korudum. Yan yana duran [2,5) ve [5,6) aralıkları aynı kapanış sahnesini karşılayabiliyor; örtüşmedikleri için bastırma adımından birlikte geçiyorlar. İlgili klip beşinci sırada görünmeden önce listede yer tüketiyorlar. Eski indeks veya bozuk kare ise adı belirtilen bir hazırlık hatası üretiyor; seçili yöntemin yeniden kurulması açıklanıyor. İsteğe bağlı değerlendirme raporu bozuksa arama kapanmadan uyarı veriliyor. Kanıt bulunmaması ile hazırlığın bozulması arayüzde ayrı durumlar olarak kalıyor.

Daha geniş bir değerlendirmeden önce değiştireceklerim

Cue bana kapsama, aynı sonuca katılma ve sıralama iyileşmesini ayrı ayrı incelemeyi öğretti. Dönen bir anı açıp onu o sıraya taşıyan katkıyı takip edebiliyorum. CLI ve arayüz bu yolu paylaşıyor. İndeksin kimlik denetimleri de değişmiş bir girdinin, haber vermeden eski temsili kullanmasını engelliyor.

Bir sonraki değerlendirmeyi, kullanım hakkı belirli gerçek klipler ve daha geniş bir ayrılmış sorgu kümesiyle yapmak isterim. Çelişen kanıtlar ve özellikle cevapsız bırakılmış sahneler bu kümeye girmeli. An gruplamayı ve reddetme eşiğini, dokunulmamış örnekler puanlanmadan önce ayrı geliştirme adımlarında ele alacağım. Mevcut projede çalıştırılmış MP4 çözücü, ASR veya hareket analizi hattı yok. Yerel kare dizisi akışı, sonraki eklemeleri deneyebileceğim bir çalışma yüzeyi sağlıyor. Özgün raporları koruyarak her yeni deneyin kaynağını ve yapılandırmasını ayırt edilebilir tutabiliyorum.

Projeler için müsait