Yapay Zekâ ve Makine Öğrenmesi Mühendisliği

Flick

Flick’i, aynı el duruşundan geçebilen hareketleri zaman içindeki yollarıyla ayırmak için geliştirdim. Daire, sağa kaydırma ve zigzag yörüngelerini işleyip kabul edilen hareketi uygulamada görünen bir eyleme bağladım.

Yörüngeyi izlemekArayüzü incele ↘
Çalışma
El hareketi yörüngelerini sınıflandırma ve durumlu tetikleme
Katkım
Yörünge ön işlemesini, iki sınıflandırıcıyı, tekrar tetiklemeyi önleyen durum makinesini ve yerel oynatmayı geliştirdim.
Yıl
2026
İçindekiler

Pozların arasındaki hareketi okumak

Flick'i küçük bir etkileşim sorusu etrafında geliştirdim. Bir el, benzer bir parmak duruşunu koruyarak daire çizebilir, sağa kayabilir veya zikzak yapabilir. Tek bir kareye baktığımda bu hareketleri ayıran bilginin büyük kısmını kaybediyorum. Elin zaman içindeki yolunu tanıma hattına taşımak ve çıkan kararın arayüzde ne yaptığını göstermek istedim.

Hedeflediğim kullanım anlaşılır: kişi bir hareket yapıyor, uygulama bunu kabul ediyor ve görünür bir eylem oluşuyor. Bu davranışı kurarken hareketin nasıl temsil edileceğine, bir etiketin ne zaman kabul edileceğine ve aynı hareketin kaç kez eylem üreteceğine karar vermem gerekiyordu. Kapsamı tek el, üç hareket ve arka planla sınırlı tuttum. Böylece bir hareketin girdiden ekrandaki sonuca kadar geçirdiği değişiklikleri aynı örnek üzerinden takip edebildim.

Tek bir daireyi yeniden oynatmak

Davranışı anlatmak için yerel uygulamada bir daire kaydı seçiyorum. Model alanında trajectory_rf açıkken Replay düğmesine basıldığında tahmin edilen etiket görünüyor. Arayüz, yeniden örneklenmiş işaret parmağı koordinatlarını grafikte gösteriyor ve karar izine yeni bir satır ekliyor. Kabul edilen bir hareket bölümü, Highlight circle adlı uygulama içi eylemi oluşturabiliyor.

Aynı kaydı tekrar oynatınca karar geçmişi büyüyor, eylem sayısı birde kalıyor. Bu ayrımı ekranda izlenebilir tuttum; çünkü sınıflandırıcı bir hareketi birkaç kez görebilir. Hand absent seçeneği ve Release / rearm düğmesiyle açık bir arka plan gözlemi verilebiliyor. Ardından bekleme koşulu uygunsa yeni bir bölüm başlayabiliyor. Reset replay ise daha geniş bir sıfırlama yapıyor: sunum saati, karar izi ve biriken eylemler birlikte temizleniyor.

Tek jeton geçirdikten sonra mekanik kilidi tutan karakter
Tekrarlanan hareketin bir eyleme dönüşmesini bu küçük kilitle anlattım.

Her kararın ekranda bir yeri olması

Streamlit arayüzünü yeniden oynatma kontrolleri ve bunların sonuçları etrafında düzenledim. Hangi modelin ve hangi kaydın seçildiği açıkça görülüyor. İsteğe bağlı JSON alanı, seçili örneğin yerine ham bir istek göndermeye izin veriyor. Altındaki sonuç ve koordinat grafiği o kararı açıklarken karar tablosu ile eylem sayısı istekler arasında yaşananları koruyor.

Bu yerleşim, normalde görünmeyen bir durumu okunabilir hâle getiriyor. Daire tanınmış olmasına rağmen yeni bir eylem oluşmaması, basılı kalan hareket bölümünün doğru sonucu olabilir. Mesajda arka planın, aynı bölümün sürmesinin veya bekleme süresinin yeni eylemi engelleyebildiğini anlatıyorum. Ölçülmüş değerlendirmeyi de güncel yeniden oynatmadan ayrı gösteriyorum. Bir kaydı değiştirmek geçmiş deney sonucunu yenilemiyor; ekranda etiket görmek de başka bir uygulamaya komut gönderildiği anlamına gelmiyor.

Uygulama ekranları

1 / 3
Yörüngeyi izlemek

Kayıtlı el noktalarını oynatarak yolun ve kabul edilen hareketin birlikte izlenmesini sağladım.

Görseli tam boyutta aç

Yer değiştirmeyi koordinatların içinde korumak

Tanımaya çalıştığım hareketin, veri hazırlanırken kaybolmaması gerekiyordu. Bunun için ilk karedeki bilek konumunu referans aldım. Koordinatları bu başlangıç noktasından çıkarıyor, ilk karede bilek ile orta parmağın taban noktası arasındaki uzaklıkla ölçekliyorum. Sonraki karelerde elin yaptığı yer değiştirme bu referansa göre korunuyor.

Her karede o karenin bileğini çıkarsaydım el sürekli kendi çevresinde merkezlenmiş olacaktı. Özellikle sağa kayma hareketinde, sınıfları ayırmak istediğim yolun önemli bir kısmını silmiş olurdum. Normalleştirmeden sonra işaret parmağı ucunun izini kullanıyorum. Girdinin koordinat sözleşmesini de belirli tuttum: görüntüye göre normalize edilmiş, aynalanmamış x, y ve z değerleri; aşağı doğru artan y ekseni. Dönmeye karşı değişmezlik uygulamadım. Bu nedenle elin yönelimi, modelin hangi koşullarda çalıştığını anlatırken korunması gereken bir sınır.

Farklı saatleri birbirinden ayırmak

Yolu, kaydın zaman damgalarını kullanarak 64 adıma yeniden örnekliyorum. Böylece iki sınıflandırıcıya tutarlı bir temsil verebiliyor, özgün geçen süreyi de elde tutabiliyorum. Hız istatistiklerini geçen saniyelerle hesaplıyorum. Düzensiz örnekleme, hareketin gerçekten daha hızlı yapılmasıyla karışmıyor.

Uygulamada üç farklı zaman bilgisi var. Kaynağın zaman damgaları kaydedilmiş hareketi tanımlıyor. Yeniden oynatmanın sunum saati, tamamlanmış pencereleri sıralıyor ve tetikleyicinin bekleme süresini yönetiyor. Bilgisayarın saatiyle aldığım ölçüm ise hesaplamanın ne kadar sürdüğünü gösteriyor. Bir kaydı belirli uzunluktaki sunum penceresinde göstermek, içindeki hareketi o süreye yaymıyor. Replay düğmesinin yaptığı iş de bu ayrımdan okunabiliyor: tamamlanmış kayıt sınıflandırılıyor. Kameradan akan hareketin başlangıcını ve bitişini bulmak için ayrıca bir tamamlanma algılayıcısı ve işaretlenmiş olay verisi gerekiyor.

İncelenebilir bir yol karşılaştırmasıyla başlamak

Temel karşılaştırma için 36 hareket eğitim örneğine karşı Dynamic Time Warping kullandım. DTW, işaret parmağı izlerini karşılaştırırken iki dizinin ilerleyişindeki farklara izin veriyor. Biriken Öklid uzaklığı maliyetini dizi uzunlukları toplamına bölüyor, ardından seçilmiş uzaklık eşiğiyle örneğin şablonlardan fazla uzak olup olmadığını değerlendiriyorum.

Bu yöntem bana incelenebilir bir referans veriyor. Etiketin yanında en yakın şablonun kimliği de bulunabiliyor; sorgudaki hareketin hangi kayıtlı yola benzediğini görebiliyorum. Hesap doğrudan koordinatlarla yapılıyor, örneğin adından beklenen cevap çekilmiyor. Öğrenen sınıflandırıcıyı bu referansla karşılaştırmak istedim. Böylece modele eklenen karmaşıklığın hesaplama süresini, kabul davranışını ve kalan hataları nasıl değiştirdiğini somut örnekler üzerinden değerlendirebiliyorum. İki yöntemi aynı test kayıtlarında tutmamın nedeni de bu karşılaştırmayı korumak.

Öğrenen karşılaştırmayı küçük tutmak

Öğrenen yöntem olarak sabit rastgelelik tohumu kullanan, 100 ağaçlı bir RandomForest kurdum. Girdisi 202 özellikten oluşuyor. Yeniden örneklenmiş 64 üç boyutlu konumun yanında eksen hızlarının özetleri, hız büyüklüğü istatistikleri ve toplam süre bulunuyor. Bu seçimle modelin girdisini hareketle ilişkili tuttum; indirilecek bir görsel omurgaya ihtiyaç duymadan CPU üzerinde çalışabiliyorum.

En yüksek olasılığı alan hareketin ayrıca kabul eşiğini geçmesi gerekiyor. Geçemediğinde sonuç arka plan oluyor. Modelleri eğitim verisinde kurup eşikleri doğrulama verisinde seçtim; test bölümünü bundan sonra puanladım. Kaydedilen model dosyaları yapılandırma ve kaynak kimliklerini de taşıyor. Uyuşmayan bir dosya yüklendiğinde hata veriliyor. Tahmin komutu veya arayüz, eksik modeli sessizce yeniden eğitmiyor. Böylece hangi karşılaştırmanın davranışını incelediğim belirli kalıyor.

Basılı kalan hareketi tek bir bölüm olarak tutmak

Tanımayı, eylem üretme kararından ayırdım. Tetikleyicide bir hareket kilidi ve sabit bir saniyelik bekleme süresi var. Yeni bir hareket bölümü geldiğinde kilit, bu bölümün işlendiğini kaydediyor. Aynı bölüm içinde yinelenen hareket tahminleri, bekleme süresi dolduktan sonra da yeni eylem oluşturmuyor.

Bir hareket etiketinden başka bir hareket etiketine geçmek kilidi açmıyor. Arka plan veya açıkça belirtilmiş el yokluğu bu bölümü serbest bırakıyor. Bekleme süresi içinde başlayan bölüm de bir sonraki serbest bırakmaya kadar tüketilmiş sayılıyor. Bu politika, birbirine yakın iki amaçlı hareketten birini bastırabilir. Arayüzdeki açıklamayı ve testleri buna göre kurdum. Yeniden oynatmada neyin yeni bölüm sayıldığı anlaşılır kalıyor. İnsan hareketinin doğal sınırlarını sürekli kayıttan bulma işi ise ayrıca incelenmesi gereken bir geliştirme adımı olarak duruyor.

Yeniden kurulabilir bir deney hazırlamak

Her karede zaman damgası ve 21 üç boyutlu el noktası bulunan 144 sentetik kayıt ürettim. Eğitim, doğrulama ve test bölümlerinin her birinde 48 kayıt var. Her bölüm, üç hareket sınıfının ve arka planın her biri için 12 örnek içeriyor. Örnek kimlikleri ve bölüm etiketleri, tahmin için kullanılan özelliklere girmiyor.

Oturum kimlikleri ayrılmış olsa da 15 analitik şekil prototipi bütün bölümlerde tekrar ediyor. Bu düzeni ortak şekiller çevresindeki değişimleri kontrol etmek için kullanıyorum. Kaydedilmiş deneyde iki yöntem, eşikleri sabitlendikten sonra aynı test kimliklerini puanladı. Arka plan eylemlerini incelerken 60 saniyelik birleşik aralığa yayılan 117 pencere kullandım. Bu akış, toplam 16.947564 saniyelik özgün malzeme içeren 12 kaydı tekrar kullanıyor. Sıfır olay sonucunu değerlendirirken bu tekrar yapısını da beraberinde veriyorum.

Reddedilen zikzağı sonuçta bırakmak

Kaydedilmiş dört sınıflı macro F1, DTW için 1.0 ve RandomForest için 0.979130 oldu. Fark tek bir zikzak örneğinden geliyor. RF'nin ham kazanan etiketi doğruydu, ancak güven değeri 0.77 ile sabitlenmiş 0.8 kabul eşiğinin altında kaldı. Son çıktı bu nedenle arka plan oldu. DTW aynı örneği kabul etti. Test sonucunu gördükten sonra eşiği değiştirmek yerine bu kaçırmayı sonuçta bıraktım.

Isınmış hesaplamada medyan süre DTW için 10.90 ms, RF için 5.66 ms olarak kaydedildi. p95 değerleri sırasıyla 11.42 ve 5.85 ms. Bunlar ısınma sonrasındaki 25 tek örnekli işlemde doğrulama, ön işleme ve tahmini kapsıyor; hareketi gözleme süresini veya arayüz çizimini içermiyor. İki yöntem de planlanan arka plan akışında sıfır eylem üretti. Birlikte baktığımda, bu örnek kümesindeki hız ve kabul davranışı arasındaki değiş tokuş görünür oluyor.

Hatalı girdiden geri dönebilmek

Hata davranışını yeniden oynatmanın kullandığı aynı akışın içinde tuttum. Boş JSON dizisi bunun anlaşılır bir örneği. İstek bir nesne bekliyor; alana [] yazıldığında makul görünen bir tahmin yerine neyin geçersiz olduğunu söyleyen bir mesaj çıkıyor. Alanı temizleyip bölümü serbest bırakarak uygulamayı yeniden başlatmadan devam edilebiliyor.

Çekirdek kod sayısal noktaları, kesin olarak artan zaman damgalarını ve kullanılabilir avuç geometrisini de denetliyor. Elin yokluğu açık bir arka plan gözlemi; bozuk geometri ise hata. Model dosyası eksik olduğunda veya yapılandırma uyuşmadığında hazırlık sorunu adıyla gösteriliyor. Böylece başarısız istek, inandırıcı bir eylem kaydına dönüşmüyor. Yükleme, tahmin ve tetikleme kodunu CLI ile arayüz arasında paylaştırdım. Grafik gösterim de komut satırındaki kuralları kullanıyor.

Gerçek kayıtlarla neyi ölçmek isterim?

Flick üzerinde çalışırken sınıflandırıcı puanının yanında temsilin ve eylem durumunun da incelenmesi gerektiğini öğrendim. Hareketin korunmuş izi, iki yöntem arasındaki karşılaştırmayı anlamlı kılıyor. Görünür kilit durumu ise yeni bir tahminin neden doğru biçimde eylem üretmeyebileceğini açıklıyor. İkisini yeniden oynatmada takip edebiliyor, bir hatayı yorumlarken kaydedilmiş sonuçlara dönebiliyorum.

Sonraki yararlı girdi, farklı arka plan hareketleri içeren ve oturum bazında ayrılmış insan kayıtları olur. Olumlu hareketlerin başlangıç ve bitişlerinin işaretlenmesi, olay yakalama oranını ve tamamlanmadan tetiklemeye geçen süreyi ölçmeyi sağlayacak. Bu projede kamera yakalama çalıştırılmadı. Mevcut yerel çalışmada özgün deneyi koruyor, yeniden üretim için ayrı çıktı konumları kullanıyorum. Böylece sonraki denemeler sistemi ilerletirken bu sürümü anlatan kanıtlar yerinde kalabiliyor.

Projeler için müsait