Microsoft araştırma ekibinin son projesi iletişime yeni bir boyut kazandırmayı hedefliyor. Microsoft’un oyun konsolunun harekete duyarlı kamerası Kinect‘i kullanarak umut verici bir projeye start veren yetkililer, işaret dilinin herkes tarafından anlaşılmasını sağlayarak işitme engellilerle daha kolay iletişim kurulabilmesinin yolunu açıyor.
Microsoft Research kapsamında hayata geçirilen çalışma günümüzün en önemli sorunlarından birine çözüm arıyor. Popüler oyun konsolu Xbox’ın Kinect’ine özel yazılım geliştiren mühendisler, işaret dili ile konuşma dilini birbirine dönüştürebiliyor.
Microsoft Research Asia, Çin Bilim Akademisi ve Pekin Union Üniversitesi‘nin birlikte çalışması sonucu geliştirilen fikir, 20 milyon işitme engelli nüfusuna sahip olan Çin’de hayata geçirilmeye çalışılıyor. Projenin ilk altı ayında ekip, Çin işaret diline ait tüm verileri toplamaya odaklandı. Ardından da işaret dilinin tanınması sistemini geliştirmeye koyuldular. Dil modelleme, çeviri, bilgisayarla görü, konuşma algılama, 3D modelleme ve özel eğitim gibi dallarda uzmanlaşmış kişilerden oluşan bir takım, her ay bir araya gelerek bu sistemin geliştirilmesine katkıda bulundu; kaydedilen ilerlemeyi gözden geçirdi ve bir sonraki adımı planladı.
Şimdilik sınırlı sayıda da olsa bu proje, işaret dilini algılayıp bunu metin ve ses bazlı cümlelere dönüştürebiliyor. Tam tersi; ses ve yazıyı da işaret diline çevirebiliyor. Üzerindeki derinlik algılayıcı ve hareket sensörleri sayesinde, hem Çin hem de Amerikan işaret dilinin hareketlerini tanımaya başlayan Kinect İşaret Dili Çeviricisi, yazılım sayesinde dönüştürme işlemini yapıyor. Üstelik doğru çeviri için Bing altyapısı da kullanılıyor.
Sistem şu anda hâlâ araştırma aşamasında. Proje, belirli bir kişinin yaptığı tek tek işaretleri tanıma aşamasından (çeviri modu) akıcı olarak işaret dilini kullanan birinin söylediklerini anlama (iletişim modu) aşamasına doğru ilerliyor. Şu anda kullanılmakta olan prototip, çeviri modunda başarılı sonuçlar kaydediyor. Ekip şimdilerde sistemin iletişim modunda da iyi ve gerçekten güvenilebilir bir şekilde işaret dilini anlayabilmesi ve yorumlayabilmesi için teknolojinin güçlüklerinin üstesinden gelmeye çalışıyor.
Dünyada yaklaşık 360 milyon işitme engellinin bulunduğuna dikkat çeken geliştiriciler, sistemin havaalanı, hastane gibi bölgelere yerleştirildiğinde, işitme engellilerin yaşadığı problemlerin minimuma indirilebileceğini belirtiyor.
Prototip aşamasındaki Kinect İşaret Dili Çeviricisi‘nde 1 kelime için beş farklı kişiyle el hareketlerinin tanıtılması gerekiyor. Bu yüzden servisin tam kapasite çalışabilmesinin, tahmin edilenden daha uzun süreceği söyleniyor. Şimdillik 4000 temel kelimeden 300 adedini sisteme girmeyi başaran Microsoft, yoğun mesaisini sürdürüyor.
VİDEO
