Browsing by Author "Liutkus, Antoine"

Now showing 1 - 2 of 2

Diyalog Geliştirme için Bağlaşımlı Tensör Ayrıştırma Yöntemleri
(TÜBİTAK, 2021) Şimşek, Serap Kırbız; Cemgil, Ali Taylan; Liutkus, Antoine
Ayrıştırma tabanlı ses modelleme yöntemleri, hesaplama gücünün artmasıyla ve istatistiksel modelleme yöntemlerinin gelişmesiyle birlikte yaygın olarak kullanılmaktadır. Bu yöntemler, ses kodlama, müziksel bilgi çıkarımı, müziğin notaya dökülmesi, içerik analizi, kaynak ayrıştırma, ses onarımı ve gürbüz konuşmacı tanımanın da aralarında bulunduğu birçok alanda kullanılmaktadır. Bizim bu projede temel amacımız, birden fazla kaynak içeren ses kayıtlarındaki konuşma işaretlerini güçlendirmek için kaynak ayrıştırma algoritmalarından faydalanarak bir yöntem geliştirmektir. Diyalog ve ortamdaki diğer sesler arasındaki doğru dengeyi bulmak ses mühendisleri için önemli bir problem olup, dinleyici şikayetlerinin de gittikçe artan bir sebebini oluşturmaktadır. Dinleyiciler, kendi kişisel tercihlerine, dinleme ortamlarına ve duymalarına uygun olarak diyalog ve çevresel sesler arasındaki ses dengesini kendileri ayarlamak istemektedirler. Bu projedeki temel amaçlar ve aşamalar aşağıdaki gibidir: i) Durağan olmayan çok boyutlu zaman serilerinde, matris ve tensör ayrıştırma modellerini kullanarak diyalog içeren ses kayıtlarından diyalogların ayrıştırılması ve bunun daha sonra kayıtta bulunan diğer seslerle farklı oranlarda yeniden birleştirilmesiyle, kullanıcının ihtiyaçlarına ya da zevkine dayalı bir kayıt dinlemesini sağlama ii) Televizyon programları gibi akan veri üzerinde de çalışabilmek üzere, önerilen yöntemin gerçek zamanda çalışması. Bu bağlamda, veri geldikçe gerçek zamanlı olarak işlenecektir. iii) Geliştirilen yöntemlerin etkinliğinin gerçek uygulamalarda kullanımı. Projenin çıktıları olan modelleme, çıkarım ve model seçimi yöntemleri; işaret işleme, yapay öğrenme ve istatistik alanlarında temel metodolojik katkılar yapmaktatır. Bunun dışında çıktılar, bilgi madenciliği, biyoinformatik, sistem biyolojisi, yer bilimleri, karmaşık sistemler, algılayıcı ağları, finans veya akustik konularındaki büyük veri öbeklerinin incelendiği çalışmaları destekleyecektir. Bu bağlamda, MEF Üniversitesi bünyesinde yerli ve uluslararası alanda süren işbirliklerinin sürdürülmesi ve geliştirilmesi de planlanmaktadır.
Citation - WoS: 4
Citation - Scopus: 4
Perceptual Coding-Based Informed Source Separation
(2014) Girin, Laurent; Kırbız, Serap; Ozerov, Alexey; Liutkus, Antoine
Informed Source Separation (ISS) techniques enable manipulation of the source signals that compose an audio mixture, based on a coder-decoder configuration. Provided the source signals are known at the encoder, a low-bitrate side-information is sent to the decoder and permits to achieve efficient source separation. Recent research has focused on a Coding-based ISS framework, which has an advantage to encode the desired audio objects, while exploiting their mixture in an information-theoretic framework. Here, we show how the perceptual quality of the separated sources can be improved by inserting perceptual source coding techniques in this framework, achieving a continuum of optimal bitrate-perceptual distortion trade-offs.