Turkish Broadcast News Transcription Revisited

Abstract

Bu çalışmada yaklaşık on yıl önce gerçeklenen Türkçe haber programları için otomatik konuşma tanımayla yazılandırma sistemi güncel yöntemlerle yenilenerek aynı veri üzerindeki başarımı ölçülmüştür. Son yıllarda yapay sinir ağları temelli derin öğrenme yöntemleri konu¸sma tanıma hata oranlarında belirgin bir iyileşme sağlamıştır ve günümüzde yaygın olarak kullanılmaktadır. Bu bildiride geliştirilen konu¸sma tanıma sisteminin temel bileşenleri olan akustik ve dil modelleri için sinir ağları kullanılmıştır. Akustik modelleme için derin sinir a^gları hem çapraz entropi hem de ayırıcı dizi amaç işlevleriyle eniyilenmiştir. Ayrıca uzun süreli bağımlılıkları modellemek için yinelemeli sinir ağlarına benzer bir başarım gösteren ama daha çabuk eğitilebilen zaman gecikmeli sinir ağları kullanılmıştır. Daha sonra bunların ayırıcı eğitimle eniyilenmesi sonucunda en düşük hata oranlarına ulaşılmoştır. Dil modeli için ise yinelemeli sinir ağları kullanılmıştır. Bu yeni sinir ağları kullanan modeller ile kelime hata oranlarının yarılandığıve %10’un altına düştüğü gözlemlenmiştir.

Abstract—In this study a decade old automatic speech recognition system for Turkish broadcast news transcription is revisited and updated with the latest methods. Recently deep learning using artificial neural networks resulted in significant improvements in speech recognition error rates and became the state-of-the-art. Neural network based acoustic and language models are used as the main components of the speech recognition system built in this paper. For acoustic modeling, deep neural networks are optimized using both cross-entropy and sequence discriminative objective functions. In addition, time-delay neural networks are used for modeling long term dependencies with similar performance to recurrent neural networks. The lowest error rates are obtained using discriminatively trained versions of these models. For the language model a recurrent language model is used. It was observed that the word error rates are approximately halved and fell below 10%.