The use of pretrained language models in sentiment analysis

Abstract

Doğal dil işleme, dil bilim ve yapay zekânın alt konularından biridir. Duygu analizi herhangi bir konuda bir metni öznel içeriğine göre sınıflandırma yapar. Genellikle bireylerin çeşitli platformlarda bir konu hakkında düşünce, duygu ya da tutumu gibi verileri irdelemek, analiz etmek ve yorumlamak amacıyla kullanılan yöntemlerden biridir. Sosyal medya paylaşımlarındaki artış bu platformlarda yapılan duygu analizi çalışmalarını da artırmıştır. Duygu analizi yapılırken farklı yöntemlerden yararlanılır. Makine öğrenmesi ve doğal dil işleme algoritmaları ile duygu tespiti ile sınıflandırma yapılır. Son yıllarda önceden eğitilmiş dil modelleri makine öğrenmesi metotlarıyla birlikte ya da tek başına kullanılmaya başlamıştır. Bu tezin amacı önceden eğitilmiş dil modelleri ile sosyal medya yorumlarında duygu analizinin varsayımsal avantajlarını test etmektir. Bu amaçla Twitterdaki Covid-19 ile ilgili tweetler için duygu analizi yapılmıştır. Önceden eğitilmiş dil modelleri kullanılarak duygu yoğunlukları tespit edilmiş ve sonuçları karşılaştırılmıştır. Analizlerde BERT, RoBERTa ve BERTweet'ten yararlanılmıştır. Sonuçlar, duygu analizi için NLP tekniklerinin diğer teknikler kadar başarılı olduğunu göstermektedir.

Natural language processing is one of the sub-topics of linguistic science and artificial intelligence. Sentiment analysis classifies a text on any topic according to its subjective content. It is one of the methods used to examine, analyze and interpret data such as the thoughts, feelings or attitudes of individuals about a subject on various platforms. The increase in social media shares has also increased the sentiment analysis studies conducted on these platforms. Different methods are used during sentiment analysis. Classification is carried out by sentiment analysis using machine learning and natural language processing algorithms. In recent years, pre-trained language models have been used together with machine learning methods or alone. The aim of this thesis is to test the hypothetical advantages of sentiment analysis in social media comments with pre-trained language models. For this purpose, sentiment analysis was performed for Covid-19 related tweets on Twitter. Emotion intensities were determined using pre-trained language models and the results were compared. BERT, RoBERTa and BERTweet were used in the analysis. The results show that NLP techniques for sentiment analysis are as successful as other techniques.