Predicting the Preference of Liking Using Fnirs and Machine Learning Algorithms

Abstract

Davranışsal örüntüleri tespit etmede genel olarak kullanılan fMRI yöntemi pahalı ve pratik olmayan özellikleriyle dikkat çekmektedir. Buna karşın yakın kızılötesi spektroskopi (fNIRS) yöntemi daha ucuz ve portatif özelliklere sahip olmak ile birlikte, iyi bir tahmin modeli oluşturmada fMRI kadar etkilidir. Bu yöntem ile çeşitli makine öğrenmesi algoritmaları kullanılarak insanların bir görsel uyaranı beğenip beğenmediğini tahmin edebilecek bir model geliştirilmiştir. Kullanılan klasik makine öğrenmesi metotları Destekleyici Vektör Makineleri (SVM), Rastgele Orman algoritması, XGBoost, LightGBM, k En Yakın Komşu (KNN) algoritmalarıdır. SVM ve KNN gibi fNIRS çalışmalarında sık kullanılan ve başarıları onaylanmış algoritmaların yanında, artırma ve ağaç bazlı algoritmalar da ek olarak kullanılarak tamamlayıcı bir karşılaştırma yapılması amaçlanmıştır. Bunun yanında, verideki eksik değerleri tamamlamak amacıyla çeşitli eksik veri doldurma yöntemleri kullanılmış ve bu tarz bir sınıflama problemi için aralarından en uygun olanı seçilmiştir. Model geliştirilirken ana odak olan öznitelik indirgeme yöntemleri arasında karşılaştırma yapılmıştır. Gözetimsiz bir eğitme yöntemi olan K-means kümeleme yaklaşımı kullanılarak benzer fNIRS ölçümlerine sahip olan katılımcılar kümelendikten sonra bu kümeler One-hot-encoding yöntemi ile kodlanarak sınıflama sonuçlarının daha başarılı çıkacağı düşünülmüştür. Bunun yanında, ikincil görev olarak, çeşitli öznitelik çıkarım ve sarıcı (öznitelik seçme) yöntemleri de uygulanarak beğeni tahmini modelleri performanslarının artırılması adına denemelerde bulunulmuştur. Kullanılan öznitelik çıkarım metotları arasında PCA, Isomap, t-SNE gibi yaklaşımlar yer almakla birlikte, sarıcı yöntem olarak ileri seçim sarıcı dizaynı ek bir adım olarak kullanılarak modellerin daha da geliştirilmesi amaçlanmıştır. Bu yöntemlerin sınıflama skorları kendi aralarında karşılaştırılarak sonuçlar gösterilmiştir. Modellerin çapraz doğrulama yönteminden gelen F1 skorları kullanılarak en iyi modeller aranmıştır. Tek bir grubu dışarıda bırakan çapraz doğrulama yöntemi kullanılarak modeller arasında karşılaştırma yapılmıştır. Böylece bu çapraz doğrulama yöntemi kullanılarak her katta farklı bir katılımcının verisi tek başına test edilecek şekilde bir kurgu yapılmıştır. Bu şekilde hem her katılımcı özelinde skorlar görülmüş, hem de model performanslarından çıkan sonuçların istatiksel olarak daha güvenilir olması amaçlanmıştır. Son performans değerlendirme ve karşılaştırma yöntemleri olarak permütasyon ve Wilcoxon İşaretli Sıralama teknikleri kullanılarak modellerin skorları istatiksel olarak karşılaştırılmış ve istatiksel anlamları tespit edilmiştir.

The fMRI method, which is generally used to detect behavioral patterns, draws attention with its expensive and impractical features. On the other hand, the near-infrared spectroscopy (fNIRS) method is less expensive and portable, but it is as effective as fMRI in creating a good prediction model. With this method, a model has been developed that can predict whether a person likes a visual stimulus or not, using various classical machine learning algorithms including Support Vector Machines (SVM), Random Forests, XGBoost, LightGBM and K-Nearest Neighbors (KNN). With implementing tree-based and booster algorithms in addition to SVM and KNN which have been frequently used algorithms in this fNIRS domain, it was aimed to do a complementary comparison in addition to these acknowledged algorithms. Moreover, various missing value imputation methodologies were used to find the best suitable approach for this kind of classification problem. K-Means clustering, which is an unsupervised learning method, was also utilized to cluster similar fNIRS measurements of participants that may improve classification results by one-hot encoding those groups. Furthermore, certain feature extraction and wrapper methodologies were also applied for an attempt to enhance the performance of liking prediction models as a secondary goal. PCA, Isomap and t-SNE methodologies were implemented as feature extraction approaches, and forward selection wrapper design was utilized as an additional step to further development of the model by comparing their scores with each other. Cross-validation F1-scores of these models were used to find out the best model among them. Leave-one-group-out cross validation was exploited in comparison of the models. This meant that these cross-validation results corresponded to each of participants' data i.e. testing every participants' fNIRS measurements alone in each fold. This way both every score specific to each participant could be seen and it ensured models' results were statistically reliable. Following evaluations also included permutation and Wilcoxon Signed-Rank tests to compare each model's performance with each other by testing the statistical significance of those results.