Text classification using apache spark

Abstract

One of the biggest problems of enterprises which are marketplace e-commerce business model with social platform; The improper communication of their social platform is the negative impact of the customer experience and the damage of the brand's value both materially and morally. As the number of daily commentaries is in numbers that cannot be read manually with optimal human resources in terms of company profitability, the interpretation modules in social market places are left unconscious. With this Project; established a model that prevents sentences that spoil the customer experience in their social platforms. Both data preparation and machine learning model were developed on Databricks notebook, using the apache spark platform with SparkML libraries and Pyspark language. The “Text Classification” approach is adopted when determining the model.

Sosyal platformu bulunan,elektronik pazar yeri iş modeliyle çalışan girişimlerin, en büyük problemlerinden biri; sosyal mecralarında ki uygunsuz yorumların, müşteri deneyimini olumsuz etki etmesi ve girişimin marka değerinin hem maddi hem manevi zarar görmesidir. Günlük yorum sayılarının şirket karlılığı açısından, optimal insan kaynağı ile manuel olarak okunamayacak sayılarda olması nedeniyle çoğunlukla sosyal pazar yerlerinde ki yorumlaşma modülleri deyim yerindeyse başıboş bırakılmaktadır. Bu Proje ile; bu durumu çözmek amacıyla girişimlerin sosyal mecralarında müşteri deneyimini bozan cümleleri engelleyen bir model geliştirilmiştir. Hem mevcut datanın hazırlığı, hem de Makine öğrenmesi modeli; databricks notebook kullanılarak, Apache Spark üzerinden Python(Pyspark) dili ile sparkml kütüphaneleri kullanılarak geliştirilmiştir. Model belirlenirken metin sınıflandırma yaklaşımı benimsenmiştir.