Interviewster: a Chatbot Evaluating Competency Based Interviews Using Transformer Models

Abstract

İşe alım, insan kaynaklarının en sözel ve iletişimsel alanlarından biridir. Bu departmanın insan faktörünün baskın olması nedeniyle yeniliğe açık olduğu kadar önyargıya da açık olan birçok yönü bulunmaktadır. Bu da yapay zeka teknolojilerindeki ilerlemeyle birlikte birçok inovasyon ihtiyacını (ve şansını) beraberinde getirmektedir. Bu çalışmada adayları karşılayan, bilgi toplayan (ad-soyad, iş durumu, bilgisayar bilgisi, eğitimi, hobileri gibi) ve geçmiş deneyimleri hakkında yetkinlik bazlı sorular sunan ve bu soruları doğru cevaplayabilmesi için onlara yardımcı olan "Interviewster" adlı bir sohbet robotru oluşturmaya odaklanılmaktadır. Bu sohbet robotu adayı karşılar ve konuşmayı başlatır, adaydan toplanan verileri kaydeder, yetkinlik bazlı görüşme yapar ve sinir ağları mimarileri ve transformer tabanlı teknolojileri kullanan doğal dil işleme teknikleri ile adayın gerekli yetkinliğe sahip olup olmadığına karar verir. Web üzerinde çalışmakta olan bu sohbet robotu Python ile kodlanmış ve Flask ile web'de yayınlanmış olup Mysql veritabanını kullanan bir Python çekirdeği üzerinde çalışmaktadır. Bu tezde ilk olarak mülakat uygulamaları tanıtılmakta ve yetkinlik bazlı mülakatların yöntem ve uygulamaları anlatılmaktadır. Sonrasında Interviewster olarak adlandırılan sohbet robotunun mimarisi, kullanılan teknolojiler, kütüphaneler ve makine öğrenmesi teknikleri, detayları verilerek açıklanmıştır. Son olarak da transformer tabanlı modeller olan BERT, DeBERTa ve ELECTRA modellerinin gerçek adayların yetkinlik bazlı mülakat sonuçlarına uygulandığı bir değerlendirme çalışmasının sonuçları detaylı olarak tartışılmıştır.

Recruitment is one of the most verbal and communicative area of Human Resources (HR). This department has many aspects that is open to innovation but also open to the bias, because of the dominance of the human factor. This brings the need (and chance) of many innovation possibilities coming up with the progress in artificial intelligence technologies. Here we will focus on creating a chatbot named as "Interviewster" that welcomes candidates, gathers information (such as name-surname, work status, computer knowledge, education, hobbies), and provides competency-based questions about their past experience and helps them to answer these questions correctly. This chatbot welcomes a candidate and starts the conversation, saves the data collected from the candidate, conducts a competency based interview and decides if candidate has the required competency or not by using natural language processing techniques that utilize neural network architectures and transformer-based technologies. The chatbot is running on the web, coded in python, published to the web by Flask, works on a python core with a Mysql database. In this thesis, interview practices are first introduced, and the methods and applications of competency-based interviews are described. The architecture of the chatbot named as Interviewster is then explained by providing details of the technologies, libraries and machine learning techniques being used. Finally, the results of an evaluation study where the transformer-based models BERT, DeBERTa, and ELECTRA models are applied to the competency-based interview results of real candidates are discussed in detail.