Effects of emotive language on performance of fake news detection model

Abstract

The increased amount of fake news has created a demand for different fake news detection methods. One way to detect fake news is with machine learning models. While there is a lot of research on different fake news detection models, there is not that much research done on the effects of sentiment information on the classification accuracy of the models. Sentiment information means the overall tone of each of the news articles in the dataset, whether it is positive, neutral, or negative. The goal of this thesis is to find out how sentiment information affects the performance of two of the most popular fake news detection machine learning models. These models are the Naïve Bayes and Support Vector Machine. The sentiment analysis was done with TextBlob and Vader, which are already tested and trained sentiment analysis tools available in Python. The results showed that sentiment information did not have any significant effect on the classification accuracy of the fake news detection models. In most of the cases the addition of sentiment information slightly decreased the accuracy of the models.

Valeuutisten kasvanut määrä on aiheuttanut tarvetta löytää erilaisia menetelmiä valeuutisten havaitsemiseen. Yksi tapa havaita valeuutisia on koneoppimismenetelmien avulla. Vaikka erilaisia valeuutisten havaitsemiseen käytettyjä koneoppimismalleja on tutkittu paljon, ei ole vielä paljon tutkimusta siitä, miten tunnetieto vaikuttaa koneoppimismallien luokittelutarkkuuteen. Tunnetiedolla tarkoitetaan tietoaineiston kunkin uutisartikkelin yleistä sävyä, eli onko artikkeli positiivinen, neutraali vai negatiivinen. Tämän työn tavoitteena on selvittää, millainen vaikutus tunnetiedolla on kahteen suosituimpaan valeuutisten havaitsemiseen käytetyn koneoppimismallin suorituskykyyn. Nämä mallit ovat Naïve Bayes ja Support Vector Machine. Tunneanalyysi tehtiin käyttäen TextBlobia ja Vaderia, jotka ovat Pythonista löytyviä valmiiksi valmennettuja ja testattuja tunneanalyysityökaluja. Tulokset näyttivät, että tunnetiedolla ei ollut merkittävä vaikutus valeuutisia havaitsevien koneoppimismallien luokittelutarkkuuteen. Suurimmassa osassa tuloksista tunnetietojen lisääminen hiukan laski mallien tarkkuutta.