Xây dựng hệ thống phát hiện tin giả mạo dạng văn bản bằng phương pháp học sâu

Abstract

In this paper, we present an approach to textual fake information detection using deep learning method combined with a Vietnamese-specific pre-training model (PhoBert) to recognize and detect fake information. Our proposed models are tested and evaluated on Vietnamese dataset [1]. From input data through input data processing steps, we need to apply word embedding to convert text data into vector model. Then this vector will go through the PhoBert transform model to get the feature vectors as output. This output vector is the input of an MLP (Multi-layer Perceptron) feedforward network to be used for the classification process. The softmax() function for the classification process is used. This function returns the probability on two sets of fake or real labels. In this paper, three different models such as CNN, LSTM and PhoBert are used to perform model training on the same data set, then compare the obtained results and the accuracy of each model to then select the best and most accurate model to build a fake information detection system. The test results show that the PhoBert model has achieved outstanding results with 89% accuracy in detecting fake information.

Keywords: Fake information detection, CNN, LSTM, PhoBert, MLP

Tóm tắt

Trong bài báo này, chúng tôi trình bày cách tiếp cận đối với việc phát hiện tin tức giả mạo dạng văn bản bằng cách sử dụng phương pháp học sâu kết hợp với mô hình huấn luyện trước dành riêng cho tiếng Việt(PhoBert) để nhận dạng và phát hiện tin giả mạo. Các mô hình đề xuất của chúng tôi được huấn luyện và đánh giá trên bộ dữ liệu tiếng Việt [1]. Từ dữ liệu đầu vào qua các bước xử lý dữ liệu đầu vào, chúng tôi cần nhúng từ (word embedding) để chuyển đổi dữ liệu văn bản sang mô hình vector. Sau đó vector này sẽ đi qua mô hình biến đổi PhoBert để có được các vector đặc trưng làm đầu ra. Vector đầu ra này là đầu vào của một mạng truyền thẳng MLP(Multi-layer Perceptron) để sử dụng cho quá trình phân lớp. Chúng tôi sử dụng hàm softmax() cho quá trình phân lớp. Hàm này trả ra xác suất trên hai tập nhãn fake hoặc real. Trong bài báo này chúng tôi sử dụng ba mô hình khác nhau như CNN, LSTM và PhoBert để thực hiện huấn luyện mô hình trên cùng một tập dữ liệu, sau đó so sánh kết quả đạt được và độ chính xác của từng mô hình để từ đó lựa chọn mô hình tốt nhất, có độ chính xác nhất để xây dựng hệ thống phát hiện tin giả mạo. Kết quả thử nghiệm cho thấy mô hình PhoBert đã đạt được kết quả vượt trội với 89% độ chính xác phát hiện tin giả mạo.

Từ khóa: Phát hiện tin giả mạo, CNN, LSTM, PhoBert, MLP