Gom nhóm văn bản dựa trên mẫu hữu ích được đánh trọng phổ biến

0 Người đánh giá. Xếp hạng trung bình 0

Tác giả: Thanh Trâm Trần, Đình Bảy Võ

Ngôn ngữ: vie

Ký hiệu phân loại: 307.33 *Patterns of use

Thông tin xuất bản: Khoa học công nghệ Việt Nam, 2018

Mô tả vật lý: 45298

Bộ sưu tập: Metadata

ID: 535356

Thêm vào giỏ

Tóm tắt
Chủ đề

Gom nhóm văn bản là chủ đề quan trọng trong khai thác dữ liệu văn bản, và phương pháp hiệu quả để gom nhóm văn bản là dựa trên mẫu phổ biến. Đã có nhiều thuật toán được phát triển nhằm nâng cao độ chính xác cho bài toán gom nhóm văn bản dựa trên mẫu phổ biến, nhưng lại không quan tâm tới trong số của từ trong văn bản. Trong bài báo này, các tác giả đề xuất một phương pháp mới để gom nhóm văn bản dựa vào mẫu hữu ích được đánh trong phố biến thông qua việc sử dụng TF (Term Frequency) cho mỗi từ trong văn bản. Trong số của từ trên toàn bộ tập văn bản được tính dựa vào IDF (Inverse Document Frequency), sau đó sử dụng thuật toán MWIT-FWUI để khai thác các mẫu hữu ích phổ biến. Tiếp theo, tiến hành gom nhóm văn bản bằng thuật toán MC (Maximum Capturing). Kết quả thử nghiệm trên kho ngữ liệu gồm 1.600 văn bản (16 chủ đề) cho thấy, phương pháp mới đã cải thiện đáng kể độ chính xác của việc gom nhóm văn bản so với phương pháp dựa vào mẫu phổ biến.Text grouping is an important topic in text data mining, and an effective method for grouping text is based on a common pattern. Many algorithms have been developed to improve the accuracy of a grouping problem based on common patterns, but there is no interest in the number of words in the text. In this paper, the authors propose a new way to group text based on useful patterns typed in popularity through the use of TF (Term Frequency) for each word in the text. The number of words on the entire document set is calculated based on IDF (Inverse Document Frequency), then uses the MWIT-FWUI algorithm to exploit common useful patterns. Next, proceed to group the text using the MC algorithm (Maximum Capturing). Test results on a corpus of 1,600 documents (16 topics) showed that the new method has significantly improved the accuracy of grouping text compared to the common pattern-based method.

Tạo bộ sưu tập với mã QR