Hướng đến tiền huấn luyện cross-attention trong dịch máy bằng nơ-ron

0 Người đánh giá. Xếp hạng trung bình 0

Tác giả: Hồng Bửu Long Nguyễn, Vĩnh Khang Phạm

Ngôn ngữ: vie

Ký hiệu phân loại: 004 Data processing || Computer science

Thông tin xuất bản: Tạp chí Khoa học Trường Đại học Sư phạm Thành phố Hồ Chí Minh , 2022

Mô tả vật lý: 1749-1755

Bộ sưu tập: Metadata

ID: 426502

Thêm vào giỏ Liên kết toàn văn

Sự xuất hiện của các kĩ thuật tiền huấn luyện (pre-training) và những mô hình ngôn ngữ đã cải thiện đáng kể nhiều giải pháp của các bài toán trong lĩnh vực xử lí ngôn ngữ tự nhiên (XLNNTN). Tuy nhiên, việc ứng dụng những mô hình ngôn ngữ đã được tiền huấn luyện (pre-trained language models) vào bài toán dịch máy vẫn còn là một vấn đề khó, vì mô hình ngôn ngữ không học được thông tin về sự tương tác giữa cặp ngôn ngữ trong quá trình tiền huấn luyện. Trong bài báo này, chúng tôi sẽ tìm hiểu một số công trình nghiên cứu về việc tiền huấn luyện mô-đun cross-attention giữa encoder và decoder bằng cách sử dụng ngữ liệu đơn ngữ lớn. Kết quả thí nghiệm đã chứng minh được sự hiệu quả của việc sử dụng mô hình ngôn ngữ được tiền huấn luyện cho bài toán dịch tự động)

1. Đọc trực tuyến

1. Đọc trực tuyến

Tạo bộ sưu tập với mã QR