Xử lý ngôn ngữ tự nhiên là một lĩnh vực nghiên cứu đa dạng với nhiều nhiệm vụ riêng biệt, mỗi nhiệm vụ được đánh giá bởi bộ dữ liệu đặc thù. Trong thực tế, một số bài toán có ít dữ liệu gán nhãn chất lượng cao để huấn luyện mô hình, dẫn tới hiệu năng chưa cao. Giải quyết vấn đề này, một số mô hình sử dụng cơ chế tiền xử lý dữ liệu huấn luyện bằng việc sử dụng các mô hình biểu diễn từ chung, được huấn luyện từ một lượng lớn các dữ liệu không được gán nhãn như Word2vec, Glove hay FastText. Tuy nhiên, các mô hình đó không thể hiện được sự đại diện theo ngữ cảnh cụ thể của từ. Trong dịch máy thường sử dụng kiến trúc Recurrent Neural Networks. Mô hình này khó bắt được sự phụ thuộc xa giữa các từ trong câu và tốc độ huấn luyện chậm. Transformers là một kiến trúc mạng nơron nhân tạo được đề xuất để khắc phục các nhược điểm trên. Bài báo này, chúng tôi trình bày kiến trúc Transformers, đề xuất mô hình dịch máy sử dụng kiến trúc Transformers. Kết quả thực nghiệm trên cặp ngôn ngữ Anh - Việt và Việt - Anh chứng minh rằng, mô hình do chúng tôi đề xuất đạt hiệu năng vượt trội so với các mô hình trước đó.