Bài báo này giới thiệu phương pháp tóm tắt văn bản theo hai hướng trích rút và tóm lược, sử dụng mô hình ngôn ngữ huấn luyện trước. Để làm điều này, đổi với bài toán trích rút, chúng tôi sử dụng mô hình BERTSum. Mô hình sử dụng BERT (Bidirectional Encoder Representations from Transformers) đế mã hoá các cầu đầu vào và dùng LSTM (Long Short Term Memory Networks) để biểu diễn mối quan hệ giữa các câu. Đối với bài toán tóm lược, chúng tôi sử dụng BERT để mã hóa ngữ nghĩa của văn bản đầu vào để sinh ra bản tóm tắt phù hợp. Tác giả thử nghiệm phương pháp trên bộ dữ liệu tiếng Việt được chia sẻ từ bài báo VNDS (A Vietnamese Dataset for Summarization) và đánh giá phương pháp bảng ROUGE (Recall - Oriented Understudy for Gisting Evaluation). Kết quả thực nghiệm cho thấy giữa hai bài toán tóm tắt trích rút và tóm tắt tóm lược BERT đạt hiệu quả hơn ở bài toán tóm tắt trích rút.