Hiện nay, dịch Covid-19 đã và đang gây ra những ảnh hưởng không nhỏ đến sức khỏe, kinh tế và xã hội ở nhiều nước trên thế giới cũng như Việt Nam. Đây là mối quan tâm hàng đầu của WHO cũng như các trung tâm kiểm dịch của các quốc gia. Do đó, nhận dạng người không đeo khẩu trang là một trong những yếu tố tiên quyết để phòng chống sự lây lan của virus. Trong bài báo này chúng tôi trình bày một hệ thống nhận dạng người không đeo khẩu trang trong thời gian thực dựa trên học sâu. Hệ thống của chúng tôi bao gồm hai mô hình chính là mô hình RetinaFace và CNN nhẹ. Mô hình RetinaFace có nhiệm vụ trích xuất ra khuôn mặt từ dữ liệu đầu vào là camera. Mô hình CNN nhẹ được đề xuất nhằm nhận dạng người không đeo khẩu trang từ khuôn mặt được trích xuất từ mô hình RetinaFace. Kết quả thử nghiệm cho thấy mô hình CNN nhẹ đạt hiệu suất 96,88% độ chính xác trên tập dữ liệu thử nghiệm. Bên cạnh đó, so sánh với các hệ thống hiện có trên thực tế, hệ thống được chúng tôi đề xuất có nhiều ưu điểm hơn về độ chính xác, thời gian phân tích và trả kết quả, chi phí xây dựng, bảo trì hệ thống.Nowadays, the Covid-19 epidemic has been causing significant impacts on health, economy, and society in many countries around the world as well as in Vietnam. This is the top concern of WHO and quarantine centers of countries. Therefore, identifying people who are not wearing masks is one of the prerequisites to prevent the spread of the virus. In this paper, we present a real-time maskless person recognition system based on deep learning. Our system consists of two main models that are the RetinaFace and lightweight CNN models. The RetinaFace model is responsible for extracting faces from the camera input data. The proposed lightweight CNN model to identify people without masks from faces that extracted from the RetinaFace model. The experiment results show that the lightweight CNN model achieves 96.88% accuracy on the test data set. Besides, compared with existing systems in practice, our proposed system has more advantages in terms of accuracy, analysis time, construction, and maintenance costs of the system.