Nhận dạng cử chỉ tay đã được nghiên cứu trong thời gian vừa qua. Tuy nhiên, đây vẫn là một mảng nghiên cứu còn phải đối mặt với nhiều thách thức nếu muốn triển khai trong thực tế do tồn tại nhiều hình trạng bàn tay khác nhau, hình dáng của cùng một hình trạng, góc nhìn khác nhau, điều kiện nền phức tạp, điều kiện chiếu sáng, mỗi người có cách thức thực hiện khác nhau. Bài báo này sẽ nghiên cứu cách biểu diễn bàn tay sử dụng các bộ phân lớp khác nhau trên các luồng thông tin (ảnh màu RGB và ảnh độ sâu Depth). Sau đó, các đặc trưng được kết hợp với nhau để nâng cao hiệu quả của quá trình nhận dạng. Các thử nghiệm được thực hiện trên các bộ sơ sở dữ liệu (CSDL) khác nhau gồm bộ CSDL tự thu thập và bộ CSDL được công bố trên mạng cho cộng đồng nghiên cứu. Ngoài ra, tác giả cũng sử dụng mạng nơron nhân tạo để thử nghiệm và so sánh với các giải pháp sử dụng các bộ trích chọn đặc trưng tự thiết kế. Kết quả cho thấy giải pháp sử dụng mạng nơron đạt kết quả tốt hơn so, trong đó giải pháp đề xuất kết hợp các luồng thông tin trên tất cả các bộ phân lớp đạt hiệu quả tốt hơn so với sử dụng từng luồng thông tin riêng biệt. Các kết quả này cho thấy, giải pháp đề xuất khả thi khi triển khai ứng dụng trong tương tác giữa người và thiết bị sử dụng cử chỉ của bàn tay.