%20(1)%20(1).png)
Trích rút thông tin văn bản sử dụng deep transfer learning
.png)
Trích rút thông tin văn bản sử dụng deep transfer learning
NỘI DUNG:
1 GIỚI THIỆU 8
1.1 Giới thiệu về Deep learning . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Giới thiệu tổng quan về bài toán trích rút thông tin từ văn bản . 9
1.3 Mục tiêu nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Cấu trúc luận văn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 TRANSFER LEARNING VÀ DEEP TRANSFER LEARNING 12
2.1 Giới thiệu Transfer learning . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Định nghĩa Transfer learning . . . . . . . . . . . . . . . . . . . . . . 14
2.3 Các phương pháp và cách tiếp cận . . . . . . . . . . . . . . . . . . 17
2.4 Deep transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.1 Các mô hình được đào tạo trước có sẵn dưới dạng bộ trích
xuất tính năng . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.2 Tinh chỉnh các mô hình đã được đào tạo trước . . . . . . . 21
2.4.3 Các mô hình đã huấn luyện trước . . . . . . . . . . . . . . 22
2.5 Các loại Deep transfer learning . . . . . . . . . . . . . . . . . . . . 23
2.5.1 Thích ứng miền . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5.2 Nhầm lẫn tên miền . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.3 Học đa tác vụ . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.4 Học một lần . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.6 Lợi thế và thách thức của Deep Transfer Learning . . . . . . . . . 25
2.7 Ứng dụng của Transfer learning . . . . . . . . . . . . . . . . . . . . 26
3 TRÍCH RÚT THÔNG TIN VĂN BẢN BẰNG DEEP TRANSFER LEARNING 28
3.1 Bài toán trích rút thông tin từ tờ khai hải quan . . . . . . . . . . 28
3.2 Kiến trúc hệ thống . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Cơ chế Attention . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.1 Giới thiệu attention . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.2 Mô hình Transformer . . . . . . . . . . . . . . . . . . . . . . 33
2
Downloaded by EBOOKBKMT VMTC (nguyenphihung1009@gmail.com)
lOMoARcPSD|2935381
LUẬN VĂN THẠC SĨ NGUYỄN THANH BÌNH
3.4 BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.1 Kiến trúc BERT . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.2 Biểu diễn dữ liệu đầu vào . . . . . . . . . . . . . . . . . . . 35
3.4.3 Tiền huấn luyện mô hình . . . . . . . . . . . . . . . . . . . 36
3.5 Mô tả dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.6 Mô hình Baseline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.7 Mô hình BERT cho NER . . . . . . . . . . . . . . . . . . . . . . . . 42
3.8 Tổng kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4 KẾT LUẬN 48
Tài liệu tham khảo 48
A Công bố khoa học liên quan
Trích rút thông tin văn bản sử dụng deep transfer learning
NỘI DUNG:
1 GIỚI THIỆU 8
1.1 Giới thiệu về Deep learning . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Giới thiệu tổng quan về bài toán trích rút thông tin từ văn bản . 9
1.3 Mục tiêu nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Cấu trúc luận văn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 TRANSFER LEARNING VÀ DEEP TRANSFER LEARNING 12
2.1 Giới thiệu Transfer learning . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Định nghĩa Transfer learning . . . . . . . . . . . . . . . . . . . . . . 14
2.3 Các phương pháp và cách tiếp cận . . . . . . . . . . . . . . . . . . 17
2.4 Deep transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.1 Các mô hình được đào tạo trước có sẵn dưới dạng bộ trích
xuất tính năng . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.2 Tinh chỉnh các mô hình đã được đào tạo trước . . . . . . . 21
2.4.3 Các mô hình đã huấn luyện trước . . . . . . . . . . . . . . 22
2.5 Các loại Deep transfer learning . . . . . . . . . . . . . . . . . . . . 23
2.5.1 Thích ứng miền . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5.2 Nhầm lẫn tên miền . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.3 Học đa tác vụ . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.4 Học một lần . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.6 Lợi thế và thách thức của Deep Transfer Learning . . . . . . . . . 25
2.7 Ứng dụng của Transfer learning . . . . . . . . . . . . . . . . . . . . 26
3 TRÍCH RÚT THÔNG TIN VĂN BẢN BẰNG DEEP TRANSFER LEARNING 28
3.1 Bài toán trích rút thông tin từ tờ khai hải quan . . . . . . . . . . 28
3.2 Kiến trúc hệ thống . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Cơ chế Attention . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.1 Giới thiệu attention . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.2 Mô hình Transformer . . . . . . . . . . . . . . . . . . . . . . 33
2
Downloaded by EBOOKBKMT VMTC (nguyenphihung1009@gmail.com)
lOMoARcPSD|2935381
LUẬN VĂN THẠC SĨ NGUYỄN THANH BÌNH
3.4 BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.1 Kiến trúc BERT . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.2 Biểu diễn dữ liệu đầu vào . . . . . . . . . . . . . . . . . . . 35
3.4.3 Tiền huấn luyện mô hình . . . . . . . . . . . . . . . . . . . 36
3.5 Mô tả dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.6 Mô hình Baseline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.7 Mô hình BERT cho NER . . . . . . . . . . . . . . . . . . . . . . . . 42
3.8 Tổng kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4 KẾT LUẬN 48
Tài liệu tham khảo 48
A Công bố khoa học liên quan
%20(1).png "Hướng dẫn download ti liệu")
.png "Hướng dẫn download ti liệu")
%20(1).png "Gói VIP Member EBOOKBKMT - Hỗ trợ tài liệu nhanh nhất, ưu tiên cho thành viên VIP (Update 2025)")
.png "EBOOKBKMT BIDV")
Không có nhận xét nào: