Trích rút thông tin văn bản sử dụng deep transfer learning



Trích rút thông tin văn bản sử dụng deep transfer learning



NỘI DUNG:


1 GIỚI THIỆU 8

1.1 Giới thiệu về Deep learning . . . . . . . . . . . . . . . . . . . . . . 8

1.2 Giới thiệu tổng quan về bài toán trích rút thông tin từ văn bản . 9

1.3 Mục tiêu nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.4 Cấu trúc luận văn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2 TRANSFER LEARNING VÀ DEEP TRANSFER LEARNING 12

2.1 Giới thiệu Transfer learning . . . . . . . . . . . . . . . . . . . . . . 13

2.2 Định nghĩa Transfer learning . . . . . . . . . . . . . . . . . . . . . . 14

2.3 Các phương pháp và cách tiếp cận . . . . . . . . . . . . . . . . . . 17

2.4 Deep transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.4.1 Các mô hình được đào tạo trước có sẵn dưới dạng bộ trích

xuất tính năng . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.4.2 Tinh chỉnh các mô hình đã được đào tạo trước . . . . . . . 21

2.4.3 Các mô hình đã huấn luyện trước . . . . . . . . . . . . . . 22

2.5 Các loại Deep transfer learning . . . . . . . . . . . . . . . . . . . . 23

2.5.1 Thích ứng miền . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.5.2 Nhầm lẫn tên miền . . . . . . . . . . . . . . . . . . . . . . . 24

2.5.3 Học đa tác vụ . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.5.4 Học một lần . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.6 Lợi thế và thách thức của Deep Transfer Learning . . . . . . . . . 25

2.7 Ứng dụng của Transfer learning . . . . . . . . . . . . . . . . . . . . 26

3 TRÍCH RÚT THÔNG TIN VĂN BẢN BẰNG DEEP TRANSFER LEARNING 28

3.1 Bài toán trích rút thông tin từ tờ khai hải quan . . . . . . . . . . 28

3.2 Kiến trúc hệ thống . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.3 Cơ chế Attention . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.3.1 Giới thiệu attention . . . . . . . . . . . . . . . . . . . . . . . 30

3.3.2 Mô hình Transformer . . . . . . . . . . . . . . . . . . . . . . 33

2

Downloaded by EBOOKBKMT VMTC (nguyenphihung1009@gmail.com)

lOMoARcPSD|2935381

LUẬN VĂN THẠC SĨ NGUYỄN THANH BÌNH

3.4 BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.4.1 Kiến trúc BERT . . . . . . . . . . . . . . . . . . . . . . . . 35

3.4.2 Biểu diễn dữ liệu đầu vào . . . . . . . . . . . . . . . . . . . 35

3.4.3 Tiền huấn luyện mô hình . . . . . . . . . . . . . . . . . . . 36

3.5 Mô tả dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

3.6 Mô hình Baseline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

3.7 Mô hình BERT cho NER . . . . . . . . . . . . . . . . . . . . . . . . 42

3.8 Tổng kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4 KẾT LUẬN 48

Tài liệu tham khảo 48

A Công bố khoa học liên quan







LINK DOWNLOAD



Trích rút thông tin văn bản sử dụng deep transfer learning



NỘI DUNG:


1 GIỚI THIỆU 8

1.1 Giới thiệu về Deep learning . . . . . . . . . . . . . . . . . . . . . . 8

1.2 Giới thiệu tổng quan về bài toán trích rút thông tin từ văn bản . 9

1.3 Mục tiêu nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.4 Cấu trúc luận văn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2 TRANSFER LEARNING VÀ DEEP TRANSFER LEARNING 12

2.1 Giới thiệu Transfer learning . . . . . . . . . . . . . . . . . . . . . . 13

2.2 Định nghĩa Transfer learning . . . . . . . . . . . . . . . . . . . . . . 14

2.3 Các phương pháp và cách tiếp cận . . . . . . . . . . . . . . . . . . 17

2.4 Deep transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.4.1 Các mô hình được đào tạo trước có sẵn dưới dạng bộ trích

xuất tính năng . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.4.2 Tinh chỉnh các mô hình đã được đào tạo trước . . . . . . . 21

2.4.3 Các mô hình đã huấn luyện trước . . . . . . . . . . . . . . 22

2.5 Các loại Deep transfer learning . . . . . . . . . . . . . . . . . . . . 23

2.5.1 Thích ứng miền . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.5.2 Nhầm lẫn tên miền . . . . . . . . . . . . . . . . . . . . . . . 24

2.5.3 Học đa tác vụ . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.5.4 Học một lần . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.6 Lợi thế và thách thức của Deep Transfer Learning . . . . . . . . . 25

2.7 Ứng dụng của Transfer learning . . . . . . . . . . . . . . . . . . . . 26

3 TRÍCH RÚT THÔNG TIN VĂN BẢN BẰNG DEEP TRANSFER LEARNING 28

3.1 Bài toán trích rút thông tin từ tờ khai hải quan . . . . . . . . . . 28

3.2 Kiến trúc hệ thống . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.3 Cơ chế Attention . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.3.1 Giới thiệu attention . . . . . . . . . . . . . . . . . . . . . . . 30

3.3.2 Mô hình Transformer . . . . . . . . . . . . . . . . . . . . . . 33

2

Downloaded by EBOOKBKMT VMTC (nguyenphihung1009@gmail.com)

lOMoARcPSD|2935381

LUẬN VĂN THẠC SĨ NGUYỄN THANH BÌNH

3.4 BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.4.1 Kiến trúc BERT . . . . . . . . . . . . . . . . . . . . . . . . 35

3.4.2 Biểu diễn dữ liệu đầu vào . . . . . . . . . . . . . . . . . . . 35

3.4.3 Tiền huấn luyện mô hình . . . . . . . . . . . . . . . . . . . 36

3.5 Mô tả dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

3.6 Mô hình Baseline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

3.7 Mô hình BERT cho NER . . . . . . . . . . . . . . . . . . . . . . . . 42

3.8 Tổng kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

4 KẾT LUẬN 48

Tài liệu tham khảo 48

A Công bố khoa học liên quan







LINK DOWNLOAD

M_tả
M_tả

Không có nhận xét nào: