Chú thích ảnh tự động dựa trên cnn, rnn và lstm

Chú thích ảnh tự động dựa trên cnn, rnn và lstm.

NỘI DUNG:

CHƯƠNG 1. CƠ SỞ LÝ THUYẾT TRÌNH BÀY NHỮNG KHÁI NIỆM VÀ

MÔ HÌNH TRONG H ................................................................................. 4 ỌC SÂU

1.1 CNN (Mạng nơ-ron tích chập) ...................................................................... 4

1.1.1 Khái niệm v m p. .................................................... 4 ề ạng nơ-ron tích chậ

1.1.2 Mô hình kiến trúc m ng CNN ................................................................ 5 ạ

1.1.3 Các v n v m ng CNN .......................................................... 8 ấn đề cơ bả ề ạ

1.1.4 Huấn luy n mô hình ............................................................................. 10 ệ

1.2 MÔ HÌNH YOLO ....................................................................................... 12

1.2.1 Cách th ng c ......................................................... 13 ức hoạt độ ủa YOLO:

1.2.2 Chi tiết mô hình YOLO ........................................................................ 13

1.2.3 YOLO phát hiện đối tượng bằng CNN ................................................ 15

1.2.4 Kiến trúc các YOLO: ........................................................................... 16

1.3 M ẠNG RNN (Recurrent Neural Network) ................................................ 18

1.3.1 Khái niệm v m ng RNN ..................................................................... 18 ề ạ

1.3.2 Huấn luy n m ng RNN ........................................................................ 21 ệ ạ

1.3.3 Các phiên b n m ả ở r ng c a RNN ........................................................ 21 ộ ủ

1.4 M ẠNG LSTM (M ng Long Short Term Memory) .................................... 22 ạ

1.4.1 Giới thiệu v LSTM ............................................................................. 22 ề

1.4.2 Mô hình LSTM .................................................................................... 27

CHƯƠNG 2. BÀI TOÁN CHÚ THÍCH ẢNH TỰ ĐỘNG DỰA TRÊN CNN,

RNN & LSTM .......................................................................................................... 29

2.1 Xác định bài toán. ....................................................................................... 29

2.2 Ý tưởng bài toán. ......................................................................................... 29

2.3 Tiến trình th n bài toán: ................................................................ ...... 30 ực hiệ

2.3.1 Phát hi ng (Object detection). ............................................... 30 ện đối tượ

2.3.2 Chú thích hình ảnh (Image Captioning). .............................................. 35

2.3.3 CHUYỂN VĂN BẢN THÀNH GIỌNG NÓI (TEXT TO SPEECH) . 39

CHƯƠNG 3: THỰC NGHIỆM MÔ HÌNH ................................ ..................... 41

3.1 DỮ U VÀ CÔNG C C NGHI M .............................................. 41 LIỆ Ụ THỰ Ệ

3.1.1 Dữ liệu: ................................ ................................................................. 41

3.1.2 Công cụ s d ng:.................................................................................. 42 ử ụ

3.2 GHI THỰC N ỆM ........................................................................................ 42

3.2.1 Cài đặt thực nghiệm mô hình. .............................................................. 42

3.2.2 Đánh giá độ chính xác c ..................................................... 51 ủa mô hình

3.2.3 Kết quả thực nghi m ................................ ............................................ 53 ệ

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ....................................................... 54

TÀI LIỆU THAM KH O

LƯU Ý:

Tài liệu được chia sẻ bởi CTV EBOOKBKMT "Mân Trần Lê" và chỉ được dùng phục vụ mục đích học tập và nghiên cứu.