Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành

“Xe tự hành chạy theo lane và nhận diện biển báo”

Được nghiên cứu và chế tạo tại trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh.Thời gian thực hiện 1/2020 đến 7/2020 là đề tài được ứng dụng vào thực tế.Đề tài ứng dụng xử lý ảnh để nhận biết lane và biển báo để điều khiển hoạt động của chiếc xe.Với ngôn ngữ chính để lập trình xử lý hình ảnh là ngôn ngữ Python,giúp cho việc lập trình xửlý ảnh trở nên đơn giản hơn.Phương pháp được sử dụng trong xử lý ảnh của nhóm em là Deep Learning,phương pháp này cho phép máy tự học các đặc điểm của hình ảnh mà không cần tác động nhiều của người lập trình bằng cách cung cấp một lượng đủ hình ảnh cho máy.Từ các hình ảnh được cung cấp đó máy sẽ tự lọc và chọn ra những đặc điểm nổi bật của hình ảnh đó.Máy sẽ lưu nhớ các hình ảnh đó thông qua các đặc điểm là nó đã lọc ban đầu,hình ảnh được thu vào khi xe chạy sẽ được so sánh với hình ảnh đã được thu thập từ trước,sau đó hệ thống sẽ đưa ra các quyết định thông qua việc so sánh đặc điểm ấy.Mục đích của đề tài là xây dựng mô hình xe từ hành để từ đó có thể tạo một bước đệm lớn,từbước đệm đó chúng ta có thể phát triển và chế tạo ra những chiếc ô tô có thể tự hành trên đường mà không cần sự can thiệp của con người.Cuộc đột phá công nghệ đang diễn ra ngày cành nhanh không chỉ ở nước ta nói riêng,mà là toàn thế giới nói chung,chỉ một vài năm nữa thôi các hãng xe lớn như Tesla,Audi,BMW…sẽ cho ra mắt các công nghệ tự hành trên các dòng xe của họ.Để bắt kịp với xu thế của thế giới nói chung,cũng như ngành ô tô nói riêng thì đòi hỏi mỗi kỹ sư ô tô chúng ta phải ngày càng học hỏi,tìm hiểu các công nghệmới,các công nghệ hiện đại,có như vậy thì ngành ô tô Việt Nam mới ngày càng phát triển được.Đó cũng chính là mục đích thứ hai của nhóm em khi quyết định nghiên cứu và mô hình hóa đề tài.Sau 6 tháng nghiên cứu và chế tạo thì nhóm em cũng hoàn thành mô hình xe tự hành và có thể đem ra chạy thử.Tuy nhiên vẫn còn một số nhiễu khi xử lý ảnh đó là ánh sáng mà nhóm em chưa hoàn toàn có thể kiểm soát được.Nhưng đó cũng là động lực để nhóm em cố gắng hoàn thiện hơn trong tương lại không xa,để tự hành trên ô tô không còn là định nghĩa xa vời đối với ngành ô tô của nước ta.

NỘI DUNG:

Chương 1: TỔNG QUAN .............................................................................................. 1

1.1 LÝ DO CHỌN ĐỀ TÀI............................................................................................. 1

1.2 CÁC NGHIÊN CỨU NGOÀI VÀ TRONG NƯỚC ................................................... 2

1.2.1 Các nghiên cứu ngoài nước ............................................................................... 2

1.2.2 Các nghiên cứu trong nước .............................................................................. 3

1.3 MỤC ĐÍCH CỦA ĐỀ TÀI ......................................................................................... 4

1.4 NHIỆM VỤ VÀ GIỚI HẠN CỦA ĐỀ TÀI ................................................................ 4

1.5 PHƯƠNG PHÁP NGHIÊN CỨU .............................................................................. 4

Chương 2: CƠ SỞ LÍ THUYẾT.................................................................................... 5

2.1 XE TỰ HÀNH ........................................................................................................... 5

2.1.1 Giới thiệu ......................................................................................................... 5

2.1.2 Một số công nghệ được sử dụng trên xe tự hành. .............................................. 7

2.2 PHƯƠNG PHÁP NHẬN DIỆN LANE ...................................................................... 9

2.2.1 Deep learning sử dụng keras và tensorflow. ...................................................... 9

2.2.2 Deep learning sử dụng tensorflow ................................................................... 12

2.3 GIỚI THIỆU VỀ PYTHON ..................................................................................... 16

2.3.1 Giới thiệu ....................................................................................................... 16

2.3.2 Đặc điểm ........................................................................................................ 16

2.4 THƯ VIỆN OPENCV .............................................................................................. 17

2.4.1 Giới thiệu ....................................................................................................... 17

2.4.2 Đặc điểm ........................................................................................................ 17

2.5 TENSORFLOW ....................................................................................................... 18

2.5.1 Giới thiệu ....................................................................................................... 18

2.5.2 Đặc điểm ........................................................................................................ 18

2.6 TỔNG QUAN VỀ PHẦN CỨNG ............................................................................ 18

v

2.6.1 Kit Jetson Nano .............................................................................................. 18

2.6.2 Camera Logitech C270 ................................................................................... 21

2.6.3 Arduino Uno ................................................................................................... 21

Chương 3: XÂY DỰNG VÀ LẬP TRÌNH HỆ THỐNG ............................................ 23

3.1 GIỚI THIỆU ............................................................................................................ 23

3.2 XÂY DỰNG HỆ THỐNG ....................................................................................... 23

3.2.1 Thiết kế sơ đồ khối ......................................................................................... 23

3.2.2 Các khối trong hệ thống .................................................................................. 24

3.2.2.1 Khối điều khiển và xử lý trung tâm ........................................................... 24

3.2.2.2 Khối thu thập hình ảnh ............................................................................. 29

3.2.2.3 Khối động cơ ............................................................................................ 29

3.2.2.4 Khối điều khiển lái ................................................................................... 33

3.2.2.5 Khối nguồn ............................................................................................... 36

3.2.3 Sơ đồ nguyên lý toàn mạch ............................................................................. 38

3.3 CHUẨN BỊ LINH KIỆN – MÔ ĐUN ...................................................................... 39

3.4 MÔ HÌNH XE TỰ HÀNH ....................................................................................... 39

3.5 LẬP TRÌNH HỆ THỐNG ........................................................................................ 41

3.5.1 Cài đặt hệ điều hành cho jetson nano .............................................................. 41

3.5.2 Cài đặt các chương trình và phần mềm cần thiết ............................................. 43

3.5.3 Cài đặt chương trình Visual studio code cho jetson nano ................................ 44

3.5.4 Cài đặt phần mềm trên máy tính chủ (máy tính dùng để đào tạo mô hình) ...... 44

3.5.4.1 Cài đặt Cuda , cuDNN .............................................................................. 44

3.5.4.2 Cài đặt anaconda, Visual studio code ........................................................ 46

3.5.4.3 Thiết lập cho học sâu hướng đối tượng ..................................................... 46

3.5.5 Lưu đồ giải thuật hệ thống .............................................................................. 47

3.5.5.1 Nhận diện Lane ........................................................................................ 47

3.5.5.2 Nhận diện biển báo Stop ........................................................................... 50

3.5.6 Giao diện lập trình .......................................................................................... 53

3.5.6.1 Giao diện lập trình xử lý ảnh lane và biển báo .......................................... 53

3.6 HƯỚNG DẪN THAO TÁC ..................................................................................... 55

3.6.1 Thao tác đối với Jetson Nano .......................................................................... 55

3.6.1.1 Remote Desktop ....................................................................................... 55

Chương 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ ............................................................ 60

vi

4.1 KẾT QUẢ ................................................................................................................ 60

4.1.1 Kết quả thi công phần cứng ............................................................................ 60

4.2 THỰC NGHIỆM ..................................................................................................... 63

4.2.1 Thực nghiện model Deep learning sử dụng tensorflow và keras ...................... 63

4.2.2 Thực nghiệm model Deep learning sử dụng tensorflow .................................. 67

4.2.3 Thống kê ........................................................................................................ 69

4.3 NHẬN XÉT VÀ ĐÁNH GIÁ .................................................................................. 71

Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ................................................ 72

5.1 KẾT LUẬN ............................................................................................................. 72

5.2 HƯỚNG PHÁT TRIỂN ........................................................................................... 73

TÀI LIỆU THAM KHẢM ............................................................................................. 74

PHỤ LỤC ..

LINK DOWNLOAD

“Xe tự hành chạy theo lane và nhận diện biển báo”

NỘI DUNG: