Tài liệu Ai camera application for image enhancement on smartphone vsmart products

ĐẠI HỌC QUỐC GIA TP.HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ MINH NGUYỄN THẾ NGỌC ỨNG DỤNG “AI-CAMERA” NÂNG CAO CHẤT LƢỢNG HÌNH ẢNH CHO SMARTPHONE-VSMART Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa Mã số: 60 52 02 16 LUẬN VĂN THẠC SĨ TP. Hồ Chí Minh , tháng 12 năm 2019 i ĐẠI HỌC QUỐC GIA TP.HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ MINH NGUYỄN THẾ NGỌC “AI-CAMERA” APPLICATION FOR IMAGE ENHANCEMENT ON SMARTPHONE-VSMART PRODUCTS Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa Mã số: 60 52 02 16 LUẬN VĂN THẠC SĨ TP. Hồ Chí Minh , tháng 12 năm 2019 ii CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG-HCM Cán bộ hƣớng dẫn khóa học : Cán bộ chấm nhận xét 1 : Cán bộ chấm nhận xét 2 : Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp.HCM. Ngày …. Tháng …. Năm…. Thành phần Hội Đồng đánh giá luận văn thạc sĩ gồm: 1. 2. 3. 4. 5. Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trƣởng Khoa quản lý chuyên ngành sau khi luận văn đã đƣợc sửa chữa. CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA iii ĐẠI HỌC QUỐC GIA TP.HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGUYỄN THẾ NGỌC MSHV: 1770548 Ngày, tháng, năm sinh: 10/02/1994 Nơi sinh:Quảng Bình Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa Mã số : 60520216 I. TÊN ĐỀ TÀI: ỨNG DỤNG “AI-CAMERA” NÂNG CAO CHẤT LƢỢNG HÌNH ẢNH CHO SMARTPHONE-VSMART II. NHIỆM VỤ VÀ NỘI DUNG: - Tìm hiểu các phƣơng pháp tăng cƣờng chất lƣợng, chuyển đổi phong cách của hình ảnh dựa trên các phƣơng pháp học sâu (Deep Learning). - Tìm hiểu phƣơng pháp phát triển ứng dụng trí tuệ nhân tạo trên nền tảng smartphone. - Xây dựng mô hình học sâu nhằm nâng cao chất lƣợng hình ảnh và chuyển đổi phong cách. - Tối ƣu mô hình và tích hợp OpenCV, Tensorflow trên thiết bị di động sử dụng nền tảng hệ điều hành VOS. - Đánh giá kết quả thực hiện. III. NGÀY GIAO NHIỆM VỤ : 19/08/2019 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 08/12/2019 V. CÁN BỘ HƢỚNG DẪN : TS.Phạm Việt Cƣờng Tp. HCM, ngày 08 tháng 12 năm 2019 CÁN BỘ HƢỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TS. Phạm Việt Cƣờng TRƢỞNG KHOA iv LỜI CẢM ƠN Lời nói đầu tiên, để hoàn thành nghiên cứu trong luận văn này, Tôi xin đƣợc gửi lời cảm ơn đến Quý Thầy Cô ở Bộ Môn Điều Khiển Tự Động, Khoa Điện – Điện Tử, Trƣờng đại học Bách Khoa- Đại học quốc gia TP Hồ Chí Minh đã truyền đạt những kiến thức quý giá trong suốt thời gian Tôi học tập ở Trƣờng. Đặc biệt, Xin gửi lời cảm ơn sâu sắc đến TS.Phạm Việt Cƣờng đã luôn nhiệt tình hƣớng dẫn, góp ý cho Tôi trong suốt quá trình thực hiện luận văn này. Tôi cũng muốn gửi lời cảm ơn đặc biệt đến các Anh: Ngô Huy Ánh, Anh: Phạm Xuân Khánh ở Phòng nghiên cứu phần mềm dự án Smatphone-Vsmart đã cho Tôi cơ hội đƣợc thực hiện luận văn này. Tôi cũng xin gửi lời cảm ơn đến các Bạn Võ Thị Yến Hải, Phạm Thế Vinh đã hỗ trợ về hình ảnh và những kiến thức Photoshop trong suốt thời gian thực hiện luận văn. Một lần nữa, Tôi xin gửi lời cảm ơn chân thành đến tất cả mọi ngƣời. Nguyễn Thế Ngọc 1 TÓM TẮT LUẬN VĂN THẠC SĨ Cùng với sự phát triển không ngừng của trí tuệ nhân tạo (AI) trong thời gian trở lại đây, không chỉ có mặt trên máy tính, AI giờ đây còn đƣợc nhiều hãng sản xuất quan tâm đƣa lên cả smartphone. Hiện này, hầu hết các mẫu smartphone đình đám đều tích hợp thêm AI-Cam để tăng hấp dẫn đối với ngƣời tiêu dùng. Ngày nay, chụp ảnh với các smartphone và chia sẻ trên các mạng xã hội đã trở thành một trào lƣu lớn mạnh. Cùng với các cải tiến về chất lƣợng camera gần đây, ngƣời dùng ngày càng đòi hỏi cao hơn về chất lƣợng hình ảnh và tính nghệ thuật của các bức hình. Nắm bắt xu thế đó, đề tài đƣợc thực hiện nhằm xây dựng công nghệ lõi và phát triển ứng dụng “AI-Camera” có khả năng nâng cao chất lƣợng hình ảnh và chuyển đổi phong cách. Đề tài đƣợc thực hiện dựa trên đề xuất của Phòng Nghiên Cứu Phần Mềm thuộc Công Ty Cổ Phần Nghiên Cứu Và Sản Xuất VINSMART. Trong đó, mục đích chính của đề tài là nghiên cứu và tích hợp các ứng dụng trí tuệ nhân tạo lên các sản phầm smartphone, ban đầu đó là “AI-Camera”. Với việc thực hiện luận văn này, Học viên sử dụng kiến trúc CycleGAN và mạng tích chập U-Net để xây dựng mô hình học sâu. Đồng thời, sử dụng thƣ viện OpenCV và Tensorflow để phát triển ứng dụng trên smartphone. Cuối cùng, luận văn đã phát triển thành công ứng dụng “AI-Camera” nhằm nâng cao chất lƣợng hình ảnh và chuyển đổi phong cách cho hình ảnh. Ứng dụng có khả năng thực thi trên hệ điều hành VOS của dòng smartphone của VSMART. Bƣớc đầu, đã chứng minh đƣợc tính thực tiễn của nghiên cứu và có thể phát triển hơn trong tƣơng lai. Học viên Nguyễn Thế Ngọc 2 ABSTRACT Along with the continuous development of AI in recent times, not only on computers, AI is now also interested in many manufacturers on smartphones. Currently, most of the smartphones have integrated AI to increase attractiveness to consumers. Nowadays, taking photos with smartphones and sharing on social networks has become a growing trend. Along with recent advances in camera quality, users are becoming more and more demanding about the image quality and the artistry of their photographs. Following that trend, the project was conducted to build core technology and develop "AI-Camera" application capable of improving image quality and style transfer. The project was implemented based on the proposal of the Software Research Department of VINSMART Research and Production Joint Stock Company. In particular, the main goal of the thesis is to research and integrate AI applications on smartphone products, initially "AI-Camera". The thesis uses the CycleGAN architecture and the U-Net convolution network to build a deep learning model. Also, use the library OpenCV and Tensorflow to develop applications on smartphone. Finally, the thesis has successfully developed the application "AI-Camera" to enhance image quality and transform style for images. The application could execute on VOS. Initially, it has proved the practicality of the research and can develop more in the future. Student Nguyễn Thế Ngọc 3 LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ các kết quả tham khảo từ các công trình khác nhƣ đã trình bày trong luận văn, các công việc đƣợc trình bày trong luận văn này do chính Tôi trực tiếp thực hiện và chƣa có phần nội dung nào của luận văn này đƣợc nộp để lấy một bằng cấp ở trƣờng này hoặc trƣờng khác. Tp. HCM, ngày 08 tháng 12 năm 2019 Nguyễn Thế Ngọc 4 MỤC LỤC LỜI CẢM ƠN .............................................................................................................1 TÓM TẮT LUẬN VĂN THẠC SĨ .............................................................................2 ABSTRACT ................................................................................................................3 LỜI CAM ĐOAN .......................................................................................................4 DANH MỤC HÌNH ẢNH ..........................................................................................7 DANH MỤC VIẾT TẮT ............................................................................................9 DANH MỤC BẢNG BIỂU ......................................................................................10 CHƢƠNG 1: GIỚI THIỆU ĐỀ TÀI .........................................................................11 1.1 Đặt vấn đề .......................................................................................................11 1.2 Mục đích nghiên cứu .......................................................................................11 1.3 Đối tƣợng và phạm vi nghiên cứu ...................................................................12 1.4 Phƣơng pháp nghiên cứu.................................................................................12 CHƢƠNG 2: TRÍ TUỆ NHÂN TẠO TRÊN SMARTPHONE ................................13 2.1 Giới thiệu trí tuệ nhân tạo trên smartphone ....................................................13 2.2 Giới thiệu AI Camera ......................................................................................16 CHƢƠNG 3: NÂNG CAO CHẤT LƢỢNG HÌNH ẢNH .......................................21 TRÊN SMARTPHONE ............................................................................................21 3.1 Ứng dụng chỉnh sửa ảnh trên smartphone.......................................................21 3.2 Chỉnh sửa ảnh với trí tuệ nhân tạo trên smartphone .......................................24 CHƢƠNG 4: MẠNG HỌC SÂU ỨNG DỤNG CHO ..............................................26 NÂNG CAO CHẤT LƢỢNG HÌNH ẢNH ..............................................................26 4.1 Image-to-Image Translation (I2I) ...................................................................26 4.2 GANs-Generative Adversarial Networks .......................................................30 4.3 Mạng tích chập U-Net .....................................................................................35 CHƢƠNG 5: PHƢƠNG PHÁP ĐÁNH GIÁ ẢNH SỐ ...........................................38 5.1 Sai số trung bình-MSE ....................................................................................38 5.2 Tỷ số tín hiệu cực đại/nhiễu-PSNR .................................................................38 5.3 So sánh tƣơng đồng cấu trúc-SSIM ................................................................40 CHƢƠNG 6: PHÁT TRIỂN ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ........................41 TRÊN SMARTPHONE ............................................................................................41 6.1 Tensorflow trên Android .................................................................................41 5 6.1.1 Giới thiệu Tensorflow ..............................................................................41 6.1.2 Tensorflow trên Android Studio ..............................................................43 6.2 OpenCV trên Andorid .....................................................................................44 CHƢƠNG 7: NỘI DUNG THỰC HIỆN ..................................................................46 7.1 Khảo sát các nghiên cứu liên quan đến nâng cao chất lƣợng hình ảnh bằng trí tuệ nhân tạo ...........................................................................................................46 7.2 Mô hình mạng học sâu ....................................................................................47 7.2.1 Kiến trúc CycleGAN ................................................................................47 7.2.2 Mạng tích chập U-net ...............................................................................49 7.2.3 Loss-function............................................................................................51 7.3 Dữ liệu .............................................................................................................54 7.3.1 Dữ liệu “source domain” .........................................................................54 7.3.2 Dữ liệu “Target Domain” .........................................................................56 7.3.3 Dữ liệu đánh giá .......................................................................................58 7.4 Phát triển ứng dụng trên Android Studio ........................................................59 CHƢƠNG 8: KẾT QUẢ THỰC HIỆN ....................................................................61 8.1 Kết quả phát triển mô hình ..............................................................................61 8.2 Kết quả phát triển ứng dụng. ...........................................................................67 8.2.1 Một số kết quả thực hiện ứng dụng trên VOS .........................................77 8.3 Kết luận ...........................................................................................................80 8.4 Hƣớng phát triển .............................................................................................81 TÀI LIỆU THAM KHẢO .........................................................................................84 6 DANH MỤC HÌNH ẢNH Hình 2.1: Ứng dụng trợ lý ảo trên smartphone. ........................................................13 Hình 2.2: Ứng dụng mở khóa bằng khuôn mặt trên smartphone. .............................14 Hình 2.3: Chip Kirin đƣợc trang bị AI của Huawei ..................................................15 Hình 2.4: Rất nhiều tính năng AI mới đƣợc ra mắt gần đây. ....................................16 Hình 2.5: Smartphone tích hợp AI-Camera của Bphone ..........................................16 Hình 2.6: Face ID trên Iphone...................................................................................17 Hình 2.7: Công nghệ làm đẹp AI 2.0 trên smartphone của Oppo F7 .......................18 Hình 2.8: Nhận diện khung cảnh...............................................................................18 Hình 2.9: Ứng dụng thực tế ảo ..................................................................................20 Hình 3.1: Chỉnh sửa ảnh trƣớc lúc chia sẻ trên mạng xã hội. ...................................21 Hình 3.2: So sánh ảnh trƣớc và sau chỉnh sửa ..........................................................22 Hình 3.3: Ứng dụng chỉnh sửa ảnh Adobe Photoshop Express ................................22 Hình 3.4: Ứng dụng Snapseed của Google ...............................................................23 Hình 3.5: AI-Camera trên điện thoại của LG............................................................24 Hình 3.6: Ứng dụng tạo ảnh nghệ thuật với AI.........................................................25 Hình 4.1: Ứng dụng I2I cho chuyển đổi sắc thái. .....................................................26 Hình 4.2: Ứng dụng I2I cho chuyển đổi mùa ...........................................................27 Hình 4.3: I2I ghép đôi(trái)- I2I không ghép đôi(phải).............................................27 Hình 4.4: Minh họa ý tƣởng của I2I..........................................................................28 Hình 4.5: Minh họa phƣơng pháp I2I ghép đôi và không ghép đôi ..........................28 Hình 4.6: Kiến trúc của GANs ..................................................................................31 Hình 4.7: Nguyên lý hoạt động của GAN .................................................................31 Hình 4.8: Mô tả pg , pz , pdata ......................................................................................33 Hình 4.9: Huấn luyện mạng GAN ............................................................................33 Hình 4.10: Kiến trúc CNNs trong bài toán nhận dạng chữ số ..................................35 Hình 4.11: Ứng U-Net trong bài toán “image segmentation” ..................................36 Hình 4.12: Kiến trúc encoder và decoder mạng U-Net.............................................37 Hình 5.1: Ví dụ về PSNR ..........................................................................................39 Hình 5.2: Ví dụ về giá trị SSIM và MSE ..................................................................40 Hình 6.1: Các framework học máy phổ biến ............................................................41 Hình 6.2: Biểu đồ lƣợt star và repos trên github sử dụng TF ...................................42 Hình 6.3: Kết hợp Android và Tensorflow để phát triển ứng dụng ..........................43 Hình 6.4: Kiến trúc phát triển Tensorflow Lite ........................................................44 Hình 6.5: OpenCV trên nền tảng Android ................................................................45 Hình 7.1: Kiến trúc GAN ..........................................................................................47 Hình 7.2: Kiến trúc mạng CycleGAN .......................................................................47 7 Hình 7.3: Một số ứng dụng mạng CycleGAN theo nghiên cứu [5] ..........................48 Hình 7.4: Kiến trúc U-Net tham khảo .......................................................................49 Hình 7.5: Mạng Generator xây dựng theo kiến trúc U-Net ......................................50 Hình 7.6: Mạng Discriminator ..................................................................................50 Hình 7.7: Dữ liệu MIT-Adobe FiveK Dataset trên Internet. ....................................55 Hình 7.8: Một ảnh trong “target domain” của Flickr. ...............................................57 Hình 7.9: Ảnh gốc-trái, ảnh MIT-C-phải. .................................................................58 Hình 7.10: Ảnh gốc(trái), MIT-C(phải), PSNR=15.75 .............................................58 Hình 7.11: Phát triển ứng dụng .................................................................................60 Hình 8.1: Lƣu đồ giải thuật huấn luyện ....................................................................61 Hình 8.2: Mạng Generator ........................................................................................64 Hình 8.3: Các lớp con của lớp conv-xanh dƣơng trong mạng Generator .................64 Hình 8.4: Mạng Discriminator ..................................................................................65 Hình 8.5: Ảnh chứa đặc tính mà ngƣời dùng thích. ..................................................66 Hình 8.6: Ảnh gốc (trái), Ảnh MIT-C(phải) .............................................................66 Hình 8.7: Giải thuật trên ứng dụng ...........................................................................67 Hình 8.8: Giao diện ứng dụng AI-Camera ................................................................69 Hình 8.9: Ảnh 4937 lần lƣợt từ trái sang phải là gốc, MIT-C, nhãn.........................72 Hình 8.10: Ảnh 4536 lần lƣợt từ trái sang phải là gốc, MIT-C, nhãn.......................72 Hình 8.11: Ảnh 4901 lần lƣợt từ trái sang phải là gốc, Flickr, nhãn. .......................73 Hình 8.12: Ảnh 4772 lần lƣợt từ trái sang phải là gốc, Flickr, nhãn ........................73 Hình 8.13: Ảnh(4937) gốc(trái), ảnh dán nhãn(phải), PSNR=13.11 ........................74 Hình 8.14: Kết quả ảnh(4937) từ MIT-C(trái), Ảnh dán nhãn(phải), PSNR=32.59.74 Hình 8.15: Ảnh(4536) gốc(trái), ảnh dán nhãn(phải), PSNR=15.23 ........................75 Hình 8.16: Kết quả ảnh (4536) từ MIT-C(trái), Ảnh dán nhãn(phải), PSNR=28.24 75 Hình 8.17: Ảnh MIT-C có cảm giác bị thừa sáng. ....................................................82 Hình 8.18: Ảnh chân dung bị nhòe sau khi xử lý với AI. .........................................82 8 DANH MỤC VIẾT TẮT Từ viết tắt AI AR A-WGAN D DL DLSR G GANs HVS I2I MIT ML PC PSNR SDK SSIM TF VOS VR Ý nghĩa Artificial Intelligence Augmented Reality Adaptives Wasserstein Generative Adversarial Networks Discriminator Deep Learning Digital Single-Lens Reflex Generator Generative Adversarial Networks Human Visual System Image To Image Translation Massachusetts Institute of Technology Machine Learning Personal Computer Peak Signal to Noise Ratio Software Development Kit Structural Similarity Index Tensorflow Vin Operating System Virtual Reality 9 DANH MỤC BẢNG BIỂU Bảng 7.1: Tổng hợp các biến thể của GAN theo nghiên cứu số [9]. ........................51 Bảng 7.2: So sánh các biến thể GAN đƣợc trích từ nghiên cứu số [1]. ....................51 Bảng 8.1: Chỉ số PSNR trung bình trên bộ thử nghiệm 500 ảnh. .............................70 Bảng 8.2: PSNR của 10 ảnh có PSNR cao nhất trên mô hình MIT-C. .....................70 Bảng 8.3: PSNR của 10 ảnh có PSNR cao nhất trên mô hình Flickr. ......................71 Bảng 8.4: PSNR của 10 ảnh có PSNR thấp nhất trên mô hình MIT-C và Flickr ...71 10 CHƢƠNG 1: GIỚI THIỆU ĐỀ TÀI 1.1 Đặt vấn đề Trƣớc đây, nếu nhƣ chỉ có những chiếc máy tính mới có thể giúp chúng ta chỉnh sửa hình ảnh nâng cao, nâng tông màu, chỉnh nền ảnh thì giờ đây những chiếc smartphone với nhiều cải tiến về mặt hiệu năng có thể giúp chúng ta chỉnh sửa hình ảnh ngay sau khi chụp qua các ứng dụng chỉnh sửa ảnh chuyên nghiệp. Trong đó, chụp ảnh với các smartphone và chia sẻ trên các mạng xã hội đã trở thành một trào lƣu ngày càng lớn mạnh. Nhằm đáp ứng xu thế đó, việc phát triển ứng dụng tích hợp trí tuệ nhân tạo nhằm nâng cao chất lƣợng ảnh dựa vào AI là một trong những phần mang lại giá trị cao các dòng smartphone hiện nay. Đó là lý do cơ bản để hình thành đề tài này. 1.2 Mục đích nghiên cứu Đề tài thực hiện các nhiệm vụ chính: 1. Nghiên cứu và khảo sát các phƣơng pháp học sâu liên quan đến nâng cao chất lƣợng hình ảnh. 2. Nghiên cứu giải pháp phát triển công nghệ lõi cho ứng dụng “AI-Camera” ban đầu là phát triển chức năng nâng cao chất lƣợng hình ảnh và chuyển đổi phong cách. 3. Nghiên cứu phƣơng pháp tối ƣu và tích hợp các “framework” trí tuệ nhân tạo lên smartphone. 4. Đánh giá kết quả thực hiện. 11 1.3 Đối tƣợng và phạm vi nghiên cứu Dữ liệu sử dụng chính trong luận văn đƣợc thu thập từ các nguồn dữ liệu mở trên Internet và các hình ảnh cá nhân khác, đƣợc chụp từ nhiều dòng điện thoại khác nhau. Về nội dung, luận văn chỉ nghiên cứu các phƣơng pháp ứng dụng mạng học sâu cho việc nâng cao chất lƣợng hình ảnh. Trong đó, tập trung vào các ứng dụng của mạng GAN và tích hợp các “framework” trí tuệ nhân tạo lên smatphone. 1.4 Phƣơng pháp nghiên cứu Về mức độ lý thuyết, luận văn nghiên cứu các tài liệu về: 1. Các phƣơng pháp đánh giá ảnh số. 2. Các mạng học sâu liên quan đến nâng cao chất lƣợng hình ảnh: GAN, CycleGAN, U-Net… Về mặt ứng dụng, luận văn nghiên cứu các phƣơng pháp: 1. Tối ƣu mô hình mạng học sâu nhằm thực thi đƣợc trên các thiết bị smartphone. 2. Tích hợp các framework trí tuệ nhân tạo nhƣ OpenCV, Tensorflow. 12 CHƢƠNG 2: TRÍ TUỆ NHÂN TẠO TRÊN SMARTPHONE 2.1 Giới thiệu trí tuệ nhân tạo trên smartphone AI hay trí tuệ nhân tạo là một dạng trí thông minh với mục đích biến mọi cỗ máy có thể tự hiểu và vận hành giống cách con ngƣời sử dụng chúng. Trí tuệ nhân tạo đem tới cơ hội học hỏi kiến thức mới cho máy móc. Từ đó, máy móc sẽ tự học tập, suy nghĩ và phục vụ con ngƣời. Đây là một trong những phát minh mang tính cách mạng trong giới công nghệ, giúp kéo theo hàng loạt các tiến bộ kỹ thuật khác, đồng thời mở ra một kỷ nguyên công nghệ mới cho nhiều ngành nghề, lĩnh vực. Hình 2.1: Ứng dụng trợ lý ảo trên smartphone. Cùng với sự phát triển không ngừng của trí tuệ nhân tạo trong thời gian trở lại đây, không chỉ có mặt trên robot hay máy tính, AI giờ đây còn đƣợc nhiều hãng sản xuất quan tâm đƣa lên cả smartphone. Trong đó, AI xuất hiện với các ứng dụng trợ lý ảo nhƣ Siri (iPhone) hay Google Now (Android) nhiều năm về trƣớc. 13 Ngƣời dùng có thể ra lệnh cho smartphone để phục vụ các nhu cầu của mình nhƣ báo thức, tìm kiếm địa điểm, nhân diện giọng nói,… Bên cạnh đó, công nghệ AI còn giúp cải thiện đáng kể khả năng chụp hình của điện thoại, xử lý hình ảnh, tiết kiệm điện năng, nâng cao bảo mật,… Hình 2.2: Ứng dụng mở khóa bằng khuôn mặt trên smartphone. Ngoài việc đƣợc tích hợp vào phần mềm, trí tuệ nhân tạo còn đƣợc tích hợp cả phần cứng trong smartphone, mà tiêu biểu là các vi xử lý. Thật vậy, hầu hết các vi xử lý hiện nay đều đƣợc tích hợp khả năng xử lý AI để có thể xử lý các thuật toán phức tạp, tăng cƣờng hiệu năng, khả năng chụp ảnh chất lƣợng cao, xử lý đồ họa cũng nhƣ mang lại nhiều tính năng độc đáo trên điện thoại, ví dụ nhận diện giọng nói, nhận dạng khuôn mặt ngƣời dùng, dịch ngôn ngữ hay tìm kiếm thông tin. Các con chip đƣợc trang bị khả năng xử lý AI phổ biến trên thị trƣờng hiện là bộ đôi A11 Bionic và A12 Bionic của Apple, Kirin 980 của Huawei, Snapdragon 845 và mới nhất là Snapdragon 855 của Qualcomm, tạo điều kiện cho ngƣời dùng đƣợc trải nghiệm các tính năng vô cùng mới lạ và hấp dẫn. 14 Đơn cử là chiếc iPhone X đƣợc trang bị chipset A11 Bionic có 2 lõi để xử lý các tác vụ AI. Trong khi đó, ngƣời anh em của A11 Bionic, A12 có tới 8 nhân phụ trách các tác vụ AI, có thể xử lý 5 nghìn tỷ phép tính mỗi giây, thay vì chỉ là 600 tỷ so với AI Engine trên A11. Hình 2.3: Chip Kirin được trang bị AI của Huawei Ngoài ra, Qualcomm cũng là một trong những nhà sản xuất chip chú trọng vào trí tuệ nhân tạo, với Snapdragon 855, hãng đã giới thiệu công cụ AI thế hệ 4, kết hợp với lõi đồ họa Adeno, Kyro và Hexagon để cung cấp năng lƣợng cho các tác vụ AI. Nhờ vậy mà hiệu năng AI sẽ tăng gấp 3 lần so với thế hệ tiền nhiệm. Bên cạnh đó, bộ xử lý Hexagon cho công cụ AI còn có thể cắt giảm tiếng ồn trong những cuộc gọi video bằng cách sử dụng thuật toán giảm tiếng ồn thời gian thực. Có thể thấy không chỉ các nhà sản xuất smartphone mà cả những hãng phần mềm và phần cứng đều rất quan tâm đến AI. Trí tuệ nhân tạo có thể đƣợc xem là một nhân tố sống còn cho sự thành bại của ngành công nghiệp di động. Đây sẽ tiếp tục là mục tiêu theo đuổi và cạnh tranh giữa các hãng smartphone trong tƣơng lai. 15 Hình 2.4: Rất nhiều tính năng AI mới được ra mắt gần đây. 2.2 Giới thiệu AI Camera Hình 2.5: Smartphone tích hợp AI-Camera của Bphone Cảm nhận rõ sự thay đổi AI nhất là trong ngành phát triển điện thoại di động. Các mẫu máy gần đây đã có những khả năng nhận dạng giọng nói, đọc chính tả, quét vân tay, nhận diện khuôn mặt, chỉnh sửa ảnh tự động, điều khiển từ xa...mới đây nhất là AI-Cam. Hiện này, hầu hết các mẫu smartphone đình đám đều tích hợp thêm AI-Cam để tăng hấp dẫn đối với ngƣời tiêu dùng. 16