Tài liệu Tìm hiểu các phương pháp phân tích đặc trưng tiếng nói

Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan LỜI NÓI ĐẦU Mục đích của báo cáo này là Tìm hiểu phương pháp phân tích đặc trưng tiếng nói. Phân tích và thử nghiệm một ứng dụng liên quan nhận dạng tiếng nói. Trích chọn các tham số đặc trưng là bước có ý nghĩa quyết định tới kết quả của các chương trình nhận dạng tiếng nói. Có nhiều phương pháp trích chọn các tham số đặc trưng nhưng nhìn chung các phương pháp này dựa trên hai cơ chế: Mô phỏng lại quá trình cảm nhận âm thanh của tai người. Mô phỏng lại quá trình tạo âm của cơ quan phát âm. Dưới sự hướng dẫn tận tình của Cô Nguyễn Hoàng Lan em đã cố gắn hoàn thành tốt bài tiểu luận. Nhưng trong quá trình thực hiện không tránh khỏi nhữnh sai sót, mong thày góp ý để bài tiểu luận được hoàn thiện hơn. Em xin chân thành cảm ơn ! Hà Nội, tháng 6 năm 2010. HV: Nguyễn Ngọc Đăng Học Viên: Nguyễn Ngọc Đăng 1 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan PHẦN I: NHỮNG VẤN ĐỀ CƠ BẢN CỦA TIẾNG NÓI I. Bộ máy phát âm của con người 1. Cơ chế phát âm Sơ đồ hệ thống phát âm của người được minh họa như hình vẽ: Hình 1: Bộ máy phát âm (1) Khoang mũi, (2) Vòm miệng cứng, (3) Ổ răng, (4) Vòm miệng mềm, (5)-(6)-(8) Lưỡi, (7) Lưỡi gà, (9) Họng, (10) Nắp thanh quản, (11)-(12) Dây thanh âm, (13) Thanh quản, (14) Thực quản, (15) Khí quản. Hệ thống phát âm ở người bao gồm: phổi (lung), khí quản (trachea), thanh quản (thanh quản), khoang miệng (oral cavity) và khoang mũi (nasal cavity). Thanh quản chứa hai nếp gấp gọi là dây thanh âm (vocal cords), sẽ kéo căng khi phát ra tiếng nói. Khoang miệng gồm một ống âm thanh (acoustic tube) dài khoảng 17 cm ở người nam, phần trước kết thúc ở môi và phần sau kết thúc ở dây thanh âm hoặc thanh quản. Khoang miệng Học Viên: Nguyễn Ngọc Đăng 2 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan đóng vai trò là một hộp cộng hưởng động, thể tích của nó có thể được điều khiển bởi bộ máy phát âm ( môi, lưỡi, quai hàm, và vòm miệng mềm). Khoang mũi là một ống dài khoảng 12 cm ở người nam, kết thúc ở lỗ mũi và vòm miệng mềm. Vòm miệng mềm (velum) sẽ điều khiển hơi phát ra theo đường miệng hoặc đường mũi. Đối với những âm không theo giọng mũi (non-nasalised), vòm miệng mềm sẽ đóng khoang mũi và hơi chỉ phát ra theo đường miệng. Đối với những âm có giọng mũi, vòm miệng mềm sẽ dịch chuyển xuống phía dưới, đóng đường miệng và hơi chỉ phát ra theo đường mũi. Trường hợp thứ ba là hơi được phát ra theo cả hai đường. Quá trình phát âm: khi nói, phổi chứa đầy không khí. Lượng không khí này sẽ được đẩy qua khí quản và thanh môn (glottis). Luồng không khí qua thanh môn sẽ kích thích dây thanh âm dao động tạo ra sự phát âm. Âm thanh này được truyền ra ngoài qua khoang miệng và khoang mũi. Các khoang này có tác dụng như bộ lọc làm suy hao một vài tần số trong khi cho các tần số khác đi qua. 2. Đặc trưng vật lý - Độ cao: Là mức độ cao thấp của âm, phụ thuộc vào sự chấn động nhanh hay chậm của không khí trong một khoảng thời gian nhất định, được gọi là tần số dao động. Tần số dao động càng lớn thì âm thanh càng cao. - Độ mạnh: Thường được gọi là cường độ, do biên độ dao động quyết định. Trong ngôn ngữ, phụ âm thường mạnh hơn nguyên âm, đây chính là một trong những đặc điểm góp phần nhận diện sự khác biệt giữa phụ âm và nguyên âm trong âm thanh tiếng nói. - Độ dài: Là trường độ của âm, phụ thuộc vào sự chấn động lâu hay mau của các phần tử không khí. Độ dài được sử dụng để phân biệt các nguyên âm dài và ngắn, như phân biệt “a” với “ă”, “ơ” với “â” trong tiếng Việt. - Âm sắc: Là sắc thái riêng của một âm do các cá thể khác nhau tạo ra. Âm sắc là nguyên nhân gây ra sự khác biệt giữa giọng nói của người này với người khác. Âm sắc có được là do hiện tượng cộng hưởng. - Tiếng ồn và tiếng thanh: Tiếng ồn là do sự chuyển động không nhịp nhàng (không có chu kỳ ổn định) của các phần tử không khí gây ra. Tiếng thanh là do sự chuyển động nhịp nhàng (có chu kỳ ổn định) của các phần tử không khí gây ra. 3. Phân loại tiếng nói - Âm hữu thanh: Học Viên: Nguyễn Ngọc Đăng 3 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan Được tạo ra khi dây thanh âm căng lên và rung khi áp suất không khí tăng lên, làm cho thanh môn mở ra rồi đóng lại khi luồng không khí đi qua. Bộ phận phát âm hoạt động giống như hộp cộng hưởng, khuyếch đại những thành phần hài này và làm suy giảm những thành phần hài khác để tạo ra âm hữu thanh. Mức độ rung của dây thanh âm tùy thuộc vào áp suất không khí ở phổi và sức căng của dây thanh âm. Người nói có thể điều khiển 2 yếu tố trên để thày đổi chu kì cơ bản (được gọi là pitch) của âm thanh. Ở người đàn ông, tần số cơ bản khoảng từ 50÷250 Hz, trong khi ở phụ nữ là thường rơi vào khoảng 120÷500 Hz. Trong ngôn ngữ, các nguyên âm về bản chất âm học là những âm hữu thanh. - Âm vô thanh: Được tạo ra khi dây thanh âm không rung. Có hai loại âm vô thanh cơ bản: âm xát và âm bật hơi. • Đối với âm xát, ví dụ khi nói “s”, “x”, một số điểm trên bộ phận phát âm bị co lại khi luồng không khí đi ngang qua nó, hỗn loạn xảy ra tạo nên nhiễu ngẫu nhiên. Bởi vì những điểm co thường ở phía trước miệng, cộng hưởng của bộ phận phát âm có ảnh hưởng nhỏ đến đặc tính của âm xát. • Đối với âm bật hơi, như khi ta nói ‘h’ trong ₡hùng?, hỗn loạn xảy ra ở gần thanh môn khi dây thanh âm bị giữ nhẹ một phần. Trường hợp này, cộng hưởng của bộ phận phát âm sẽ biến điệu phổ của nhiễu ngẫu nhiên. Hiệu ứng này có thể nghe rõ khi nói thì thầm. Cấu tạo cơ bản của phụ âm trong mọi ngôn ngữ là âm vô thanh. Ngoài hai loại âm cơ bản ở trên, còn có một loại âm trung gian vừa mang tính chất nguyên âm, vừa mang tính chất phụ âm, được gọi là bán nguyên âm hay bán phụ âm. Ví dụ như âm ‘i’ và ‘u’ trong những từ ‘ai’, ‘âu’. - Âm bật hơi: Khi phát các âm này, bộ máy phát âm sẽ được đóng lại hoàn toàn tại một điểm nào đó trong bộ máy phát âm. Ap suất không khí trong bộ máy phát âm sẽ tăng lên tức thời và được giải phóng một cách đột ngột. Sự giải thoát nhanh chóng của áp suất này sẽ tạo nên một sự kích thích tạm thời của bộ máy phát âm. 4. Mô hình lọc nguồn tạo tiếng nói (Hình 2) minh họa mô hình rất đơn giản của bộ phận phát ra nguyên âm “e” là một ống đều có chiều dài L, một đầu nguồn âm thanh(dây thanh âm) và đầu kia được mở ra(môi). Ống này cộng hưởng ở các tần số lẻ f0, 3f0, 5f0… với f0=c/4L với c là vận tốc âm thanh trong không khí. Ví dụ, L=17cm, c=300m/s, thì sẽ cộng hưởng ở các tần số: 500Hz, 1500Hz, 2500Hz,… những đỉnh cộng hưởng này được gọi là các Formant. Bộ phận phát âm có thể nhiều dạng khác nhau và tạo ra những đỉnh cộng hưởng khác nhau hay các giá Học Viên: Nguyễn Ngọc Đăng 4 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan trị Formant khác nhau nên âm thanh phát ra khác nhau. Trong tiếng nói, các tần số Formant luôn thay đổi từ âm này sang âm khác. Hình 2: Mô hình ống đều của bộ phận phát âm Quá trình hình thành tiếng nói được biểu diễn bằng mô hình Source-filter: Hình 3: Tạo tiếng nói theo mô hình lọc nguồn Tín hiệu vào là tín hiệu từ nguồn âm thanh(cũng có thể là có chu kì hay nhiễu) được lọc bằng bộ lọc có tính chất cộng hưởng tương tự với bộ phận phát âm. Phổ của tín hiệu tiếng nói thu được bằng cách nhân phổ của bộ lọc với phổ của tín hiệu. AV, AN là các độ lợi biểu thị cường độ của âm thanh và cường độ nhiễu. Một bộ phận phát âm có một số hữu hạn Formant, nhưng chỉ cần quan tâm đến 3 hay 4 Formant đầu tiên trên băng tần từ 100Hz đến 3.5kHz do biên độ của các Formant cao hơn bị suy giảm gần như hoàn toàn với độ suy giảm -12dB/octave. Trường hợp tiếng nói vô thanh, phổ tương đối bằng phẳng, số lượng các Formant như vậy vẫn đủ mặc dù tiếng nói vô thanh có băng tần mở rộng lên đến 7-8kHz. Ngoài ra, do ảnh hưởng bức xạ của miệng nên biên độ được tăng lên chừng 6dB/octave trong băng tần 0-3kHz. Chình vì vậy mà đến phần tiền xử lý tín hiệu ta phải dùng bộ lọc tiền nhấn để bù thêm +6dB/octave. Học Viên: Nguyễn Ngọc Đăng 5 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan II. Cơ quan thính giác của con người: 1. Cấu tạo Hình 4: Cấu tạo cơ quan thính giác Tai ngoài: Bao gồm có vành tai và lỗ tai, chính lỗ tai sẽ dẫn tín hiệu âm thanh đến màng nhĩ và làm cho màng nhĩ rung lên. Độ lệch của màng nhĩ khoảng chừng vài nanomet và một tiếng nói thầm có thể tạo ra một độ lệch chỉ bằng một phần mười bán kính nguyên tử hydro. Tai giữa: Có một xương nhỏ gọi là xương búa áp sát vào màng nhĩ. Trong lúc màng nhĩ rung lên, vì xương búa liên kết với các xương khác, gọi là xương đe, làm xương này có thể quay. Trong lúc quay, xương đe lại liên kết với một xương khác, gọi là xương bàn đạp, nó áp sát vào cửa sổ hình ovan của vùng trong tai. Ba xương này (búa, đe, bàn đạp) là những xương nhỏ nhất trong cơ thể con người và được gọi chung là xương nhỏ. Chức năng của nó là truyền tải sự rung động của màng nhĩ đến cửa sổ hình oval ở trong tai. Tai trong: Cửa sổ hình oval là một màng phủ nhầy, mở rộng trong bức tường xương có cấu trúc xoắn ốc, được gọi là ốc tai. Chất lỏng trong ốc tai được chia theo chiều dài của nó thành hai màng nhầy, gọi là màng nhầy Reissner và màng nhầy cơ bản(màng đáy). Sự rung động của cửa sổ oval gây nên sóng áp suất truyền đến chất lỏng ở trong xương nhỏ và áp suất của sóng gây trên màng nhầy cơ bản một độ lệch tại những điểm khác nhau dọc theo chiều dài của nó. Áp chặt vào màng nhầy cơ bản là cơ quan vỏ não. Cơ quan này chứa khoảng 30000 tế bào hình sợi. Mỗi tế bào này có nhiều sợi nhỏ li ti nhô ra. Các sợi dây này uốn cong nhờ sự vận động của màng nhầy cơ bản và nhờ đó các tế bào hình sợi hoạt Học Viên: Nguyễn Ngọc Đăng 6 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan động. Các tế bào hình sợi này liên kết với các đầu cuối của nơron của hệ thần kinh để truyền tín hiệu về não. 2. Cơ chế nghe Khi ta nghe một sóng âm thuần tuý tức âm đơn (sóng sine), những điểm khác nhau trên màng đáy sẽ rung động thao tần số của âm đơn đi vào tai. Điểm lệch lớn nhất trên màng đáy phụ thuộc tần số âm đơn. Tần số càng cao tạo ra điểm lệch lớn nhất ở phía đáy và tần số thấp tạo ra điểm lệch lớn nhất phía đỉnh. Như vậy màng đáy đóng vai trò phân tích tần số tín hiệu vào phức tạp, bằng cách tách những tần số khác nhau ở những điểm khác nhau dọc theo chiều dài của nó. Mỗi điểm như vậy có thể xem là một bộ lọc thông dải có tần số trung tâm và băng thông xác định. Những đáp ứng này không đối xứng quanh tần số trung tâm, vùng tần số cao có tốc độ suy giảm dốc hơn nhiều so với vùng tần số thấp. Vị trí của độ lệch cực đại dọc theo màng nhày biến thiên phi tuyến theo tần số (theo hàm logarit). Những nghiên cứu chỉ ra rằng ngưỡng nghe của một âm đơn tăng lên khi có sự hiện diện của những âm đơn lân cận khác (âm mặt nạ) và chỉ có băng tần hẹp xung quanh âm đơn mới tham gia vào hiệu ứng mặ nạ, băng tần này thường gọi là băng tần tới hạn. Giá trị của băng tần tới hạn phụ thuộc vào tan số của âm đơn cần thử. Với âm đơn 100Hz, băng tần tới hạn xấp xỉ 90Hz, với âm đơn 5kHz là xấp xỉ 1kHz. Có thể xem quá trình nghe của hệ thính giác là một dãy cac bộ lọc băng thông, có đáp ứng phủ lấp lên nhau và băng thông hiệu quả của chúng xấp xỉ băng thông tới hạn. Đây là cơ sở cho việc thiết kế dãy băng lọc sau này III. Ngữ âm tiếng Việt 1. Âm vị Về mặt ngôn ngữ học, có thể xem tiếng nói là một chuỗi các âm cơ bản được gọi là âm vị. Âm vị là đơn vị ngôn ngữ trừu tượng và không thể quan sát trực tiếp trong tín hiệu tiếng nói. Nhiều âm vị khác nhau kết hợp với nhau một cách nào đó để tạo ra những âm thanh khác nhau. 2. Nguyên âm Nguyên âm được xác định bởi hốc cộng hưởng khoang miệng và hốc yết hầu-nguồn gốc của các Formant. Khoang miệng và khoang yết hầu được tách biệt ra bởi lưỡi. Do đó, sự thay đổi của khoang này đồng nghĩa với sự thay đổi của khoang kia. Việc xác định thể tích, hình dáng, lối thoát không khí của những hốc cộng hưởng này, tức xác định khả năng cộng hưởng của chúng, chính là mô tả độ mở của miệng, vị trí của lưỡi và hình dáng của môi. Học Viên: Nguyễn Ngọc Đăng 7 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan a. Phụ âm Đặc điểm cơ bản của phụ âm là sự cấu tạo bằng luồng không khí bị cản trở, sự cản trở này diễn ra với những mức độ khác nhau, cách thức khác nhau và ở những bộ phận khác nhau của cơ quan phát âm. Phụ âm đuợc chia ra phụ âm tắc (như ‘p’, ‘t’, ‘đ’, ‘b’) và phụ âm xát(như ‘v’, ‘s’, ‘x’) • Phụ âm tắc: Đặc trưng là một tiếng nổ, do luồng không khí bị cản trở hoàn toàn, phải phá vỡ sự cản trở để thoát ra ngoài. Phụ âm tắc được chia làm phụ âm bật hơi (như ‘th’)và phụ âm mũi (như ‘m’, ‘n’, ‘ng’, ‘nh’). • Phụ âm xát: Đặc trưng là tiếng cọ xát, phát sinh do luồng không khi đi ra bị cản trở không hoàn toàn(chỉ bị khó khăn) phải lách qua một khe hở nhỏ và trong khi thoát ra ngoài cọ xát vào thành của bộ phận phát âm. b. Thanh điệu Thanh điệu là sự nâng cao hay hạ thấp “giọng nói” trong một âm tiết. Âm tiết là đơn vị phát âm nhỏ nhất, trong tiếng Việt âm tiết là một từ. Thanh điệu là sự thay đổi cao độ của giọng nói, điều đó có nghĩa thay đổi biên độ tần số cơ bản trong âm hữu thanh. Thanh điệu được xác định bằng tần số cơ bản. Học Viên: Nguyễn Ngọc Đăng 8 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan PHẦN II: CÁC PHƯƠNG PHÁP TRÍCH CHỌN THAM SỐ ĐẶC TRƯNG CỦA TIẾNG NÓI Qua phần phân tích ngữ âm, ta thấy rằng, khi phát âm một từ (tổng quát gồm phụ âm, nguyên âm, thanh điệu), dây thanh âm rung tạo ra dạng sóng của luồng không khí, đến lượt bộ phận cấu âm và mũi biến đổi chậm làm thay đổi dạng sóng phát ra bên ngoài để tạo ra những từ khác nhau. Như vậy tín hiệu tiếng nói là do xung bước sóng chập với tín hiệu biến thiên chậm của bộ phận cấu âm. Điều này dẫn tới việc trích tham số tiếng nói rất hiệu quả là phân tích cepstral, trong phương pháp này người ta muốn lấy phần tín hiệu có tần số thấp do bộ phận cấu âm tạo ra. I. Phân tích cepstral theo thang đo mel Phương pháp tính các hệ số MFCC là phương pháp trích chọn tham số tiếng nói được sử dụng rộng rãi bởi tính hiệu quả của nó thông qua phân tích cepstral theo thang đo mel. Phương pháp được xây dựng dựa trên sự cảm nhận của tai người đối với các dải tần số khác nhau. Với các tần số thấp (dưới 1000 Hz), độ cảm nhận của tai người là tuyến tính. Đối với các tần số cao, độ biến thiên tuân theo hàm logarit. Các băng lọc tuyến tính ở tần số thấp và biến thiên theo hàm logarit ở tần số cao được sử dụng để trích chọn các đặc trưng âm học quan trọng của tiếng nói. Mô hình tính toán các hệ số MFCC được mô tả như (Hình 5). Hình 5: Sơ đồ tính toán các hệ số MFCC Ý nghĩa và phương pháp xác định tham số ở các khối trong sơ đồ trên mô tả như sau: Khối 1: Bộ lọc hiệu chỉnh (Preemphasis) Tín hiệu tiếng nói s(n) được đưa qua bộ lọc số bậc thấp để phổ đồng đều hơn, giảm ảnh hưởng gây ra cho các xử lý tín hiệu sau này. Thường bộ lọc này cố định bậc một, có dạng: Học Viên: Nguyễn Ngọc Đăng 9 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan H(z) = 1 – az-1 0.9 ≤ a ≤ 1.0 Quan hệ giữa tín hiệu ra với tín hiệu vào tuân theo phương trình ~ s (n) = s(n)-a.s(n-1) Giá trị a thường được chọn là 0.97. Khối 2: Phân khung (Frame Blocking) Trong khối này tín hiệu hiệu chỉnh được phân thành các khung, mỗi khung có N mẫu; hai khung kề lệch nhau M mẫu. Khung đầu tiên chứa N mẫu, khung thứ hai bắt đầu chậm hơn khung thứ nhất M mẫu và chồng lên khung thứ nhất N-M mẫu. Tương tự, khung thứ ba chậm hơn khung thứ nhất 2M mẫu (chậm hơn khung thứ hai M mẫu) và chờm lên khung thứ nhất N-2M mẫu. Quá trình này tiếp tục cho đến khi tất cả các mẫu tiếng nói cần phân tích thuộc về một hoặc nhiều khung. Khối 3: Lấy cửa sổ (Windowing) Bước tiếp theo là lấy cửa sổ cho mỗi khung riêng rẽ nhằm giảm sự gián đoạn của tín hiệu tiếng nói tại đầu và cuối mỗi khung. Nếu w (n), 0  n  N-1 Thông thường, của sổ Hamming được sử dụng. Cửa sổ này có dạng: Khối 4: Biến đổi Fourier rời rạc (FFT) Tác dụng của FFT là chuyển đổi mỗi khung với N mẫu từ miền thời gian sang miền tần số. FFT là thuật toán tính DFT nhanh. DFT được xác định Khối 5: Biến đổi sang thang đo Mel trên miền tần số Như đã nói ở trên, tai người không cảm nhận sự thay đổi tần số của tiếng nói tuyến tínhmà theo thang Mel. Người ta chọn tấn số 1kHz, 40 dB trên ngưỡng nghe là 1000 Mel. Do đó, công thức gần đúng biểu diễn quan hệ tần số ở thang mel và thang tuyến tính như sau: Học Viên: Nguyễn Ngọc Đăng 10 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan Hình 6: Các băng lọc tam giác theo tần số Mel Một phương pháp để chuyển đổi sang thang mel là sử dụng băng lọc (Hình 6), trong đó mỗi bộ lọc có đáp ứng tần số dạng tam giác. Số băng lọc sử dụng thường trên 20 băng. Thông thường, người ta chọn tần số từ 0 dến Fs/2 (Fs là tần số lấy mẫu tiếng nói). Nhưng cũng có thể một dải tần giới hạn từ LOFREQ đến HIFREQ sẽ được dùng để lọc đi các tần số không cần thiết cho xử lý. Chẳng hạn, trong xử lý tiếng nói qua đường điện thoại có thể lấy giới hạn dải tần từ LOFREQ=300 đến HIFREQ=3400. Sau khi tính FFT ta thu được phổ tín hiệu S(fn) . Thực chất đây là một dãy năng lượng W(m)=|s(fn)|2. Cho W(m) đi qua một dãy K băng lọc dạng tam giác, ta được một dãy các . Tính tổng của các dãy mk(k=1,2,3…,K). trong từng băng lọc, ta thu được một dãy các hệ số Khối 6: Biến đổi Cosine rời rạc (DCT)Trong bước này ta sẽ chuyển log của các giá trị mk về miền thời gian bằng cách biến đổi Cosine rời rạc (DCT). Kết quả của phép biến đổi này ta thu được các hệ số MFCC. Thông thường, chỉ có một số giá trị đầu tiên của ci được sử dụng. Trong các ứng dụng nhận dạng tiếng nói, người ta thường lấy 12 hệ số MFCC và thêm 1 hệ số năng lượng của khung sau khi đã được chuẩn hóa làm tham số đặc trưng cho tín hiệu tiếng nói (như vậy tổng cộng có Q=13 hệ số). Khối 7: Cepstral có trọng số Vì độ nhạy của các hệ số cepstral bậc thấp làm cho phổ toàn bộ bị đổ dốc, độ nhạy của các cepstral bậc cao gây ra nhiễu nên người ta thường sử dụng cửa sổ cepstral để cực tiểu hóa độ nhạy này. Công thức biểu diễn các hệ số cepstral có trọng số: Học Viên: Nguyễn Ngọc Đăng 11 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan Khối 8: Lấy đạo hàm các hệ số MFCC theo thời gian Để nâng cao chất lượng nhận dạng, người ta đưa thêm các giá trị đạo hàm theo thời gian của các giá trị hệ số MFCC vào vector hệ số tiếng nói. Các giá trị đó được tính theo: Trong đó; θ: là độ dài cửa sổ tính delta (thường chọn là 2 hoặc 3). Kết thúc các bước trên với mỗi khung ta thu được một vector có 2Q thành phần biểu diễn tham số đặc trưng của tiếng nói. II. Phương pháp mã dự đoán tuyến tính LPC(Linear Predictive Coding) Mô hình LPC được sử dụng để trích lọc các tham số đặc trưng của tín hiệu tiếng nói. Kết quả của quá trình phân tích tín hiệu thu được một chuỗi gồm các khung tiếng nói. Các khung này được biến đổi nhằm sử dụng cho việc phân tích âm học. Nội dung phân tích dự báo tuyến tính là: một mẫu tiếng nói được xấp xỉ bởi tổ hợp tuyến tính của các mẫu trước đó. Thông qua việc tối thiểu hóa tổng bình phương sai số giữa các mẫu hiện tại với các mẫu dự đoán có thể xác định được một tập duy nhất các hệ số dự báo. Các hệ số dự báo này là các trọng số được sử dụng trong tổ hợp tuyến tính. Với dãy tín hiệu tiếng nói s(n) giá trị dự báo được xác định bởi: Trong đó; ak : là các hệ số đặc trưng cho hệ thống. Hình 7: Sơ đồ xử lý LPC dùng trích chọn đặc trưng tiếng nói Sơ đồ khối bộ phân tích LPC dùng cho trích chọn các tham số đặc trưng của tín hiệu tiếng nói (Hình 7). Hàm sai số dự báo được tính theo công thức: Để cực tiểu hóa lỗi cần tìm tập giá trị {  k } phù hợp nhất. Học Viên: Nguyễn Ngọc Đăng 12 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan Do tín hiệu tiếng nói thay đổi theo thời gian nên các hệ số dự báo phải được ước lượng từ các đoạn tín hiệu ngắn. Vấn đề đặt ra là tìm một tập các hệ số dự báo để tối thiểu hóa sai số trung bình trên một đoạn ngắn. Hàm lỗi dự báo trong một thời gian ngắn xác định bởi: Trong đó; s n (m) : là một đoạn tín hiệu tiếng nói lân cận mẫu thứ n; Tìm tập giá trị αk để tối thiểu hóa En bằng cách đặt E n /  i = 0 với: i = 1,2,...,p Từ đó nhận được phương trình: Đặt: Phương trình trên có thể viết: Giải hệ p phương trình này tìm được p ẩn cuả {αk}. Tập các hệ số {αk} sẽ tối thiểu sai số trung bình bình phương dự đoán cho đoạn tín hiệu sn (m). Sai số dự đoán được xác định: Học Viên: Nguyễn Ngọc Đăng 13 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan Sử dụng phép thế ta có: Theo nguyên tắc, phân tích dự doán tuyến tính rất đơn giản nhưng việc tính toán  n (i, k ) và tìm nghiệm của hệ phương trình rất phức tạp. Phương pháp khắc phục là sử dụng hàm tự tương quan để giải các phương trình này. Giả sử đoạn tín hiệu sn (m)=0 nếu chúng nằm ngoài khoảng 0 ≤ m ≤ N - 1. Điều đó có nghĩa là có thể biểu diễn đoạn tín hiệu đó dưới dạng: sn(m) = s(n + m)w(m), trong đó: w(m) là cửa sổ có chiều dài hữu hạn (thường dùng cửa sổ Hamming). Sai số dự đoán Em (m) : Khi đó (2-24) trở thành: Gọi Rn(k ) là hàm tự tương quan dạng: Do Rn (k ) là hàm chẵn nên: Do đó: Học Viên: Nguyễn Ngọc Đăng 14 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan Hệ phương trình này có thể viết dưới dạng ma trận: Trong đó: Chú ý: R là ma trận đối xứng. Tất cả các phần tử thuộc đường chéo của ma trận này đều có giá trị bằng nhau, điều đó có nghĩa là nghịch đảo của nó luôn tồn tại và có nghiệm. III. Phương pháp PLP Phương pháp này là sự kết hợp của hai phương pháp đã trình bày ở trên. Hình 8 mô tả các bước xác định hệ số PLP. Hình 8: Sơ đồ các bước xác định hệ số PLP Các khối xử lý Khối 1: Biến đổi Fourier nhanh (FFT) Tương tự như phương pháp MFCC, tín hiệu tiếng nói được chia thành các khung và được chuyển sang miền tần số bằng thuật toán FFT. Học Viên: Nguyễn Ngọc Đăng 15 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan Khối 2: Lọc theo thang tần số Bark Tín hiệu tiếng nói được lọc qua các bộ lọc phân bố theo thang tần số phi tuyến, trong trường hợp này là thang tần số Bark: Khối 3: Nhấn mạnh tín hiệu dùng hàm cân bằng độ ồn (equal-loudnes) Bước này tương tự bước nhấn mạnh (preemphais) của phương pháp MFCC. Hàm này mô phỏng đường cong cân bằng độ ồn (Equal-Loudnes Curve) Khối 4: Dùng luật cường độ nghe (Power Law of Hearing) Bước xử lý này giống như bước lấy giá trị logarit trong phương pháp MFCC. Hàm căn lập phương được dùng có dạng: ( f ) =  ( f ) 0.33 Khối 5: Biến đổi Fourier ngược (Inverse DFT) Các hệ số tự tương quan được biến đổi Fourier ngược là giá trị đầu vào cho LPC. Khối 6: Thuật toán Durbin Thuật toán Durbin được sử dụng để tính các hệ số dự báo tuyến tính như phương pháp LPC Khối 7: Tính các giá trị delta Phương pháp tính tương tự như phương pháp hệ số MFCC. Học Viên: Nguyễn Ngọc Đăng 16 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan PHẦN III: ỨNG DỤNG PHƯƠNG PHÁP TRÍCH CHỌN THAM SỐ ĐẶC TRƯNG CỦA TIẾNG NÓI VÀO NHẬN DẠNG I. Tổng quan về nhận dạng tiếng nói Nhận dạng tiếng nói là một hệ thống tạo khả năng để máy nhận biết ngữ nghĩa của lời nói. Về bản chất, đây là quá trình biến đổi tín hiệu âm thanh thu được của người nói qua Micro, đường dây điện thoại hoặc các thiết bị khác thành một chuỗi các từ. Kết quả của quá trình nhận dạng có thể được ứng dụng trong điều khiển thiết bị, nhập dữ liệu, soạn thảo văn bản bằng lời, quay số điện thoại tự động hoặc đưa tới một quá trình xử lý ngôn ngữ ở mức cao hơn. Hình 9: Các phần tử cơ bản của một hệ thống nhận dạng tiếng nói Các hệ thống nhận dạng tiếng nói có thể được phân loại như sau: • Nhận dạng từ phát âm rời rạc/liên tục; • Nhận dạng tiếng nói phụ thuộc người nói/không phụ thuộc người nói; • Hệ thống nhận dạng từ điển cỡ nhỏ (dưới 20 từ)/từ điển cỡ lớn (hàng nghìn từ); • Nhận dạng tiếng nói trong môi trường có nhiễu thấp/cao; • Nhận dạng người nói. Trong hệ nhận dạng tiếng nói với cách phát âm rời rạc có khoảng lặng giữa các từ trong câu. Trong hệ nhận dạng tiếng nói liên tục không đòi hỏi điều này. Tùy thuộc vào quy mô và phương pháp nhận dạng, ta có các mô hình nhận dạng tiếng nói khác nhau. (Hình 9) là mô hình tổng quát của một hệ nhận dạng tiếng nói điển hình. Tín hiệu tiếng nói sau khi thu nhận được lượng tử hóa sẽ biến đổi thành một tập các Học Viên: Nguyễn Ngọc Đăng 17 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan vector tham số đặc trưng với các phân đoạn có độ dài trong khoảng 10-30 ms. Các đặc trưng này được dùng cho đối sánh hoặc tìm kiếm các từ gần nhất với một số ràng buộc về âm học, từ vựng và ngữ pháp. Cơ sở dữ liệu tiếng nói được sử dụng trong quá trình huấn luyện (mô hình hóa/phân lớp) để xác định các tham số hệ thống. II. Các phương pháp tiếp cận trong nhận dạng tiếng nói Có ba phương pháp phổ biến được sử dụng trong nhận dạng tiếng nói hiện nay là: • Phương pháp Âm học-Ngữ âm học; • Phương pháp nhận dạng mẫu; • Phương pháp ứng dụng trí tuệ nhân tạo. Các phương pháp được trình bày tóm tắt như dưới đây. 1. Phương pháp Âm học-Ngữ âm học Phương pháp này dựa trên lý thuyết về Âm học-Ngữ âm học. Lý thuyết đó cho biết: tồn tại các đơn vị ngữ âm xác định, có tính phân biệt trong lời nói và các đơn vị ngữ âm đó được đặc trưng bởi một tập các tín hiệu tiếng nói. Các bước nhận dang của phương pháp gồm: Bước 1: Phân đoạn và gán nhãn. Bước này chia tín hiệu tiếng nói thành các đoạn có đặc tính âm học đặc trưng cho một (hoặc một vài) đơn vị ngữ âm, đồng thời gán cho mỗi đoạn âm thanh đó một hay nhiều nhãn ngữ âm phù hợp. Bước 2: Nhận dạng. Bước này dựa trên một số điều kiện ràng buộc về từ vựng, ngữ pháp v.v… để xác định một hoặc một chuỗi từ đúng trong các chuỗi nhãn ngữ âm được tạo ra sau bước: Sơ đồ khối của phương pháp này được biểu diễn ở (Hình 9). Nguyên lý hoạt động của phương pháp có thể mô tả như sau: Trích chọn đặc trưng: Tín hiệu tiếng sau khi số hóa được đưa tới khối trích chọn đặc trưng nhằm xác định các phổ tín hiệu. Các kỹ thuật trích chọn đặc trưng tiếng nói phổ biến là sử dụng băng lọc (filter bank), mã hóa dự đoán tuyến tính (LPC)… Tách tín hiệu tiếng nói nhằm biến đổi phổ tín hiệu thành một tập các đặc tính mô tả các tính chất âm học của các đơn vị ngữ âm khác nhau. Các đặc tính đó có thể là: tính chất các âm mũi, âm xát; vị trí các formant; âm hữu thanh, vô thanh; tỷ số mức năng lượng tín hiệu… Phân đoạn và gán nhãn: Ở bước này hệ thống nhận dạng tiếng xác định các vùng âm thanh ổn định (vùng có đặc tính thay đổi rất ít) và gán cho mỗi vùng này một nhãn phù hợp với đặc tính của đơn vị ngữ âm. Đây là bước quan trọng của hệ nhận dạng tiếng Học Viên: Nguyễn Ngọc Đăng 18 Tiểu luận môn học:Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan nói theo khuynh hướng Âm học-Ngữ âm học và là bước khó đảm bảo độ tin cậy nhất. Nhận dạng: Chọn lựa để kết hợp chính xác các khối ngữ âm tạo thành các từ nhận dạng. Đặc điểm của phương pháp nhận dạng tiếng nói theo hướng tiếp cận Âm học-Ngữ âm học: • Người thiết kế phải có kiến thức khá sâu rộng về Âm học-Ngữ âm học; • Phân tích các khối ngữ âm mang tính trực giác, thiếu chính xác; • Phân loại tiếng nói theo các khối ngữ âm thường không tối ưu do khó sử dụng các công cụ toán học để phân tích. Hình 10: Sơ đồ khối nhận dạng tiếng nói theo Âm học-Ngữ âm học 2. Phương pháp nhận dạng mẫu Hình 11: Sơ đồ khối hệ nhận dạng tiếng nói theo phương pháp mẫu Phương pháp nhận dạng mẫu không cần xác định đặc tính âm học hay phân đoạn tiếng nói mà sử dụng trực tiếp các mẫu tín hiệu tiếng nói trong quá trình nhận dạng. Các hệ thống nhận dạng tiếng nói theo phương pháp này được phát triển theo hai bước (Hình 11), Học Viên: Nguyễn Ngọc Đăng 19 Tiểu luận môn học: Truyền thông đa phương tiện NHD:TS. Nguyễn Hoàng Lan cụ thể là. Bước 1: Sử dụng tập mẫu tiếng nói (cơ sở dữ liệu mẫu tiếng nói) để đào tạo các mẫu tiếng nói đặc trưng (mẫu tham chiếu) hoặc các tham số hệ thống. Bước 2: Đối sánh mẫu tiếng nói từ ngoài với các mẫu đặc trưng để ra quyết định. Trong phương pháp này, nếu cơ sở dữ liệu tiếng nói cho đào tạo có đủ các phiên bản mẫu cấn nhận dạng thì quá trình đào tạo có thể xác định chính xác các đặc tính âm học của mẫu (các mẫu ở đây có thể là âm vị, từ, cụm từ…). Hiện nay, một số kỹ thuật nhận dạng mẫu được áp dụng thành công trong nhận dạng tiếng nói là lượng tử hóa vector, so sánh thời gian động (DTW), mô hình Markov ẩn (HMM), mạng nơron nhân tạo (ANN). Hệ thống bao gồm các hoạt động sau: Trích chọn đặc trưng: Tín hiệu tiếng nói được phân tích thành chuỗi các số đo để xác định mẫu nhận dạng. Các số đo đặc trưng là kết quả xử lý của các kỹ thuật phân tích phổ như: lọc thông dải, phân tích mã hóa dự đoán tuyến tính (LPC), biến đổi Fourier rời rạc (DFT). Huấn luyện mẫu: Nhiều mẫu tiếng nói ứng với các đơn vị âm thanh cùng loại dùng để đào tạo các mẫu hoặc các mô hình đại diện, được gọi là mẫu tham chiếu hay mẫu chuẩn. Nhận dạng: Các mẫu tiếng nói được đưa tới khối phân loại mẫu. Khối này đối sánh mẫu đầu vào với các mẫu tham chiếu. Kối nhận dạng căn cứ vào các tiêu chuẩn đánh giá để quyết định mẫu tham chiếu nào giống mẫu đầu vào. Một số đặc điểm của phương pháp nhận dạng mẫu: • Hiệu năng của hệ phụ thuộc vào số mẫu đưa vào. Nếu số lượng mẫu càng nhiều thì độ • Chính xác của hệ càng cao; tuy nhiên, dung lượng nhớ và thời gian luyện mẫu tăng. • Các mẫu tham chiếu phụ thuộc vào môi trường thu âm và môi trường truyền dẫn. • Không đòi hỏi kiến thức sâu về ngôn ngữ. 3. Phương pháp ứng dụng trí tuệ nhân tạo Phương pháp ứng dụng trí tuệ nhân tạo kết hợp các phương pháp trên nhằm tận dụng tối đa các ưu điểm của chúng, đồng thời bắt chước các khả năng của con người trong phân tích và cảm nhận các sự kiện bên ngoài để áp dụng vào nhận dạng tiếng nói. Sơ đồ khối của phương pháp trí tuệ nhân tạo theo mô hình từ dưới lên (bottom-up) (Hình 12). Đặc điểm của các hệ thống nhận dạng theo phương pháp này là: Sử dụng hệ chuyên gia để phân đoạn, gán nhãn ngữ âm. Điều này làm đơn giản hóa hệ thống so với phương pháp nhận dạng ngữ âm. Học Viên: Nguyễn Ngọc Đăng 20