Tài liệu Nguyên lý lagrange trong các bài toán cực trị

.. ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THÀNH CÔNG NGUYÊN LÝ LAGRANGE TRONG CÁC BÀI TOÁN CỰC TRỊ LUẬN VĂN THẠC SĨ TOÁN HỌC Thái Nguyên - 2014 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THÀNH CÔNG NGUYÊN LÝ LAGRANGE TRONG CÁC BÀI TOÁN CỰC TRỊ Chuyên ngành: Toán ứng dụng Mã số: 60.46.01.12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS-TS Trần Vũ Thiệu Thái nguyên - 2014 LỜI NÓI ĐẦU Trong lý thuyết và ứng dụng ta thường gặp các bài toán cực trị (tìm cực đại và cực tiểu). Khi giải một bài toán cực trị người ta thường tìm cách đưa nó về các bài toán đơn giản hơn: với số biến hoặc số ràng buộc ít hơn, thậm chí không có ràng buộc càng tốt. Ý tưởng này được thể hiện rõ nét trong phương pháp nhân tử Lagrange và trong một số phương pháp tối ưu khác. Nguyên lý Lagrange tạo cơ sở lý thuyết cho phương pháp nhân tử Lagrange giải bài toán cực trị có ràng buộc, đặc biệt là các bài toán với ràng buộc đẳng thức. Mục tiêu của luận văn này là tìm hiểu nguyên lý Lagrange trong lý thuyết các bài toán cực trị, chủ yếu xét trong không gian hữu hạn chiều ℝn và ứng dụng nguyên lý này vào việc tìm nghiệm (cực tiểu và cực đại) của các bài toán cực trị có hay không có ràng buộc, đặc biệt là các bài toán quen thuộc trong số học và hình học, nhằm nâng cao kiến thức và khả năng trong giảng dạy và nghiên cứu về toán tối ưu nói riêng và toán ứng dụng nói chung. Nội dung luận văn được viết trong ba chương. Chương 1 “Bài toán cực trị” trình bày khái quát về bài toán cực trị có hoặc không có ràng buộc, nhắc lại các khái niệm về nghiệm cực tiểu (cực đại) địa phương (toàn cục), sự tồn tại nghiệm của bài toán, các điều kiện đòi hỏi nghiệm bài toán cần thỏa mãn (điều kiện cần và điều kiện đủ), dựa vào đó tìm nghiệm tối ưu của bài toán. Chương 2 “Nguyên lý Lagrange” trình bày kết quả lý thuyết về điều kiện cần tối ưu (cấp 1, cấp 2) và điều kiện đủ tối ưu (cấp 2) cho nghiệm cực tiểu địa phương của bài toán qui hoạch phi tuyến với ràng buộc đẳng thức và trình bày phương pháp nhân tử Lagrange đưa bài toán có ràng buộc đẳng thức về bài toán (không ràng buộc) của hàm Lagrange (bằng hàm mục tiêu ban đầu cộng với các hàm ràng buộc, sau khi đã nhân với các hệ số gọi là các nhân tử Lagrange). 1 Chương 3 “Áp dụng giải bài toán cực trị” trình bày các ứng dụng của nguyên lý Lagrange vào việc tìm nghiệm cực tiểu hay cực đại của một số bài toán cực trị, chủ yếu là bài toán với ràng buộc đẳng thức. Đặc biệt xét các bài toán quen thuộc trong số học và hình học, bài toán về chứng minh các bất đẳng thức, bài toán về khoảng cách, bài toán Steiner. Đây là những bài toán có ý nghĩa thực tế, được các nhà toán học nổi tiếng đề ra hoặc nêu cách giải. Qua đó giới thiệu một số ứng dụng của lý thuyết tối ưu trong thực tiễn. Do thời gian và kiến thức còn hạn chế nên chắc chắn luận văn này còn có những thiếu sót nhất định, kính mong quí thầy cô và các bạn đóng góp ý kiến để tác giả tiếp tục hoàn thiện luận văn sau này. Nhân dịp này tác giả luận văn xin bày tỏ lòng biết ơn sâu sắc tới GS-TS Trần Vũ Thiệu, Viện Toán học - Viện Hàn Lâm Khoa học và Công nghệ Việt Nam đã tận tình chỉ bảo, giúp đỡ tôi trong quá trình làm luận văn. Bên cạnh đó tôi cũng xin bày tỏ lòng biết ơn đến ban giám hiệu trường Đại học Khoa học Thái Nguyên, Khoa Toán - Tin, Trung tâm học liệu Đại học Thái Nguyên đã tận tình động viên, tạo điều kiện giúp đỡ tôi trong thời gian học tập và làm luận văn. Tôi xin bày tỏ lòng biết ơn sâu sắc đến Viện Toán học - Viện Hàn Lâm Khoa học và Công nghệ Việt Nam đã tạo điều kiện thuận lợi cho tôi trong thời gian học tập nghiên cứu. Tôi xin gửi lời cảm ơn chân thành đến những người thân trong gia đình, bạn bè và đồng nghiệp về những sự quan tâm, động viên và giúp đỡ tôi trong thời gian qua. Thái Nguyên, ngày 09 tháng 3 năm 2014 Học viên Nguyễn Thành Công 2 Chương 1 BÀI TOÁN CỰC TRỊ Chương này nhắc lại một số khái niệm cơ bản về bài toán cực trị có hoặc không có ràng buộc, các khái niệm nghiệm cực tiểu (cực đại) địa phương (toàn cục), sự tồn tại nghiệm của bài toán, các điều kiện đòi hỏi nghiệm bài toán cần thỏa mãn (điều kiện tối ưu cần và đủ). Nội dung của chương được tham khảo chủ yếu từ các tài liệu [1], [2], [4] và [6]. 1.1. CÁC KHÁI NIỆM CƠ BẢN 1.1.1. Ví dụ về bài toán cực trị Các bài toán cực trị đã biết từ bậc phổ thông. Để làm ví dụ, ta xét hai bài toán quen thuộc trong hình học phẳng. Bài toán 1 (Bài toán Heron). Tìm trên đường thẳng đã cho một điểm sao cho tổng khoảng cách từ điểm đó tới hai điểm cho trước là nhỏ nhất? (Hình 1.1). Bài toán 2. Vẽ nội tiếp trong hình tròn một hình chữ nhật có diện tích lớn nhất? (Hình 1.2). y y B (d, b) (x, y) r A (0, a) 0 0 1 2 Ĉ ( x̂ , 0) C (x, 0) x x A'(0,- a) Hình 1.1 Hình 1.2 Bài toán 1 tìm cực tiểu (minimum), bài toán 2 tìm cực đại (maximum). Cực tiểu và cực đại được gọi chung là cực trị (extremum). Đôi khi người ta dùng từ tối ưu (optimization), nghĩa là tốt nhất hay hoàn hảo nhất. Như vậy, bài toán 1 và 2 là các bài toán cực trị hay bài toán tối ưu. Lý thuyết các bài toán tìm giá trị nhỏ nhất (lớn nhất) của hàm gọi là lý thuyết bài toán cực trị hay lý thuyết tối ưu. 3 Các bài toán 1 và 2 được mô tả bằng lời, không dùng công thức. Các bài toán cực trị nảy sinh từ các lĩnh vực khoa học hay từ thực tiễn thường như vậy: chúng được mô tả bằng lời theo thuật ngữ có nội dung của lĩnh vực nảy sinh ra các bài toán đó. Để có thể áp dụng được lý thuyết tối ưu thì cần chuyển bài toán sang ngôn ngữ toán học. Cách làm này gọi là hình thức hóa bài toán. Cùng một bài toán có thể được hình thức hóa theo nhiều cách khác nhau và cách giải có đơn giản và hiệu qủa hay không thường phụ thuộc rất nhiều vào mức độ thành công của sự hình thức hóa đó. Ta hình thức hóa bài toán 1 và 2 như sau. Bài toán 1: Vẽ trục Ox dọc theo đường thẳng đã cho và trục Oy vuông góc đi qua điểm A (xem Hình 1.1). Giả sử tọa độ của hai điểm đã cho là: A = (0, a) và B = (d, b); tọa độ của điểm cần tìm C = (x, 0). Khoảng cách từ A tới C và từ B tới C lần lượt là |AC| = a 2  x 2 và |BC| = b 2  (d  x ) 2 . Từ đó, ta đi đến bài toán: Tìm cực tiểu của hàm một biến f(x) = a2  x2 + b 2  (d  x ) 2 với x ∈ ℝ. Bài toán 2: Giả sử đường tròn được mô tả bởi phương trình x2 + y2 = r2, Vẽ các trục Ox và Oy song song với các cạnh hình chữ nhật và ký hiệu (x, y) là tọa độ của đỉnh hình chữ nhật nằm ở góc phần tư thứ nhất (xem Hình 1.2). Khi đó diện tích hình chữ nhật bằng 4xy. Ta nhận được bài toán: Tìm cực đại của hàm hai biến f(x, y) = 4xy với điều kiện g1(x, y) = x2 + y2 - r2 = 0, g2(x, y) = x ≥ 0, g3(x, y) = y ≥ 0. Có thể thấy điều kiện x ≥ 0, y ≥ 0 là thừa và bài toán tìm cực đại của 4xy với x 2 + y2 = r2 tương đương bài toán với điều kiện bất đẳng thức x2 + y2 ≤ r2. Bất kỳ bài toán đã hình thức hóa nào cũng được xây dựng theo cách tương tự, nó bao gồm các yếu tố sau đây: phiếm hàm f : X → ℝ ∪ {+ ∞, - ∞} (X là miền xác định của phiếm hàm f) và ràng buộc, tức là tập con D ⊂ X. Ta giải thích một số ký hiệu và thuật ngữ thường gặp trong lý thuyết tối ưu: R là đường thẳng thực mở rộng, tức là tập các số thực cộng thêm hai giá trị + ∞ 4 và - ∞; cách viết F : X → Y có nghĩa là ánh xạ F có miền xác định là không gian X và với mỗi phần tử x ∈ X, phần tử F(x) nằm trong không gian Y; ta dùng từ phiếm hàm để chỉ ánh xạ vào đường thẳng thực mở rộng R . Như vậy, hình thức hóa bài toán cực trị có nghĩa là mô tả chính xác các yếu tố f, X và D. Với bài toán đã hình thức hóa ta dùng cách viết f(x) → inf (sup), x ∈ D. (P) để chỉ bài toán tìm cực tiểu (cực đại). Khi cần xét cả hai bài toán cực tiểu và cực đại, ta viết f(x) → extr, x ∈ D. Như vậy, cách viết hình thức cho các bài toán 1 và 2 như sau. Bài toán 1 (X = D = ℝ - đường thẳng thực): f(x) = a2  x2 + b 2  (d  x ) 2 → inf. (P1) Bài toán 2 (X = ℝ2 - mặt phẳng hai chiều): f(x, y) = 4xy → sup, x2 + y2 = r2, x ≥ 0, y ≥ 0. (P2) Bài toán (P2), như đã nói ở trên, có cách hình thức hóa khác: f(x, y) = 4xy → sup, x2 + y2 = r2. ( P2 ) Bài toán (P1) không có ràng buộc, bài toán (P2) có ràng buộc D = {(x, y) ∈ ℝ2 : x2 + y2 = r2, x ≥ 0, y ≥ 0} cho ở dạng đẳng thức và bất đẳng thức, còn bài toán ( P2 ) có ràng buộc D = {(x, y) ∈ ℝ2 : x2 + y2 = r2} cho ở đạng đẳng thức. 1.1.2. Một số thuật ngữ Như vậy, bài toán tối ưu f(x) → inf (sup) với x  D (P) là bài toán tìm véctơ x*  D sao cho f(x*)  f(x) (f(x*) ≥ f(x)) với mọi x  D, trong đó D ⊂ ℝn là một tập khác rỗng và f : D → ℝ là một hàm số thực tùy ý. 5 Định nghĩa 1.1. Hàm f gọi là hàm mục tiêu, tập D gọi là tập ràng buộc hay miền chấp nhận được. Một véctơ (điểm) x  D gọi là một phương án (lời giải, nghiệm) chấp nhận được. Véctơ x*  D sao cho f(x*)  f(x) (hay f(x*) ≥ f(x)) với mọi x  D gọi là một phương án (lời giải, nghiệm) tối ưu của bài toán. Trường hợp D = ℝn ta có bài toán tối ưu không ràng buộc, thường viết là min {f(x) : x  ℝn} hay minn f(x). xR Khi D ⊂ ℝn ta có bài toán tối ưu có ràng buộc và tập D thường có dạng D = {x  ℝn : gi(x)  0, i = 1, ... , m, hj(x) = 0, j = 1, ... , p} với gi, hj : ℝ n  ℝ là các hàm số cho trước, gọi là các hàm ràng buộc. Khi đó, bài toán (P) có thể viết dưới dạng tường minh: min {f(x) : gi(x)  0, i = 1, ... , m, hj(x) = 0, j = 1, ... , p}. Các hệ thức gi(x)  0 gọi là các ràng buộc bất đẳng thức, các hệ thức hj(x) = 0 gọi là các ràng buộc đẳng thức. Ràng buộc bất đẳng thức dạng xj  0 (- xj  0) gọi là ràng buộc không âm hay ràng buộc về dấu. Nhận xét là min{f(x) : x  D} = - max{- f(x) : x  D}, vì thế bài toán tìm cực tiểu có thể đưa được về bài toán tìm cực đại và ngược lại. Định nghĩa 1.2. Ta nói điểm x̂ ∈ D là một nghiệm cực tiểu địa phương của (P) và viết x̂ ∈ loc min P nếu có số  > 0 sao cho f( x̂ ) ≤ f(x) với mọi x ∈ D và ||x - x̂ || < . Nếu f ( x̂ ) < f(x) với mọi x  D, x  x̂ và ||x - x̂ || <  thì x̂ được gọi là một nghiệm cực tiểu địa phương chặt của (P). Định nghĩa 1.3. Điểm x̂  D được gọi là một nghiệm cực tiểu toàn cục hay cực tiểu tuyệt đối của (P) nếu f ( x̂ )  f(x) với mọi x  D và ta viết x̂ ∈ abs min P. Nếu f( x̂ ) < f(x) với mọi x  D, x  x̂ thì x̂ được gọi là nghiệm cực tiểu toàn cục chặt của (P). 6 Các khái niệm nghiệm cực đại địa phương và nghiệm cực đại toàn cục được định nghĩa tương tự và ta viết x̂ ∈ loc max P hay x̂ ∈ abs max P. Đối với hàm tùy ý f trên tập D, ký hiệu tập tất cả các điểm cực tiểu (cực đại) toàn cục của f trên D là Argmin xD f(x) (Argmax x  D f(x)). Khi xét một bài toán tối ưu ta mong muốn tìm nghiệm cực trị (cực tiểu, cực đại) toàn cục của nó. Tuy nhiên, một nghiệm như thế có thể không tồn tại. Chẳng hạn, hàm một biến f(x) = x hay f(x) = ex không có nghiệm cực tiểu toàn cục trên tập số thực ℝ do hàm f(x) = x giảm vô hạn tới -  khi x dần tới - , còn hàm f(x) = ex luôn nhận giá trị dương và giảm tới 0 khi x dần tới - . Tập {f(x) : x  D} được gọi là miền giá trị của hàm f. Có hai khả năng: a) Tập {f(x) : x  D} bị chặn dưới, nghĩa là có một số m sao cho m  f(x) với mọi x  D. Trong trường hợp này cận dưới lớn nhất của {f(x) : x  D} là một số thực và được ký hiệu là inf f(x). Chẳng hạn, inf ex = 0. xD xR b) Tập {f(x) : x  D} không bị chặn dưới (tức là tập này chứa các số thực nhỏ tùy ý). Trong trường hợp này ta viết inf f(x) = - . xD Trong Bài toán 1 cực tiểu tuyệt đối x̂ xác định điểm cần tìm Ĉ = ( x̂ , 0) được đặc trưng bởi sự kiện hình học đã biết là các góc nhọn tạo nên bởi cạnh A Ĉ và Ĉ B với trục Ox phải bằng nhau (góc tới bằng góc phản xạ) và giá trị tối ưu của bài toán là fmin = (a  b) 2  d 2 ( Ĉ là giao điểm của A'B với trục Ox, xem Hình 1.1). Trong Bài toán 2 hình chữ nhật cần tìm là hình vuông cạnh bằng 2r/ 2 , tương ứng với nghiệm x̂ = ŷ = r/ 2 và fmax = 2r2 (xem Hình 1.2). Lý thuyết bài toán cực trị đưa ra các qui tắc tìm nghiệm của bài toán, thường là tách ra tập các điểm gọi là điểm tới hạn (thường bao gồm các điểm tại đó đạo hàm theo mọi biến bằng 0, các điểm không có đạo hàm và các điểm biên 7 của miền ràng buộc ...). Tập này có thể rộng hơn tập điểm cực trị địa phương hay toàn cục. Sau khi tìm được các điểm tới hạn, sử dụng các điều kiện tối ưu cần và đủ, tìm ra các điểm cực tiểu (hay cực đại). Để minh họa, ta xét ví dụ tìm các điểm tới hạn, các điểm cực trị địa phương và cực trị toàn cục của bài toán sau. Bài toán 3 (Hình 1.3). Tìm cực trị của hàm một biến f(x) = x3(x2 - 1) → extr, - 1 ≤ x ≤ 2. (P3) Cực trị toàn cục của bài toán có thể đạt được tại hai đầu mút của đoạn [- 1, 2] hoặc tại điểm trong. Nếu cực trị đạt tại điểm trong thì tại đó đạo hàm của f phải bằng 0, tức là f '(x) = 0 ⇔ 5x4 - 3x2 = 0 ⇔ x ∈ {- 3 / 5 , 0, y x1 x2 3 / 5 }. f(x) x3 x4 x5 1 - 1 - 3/5 0 2 x 3/5 Hình 1.3. Các điểm tới hạn Như vậy có 5 điểm tới hạn: x 1 = - 1, x2 = - 3 / 5 , x3 = 0, x4 = 3 / 5 , x5 = 2, trong đó x2, x 3, x4 là các điểm dừng. Từ đồ thị của hàm f (Hình 1.3) ta thấy x1, x4 ∈ loc min P3; x2, x 5 ∈ loc max P3; x 4 ∈ abs min P3; x 5 ∈ abs max P3. Từ đó fmin = - 6 0,6 /25 ≈ - 0,1859 và fmax = 24. 1.2. SỰ TỒN TẠI NGHIỆM TỐI ƯU Câu hỏi tự nhiên đặt ra là bài toán được xét có hay không có nghiệm tối ưu (cực tiểu hay cực đại toàn cục)? Trả lời cho câu hỏi này là Định lý 1.1 (Định lý Weierstrass). Một hàm liên tục f trên một tập D compac, khác rỗng đạt được cực tiểu và cực đại trên D. 8 Ta xét một số điều kiện mở rộng bảo đảm cho bài toán có nghiệm tối ưu. Định nghĩa 1.4. Hàm f : D  ℝ gọi là nửa liên tục dưới tại điểm x  D nếu với mỗi  > 0 có một  > 0 sao cho f( x ) -   f(x) với mọi x  D, ||x - x || < . Hàm f gọi là nửa liên tục dưới trên D nếu f nửa liên tục dưới tại mọi điểm x  D. Hàm f nửa liên tục trên trên D khi và chỉ khi - f nửa liên tục dưới trên D. Hàm f liên tục trên D nếu nó vừa nửa liên tục dưới, vừa nửa liên tục trên trên D. Định lý 1.2. Một hàm f(x) nửa liên tục dưới trên một tập compac D   phải đạt cực tiểu trên D. Tương tự, một hàm f(x) nửa liên tục trên trên một tập compac D   phải đạt cực đại trên D. Nếu tập D chỉ đóng mà không bị chặn thì một hàm nửa liên tục dưới (nửa liên tục trên) trên D có thể không đạt cực tiểu (cực đại) trên D. Tuy vậy ta có Định lý 1.3. a) Một hàm f : D  ℝ nửa liên tục dưới trên một tập đóng D   mà bức (coercive) trên D, nghĩa là f(x)  +  khi x  D, ||x||  + , thì f phải có cực tiểu trên D. b) Một hàm f : D  ℝ nửa liên tục trên trên một tập đóng D   mà - f bức trên D (tức f(x)  -  khi x  D, ||x||  + ) thì f phải có cực đại trên D. Định lý 1.4. Hàm bậc hai f(x) = 12 xTAx + bTx với A  ℝ nn đối xứng, b  ℝn là bức (trên toàn ℝn) khi và chỉ khi A xác định dương. Ví dụ 1.1. Xét hai hàm toàn phương: a) f1(x) = L1(x1, x2, x 3) = x 12 + 4x 22 + 3x 23 + 2x1x2. b) f2(x) = L2(x 1, x2, x3) = 2x 12 + 3x 22 - x 23 + 4x1x2 - 6x1x3 + 10x 2x 3. Tính toán trực tiếp cho thấy f1(x) = xTAx và f2(x) = xTBx với 1 1 0   A = 1 4 0 ,  0 0 3   9  2 2  3   B =  2 3 5 .   3 5  1   Có thể thấy A là ma trận xác định dương nên hàm f1(x) là bức, B là ma trận không xác định dương nên hàm f2(x) không bức (x1 = x2 = 0, x3  , f2  - ). Dùng các định lý nêu trên ta có thể xét bài toán có nghiệm tối ưu hay không. Chẳng hạn, xét bài toán min {x 12 + ... + x 2n : a1x 1 + ... + anx n = b} với b, ai  0 với mọi i. Đây là bài toán tối ưu dạng min {f(x) : x  D} với f(x) = x 12 + ... + x 2n liên tục và bức (vì f = ||x||2 nên khi ||x||  +  thì f  + ). Tập D = {x  ℝn : a1x1 + ... + anx n = b} có dạng một siêu phẳng trong ℝn nên D là một tập đóng. Dễ thấy D   vì x 1 = b/a1, x2 = ... = xn = 0 thoả mãn a1x 1 + a2x2 + ... + anx n = b. Theo Định lý 1.3 bài toán có nghiệm cực tiểu toàn cục (nghiệm tối ưu). 1.3. ĐIỀU KIỆN TỐI ƯU Xét bài toán tối ưu không ràng buộc có dạng: min {f(x) : x  ℝn}, (P) trong đó f : ℝn  ℝ là một hàm phi tuyến cho trước. Định lý 1.5. Nếu x  ℝn là một điểm cực tiểu địa phương của một hàm f(x) khả vi trên ℝn thì f( x ) = 0 và nếu f(x) hai lần khả vi thì 2f( x ) ≽ 0 (ma trận 2f( x ) nửa xác định dương). Ngược lại, nếu x  ℝn là một điểm tại đó f(x) hai lần khả vi và f( x ) = 0, 2f( x ) ≻ 0 (ma trận 2f( x ) xác định dương) thì x là một điểm cực tiểu địa phương chặt của f(x) trên ℝn, nghĩa là có một  > 0 sao cho f( x ) < f(x) với mọi x  ℝn, x  x và ||x - x || < . Do max {f(x) : x  ℝn} = - min {- f(x) : x  ℝn} nên từ Định lý 1.5 suy ra Hệ quả 1.1. Giả sử hàm f(x) hai lần khả vi trên ℝn: 10 a) Nếu ~ x  ℝ n là một điểm cực đại địa phương của f(x) trên ℝn thì f( ~ x ) = 0 và 2f( ~ x ) ≼ 0 (2f( ~ x ) nửa xác định âm). b) Ngược lại, nếu ~ x  ℝn thoả mãn f( ~ x ) = 0 và 2f( ~ x ) ≺ 0 (2f( ~ x ) xác định âm) thì ~ x là một điểm cực đại địa phương chặt của f(x) trên ℝn, nghĩa là có một  > 0 sao cho f( ~ x ) > f(x) với mọi x  ℝn, x  ~ x và ||x - ~ x || < . Với hàm một biến f(x), x  ℝ, ta cũng có các kết luận tương tự, chỉ cần dùng ký hiệu f’(x) thay cho f(x) và f”(x) thay cho 2f(x). Một điểm x thoả mãn f( x ) = 0 gọi là một điểm dừng của hàm f. Theo trên để tìm cực trị (cực tiểu hay cực đại) của một hàm f trên ℝn, trước hết ta cần tìm các điểm dừng của f, sau đó nếu tại điểm dừng tìm được, ma trận 2f xác định dương (xác định âm) thì điểm dừng đó là một điểm cực tiểu (cực đại) địa phương. Ngoài ra, nếu biết thêm hàm f trên ℝn chắc chắn có cực tiểu hay cực đại toàn cục thì có thể tìm ra các điểm này bằng cách tính và so sánh giá trị hàm f(x) tại tất cả các điểm dừng của f (nếu số điểm dừng không quá lớn). Định lý sau cho nghiệm cực tiểu (cực đại) toàn cục của một hàm lồi (lõm). Định lý 1.6. a) Điểm x  ℝn là cực tiểu toàn cục của một hàm lồi khả vi f trên ℝn khi và chỉ khi f( x ) = 0. b) Điểm ~ x  ℝn là cực đại toàn cục của một hàm lõm khả vi f trên ℝn khi và chỉ khi f( ~ x ) = 0. Trường hợp hàm bậc hai. Nếu A là một ma trận cấp nn đối xứng, nửa xác định dương (nửa xác định âm), b  ℝn.và c  ℝ thì hàm bậc hai f(x) = 1 T 2 x Ax + bTx + c là hàm lồi (lõm) trên ℝn và f(x) = Ax + b. Vì thế theo Định lý 11 1.6, điều kiện cần và đủ để điểm x  ℝn là cực tiểu (cực đại) toàn cục của f(x) trên ℝ n.là x nghiệm đúng hệ phương trình tuyến tính Ax + b = 0. Trường hợp hàm không khả vi. Với hàm lồi không khả vi, trong Định lý 1.6 cần thay f(x) bởi dưới vi phân f(x) và ta có Định lý 1.7. Điểm x  ℝ n là cực tiểu của hàm lồi f : ℝn  [- , + ] khi và chỉ khi 0  f( x ), trong đó f( x ) = {p ∈ ℝn : + f( x ) ≤ f(x), ∀x ∈ ℝn}. Tóm lại, chương này đã đề cập tới bài toán tìm cực trị (cực tiểu hay cực đại) của một hàm trên một tập, nêu các điều kiện đủ đảm bảo cho bài toán có nghiệm cực tiểu hay cực đại và nêu các điều kiện tối ưu cho bài toán không ràng buộc. Các điều kiện tối ưu cho bài toán có ràng buộc đẳng thức sẽ được trình bày ở chương sau. 12 Chương 2 NGUYÊN LÝ LAGRANGE Chương này xét bài toán qui hoạch phi tuyến ràng buộc đẳng thức có dạng min {f(x) : hj(x) = 0, j = 1, ... , p}, trong đó f, hj : ℝn → ℝ (j = 1, ... , p) là các hàm khả vi liên tục cho trước. Trình bày các điều kiện cần tối ưu (cấp 1 và cấp 2), điều kiện đủ tối ưu (cấp 2) và phương pháp nhân tử Lagrange tìm nghiệm cực tiểu của bài toán. Nội dung của chương được tham khảo chủ yếu từ các tài liệu [2], [4], [5] và [6]. 2.1. KHÁI NIỆM VÀ ĐỊNH NGHĨA Các ràng buộc hj(x) = 0, j = 1, ... , p có thể viết gọn lại thành h(x) = 0 với h(x) = (h1(x), ... , hp(x))T : ℝn → ℝp. Ràng buộc đẳng thức h(x) = 0 xác định một tập trong ℝp, được xem như một mặt cong (hypersurface). Ký hiệu S = {x ∈ ℝn : hj(x) = 0, j = 1, ... , p}. Ta giả thiết h j(x) khả vi và tập S = {x ∈ ℝn : hj(x) = 0, j = 1, ... , p} được gọi là đa tạp khả vi (differentiable manifold) hay đa tạp trơn (smooth manifold). Tại mỗi điểm trên đa tạp khả vi có tập tiếp xúc (tangent set) tại điểm đó. Để hình thức hóa khái niệm này, ta bắt đầu từ định nghĩa đường cong (curve) trên đa tạp. Đường cong  trên đa tạp S là một ánh xạ liên tục  : I ⊂ ℝ → S, tức là tập hợp các điểm (t) ∈ S phụ thuộc liên tục vào tham số t trong khoảng I của ℝ. Đường cong gọi là đi qua điểm x nếu x = ( t ) với t nào đó thuộc I. Đạo hàm của đường cong tại t được định nghĩa bằng giá trị sau (nếu nó tồn tại):  ( t  )   ( t )  (t ) = lim .  0  Đường cong gọi là khả vi hay trơn nếu đạo hàm của  tồn tại tại mọi t ∈ I. 13 Định nghĩa 2.1. Cho S là một đa tạp khả vi trong ℝ n và giả sử x ∈ S. Xét họ tất cả các đường cong khả vi liên tục trên S đi qua x . Khi đó, tập tất cả các véctơ tiếp xúc với các đường cong này tại x được gọi là tập tiếp xúc của S tại x , ký hiệu là T ( x ). Nếu các ràng buộc là chính qui (regular) theo định nghĩa dưới đây thì S có thứ nguyên (địa phương) bằng (n - p) và T ( x ) tạo nên một không gian con thứ nguyên (n - p) gọi là không gian tiếp xúc (tangent space) của S tại x . Định nghĩa 2.2. Giả sử hj : ℝn → ℝ, j = 1, ... , p, là các hàm khả vi trên ℝn và tập S = {x ∈ ℝn : hj(x) = 0, j = 1, ... , p}. Điểm x ∈ S gọi là điểm chính qui (regular point) nếu các véctơ gradient ∇hj( x ), j = 1, ... , p độc lập tuyến tính, tức là rank {∇h1( x ), ... , ∇hp( x )} = p. Ký hiệu ∇h( x ) = (∇h1( x ), ... , ∇hp( x )). Bổ đề 2.1. Giả sử hj : ℝ n → ℝ, j = 1, ... , p, là các hàm khả vi trên ℝn và tập S = {x ∈ ℝn : hj(x) = 0, j = 1, ... , p}. Tại điểm chính qui x ∈ S, không gian tiếp xúc bằng T ( x ) = {d ∈ ℝn : ∇h( x )Td = 0}. 2.2. ĐIỀU KIỆN CẦN TỐI ƯU Ý tưởng phương pháp Lagrange giải bài toán min {f(x) : hj(x) = 0, j = 1, ... , p} là tìm điểm cực tiểu của f(x) trên đa tạp S = {x ∈ ℝn : hj(x) = 0, j = 1, ... , p}. Ta sẽ khảo sát giá trị của hàm mục tiêu f dọc theo các đường cong đi qua điểm tối ưu trên đa tạp S để rút ra điều kiện tối ưu, tức là các điều kiện buộc điểm tối ưu địa phương (do đó cả tối ưu toàn cục) phải thỏa mãn. Định lý sau cho thấy không gian tiếp xúc T (x) tại điểm cực tiểu (địa phương) chính qui x trực giao với véctơ gradient của hàm mục tiêu f(x) tại x . 14 Sự kiện quan trọng này được minh họa ở Hình 2.1 cho trường hợp chỉ có một ràng buộc đẳng thức. f giảm S = {x : h(x) = 0} ∇f( x x ∇f( x ) đường mức hàm mục tiêu T (x) Hình 2.1. Điều kiện cần tối ưu với ràng buộc đẳng thức Định lý 2.1 (Điều kiện cần dạng hình học cho cực tiểu địa phương). Cho f : ℝn → ℝ và hj : ℝn → ℝ, j = 1, ... , p là các hàm khả vi liên tục trên ℝn. Giả sử x* là điểm cực tiểu địa phương của bài toán min {f(x) : h(x) = 0}. Khi đó, ∇f(x*) trực giao với không gian tiếp xúc T (x*) của S tại x*, tức là F 0(x*) ∩ T (x*) = ∅ với F 0(x*) = {d ∈ ℝn : ∇f(x*)Td < 0}. Chứng minh. Giả thiết phản chứng, có d ∈ T (x*) sao cho ∇f(x*)Td ≠ 0. Giả sử  : I = [- a, a] → S, a > 0 là đường cong trơn bất kỳ đi qua x* với (0) = x* và  (0) = d. Giả sử  là hàm xác định theo công thức (t) = f((t)), ∀t ∈ I. Do x* là cực tiểu địa phương của f trên S = {x ∈ ℝn : h(x) = 0} nên theo định nghĩa cực tiểu địa phương, ta có ∃ > 0 sao cho (t) = f((t)) ≥ f(x*) = (0), ∀t ∈ [- , ] ∩ I. Suy ra t* = 0 là điểm cực tiểu (địa phương) không ràng buộc của  và 0 = '(0) = ∇f(x*)T  (0) = ∇f(x*)Td. Ta gặp mâu thuẫn với giả thiết phản chứng ∇f(x*)Td ≠ 0. ∎ Tiếp theo, ta sử dụng đặc trưng hình học vừa nêu để rút ra điều kiện cần tối ưu cấp 1 cho điểm cực tiểu địa phương của bài toán với ràng buộc đẳng thức. 15 Định lý 2.2 (Điều kiện cần cấp 1). Cho f : ℝn → ℝ và hj : ℝn → ℝ, j = 1, ... , p là các hàm khả vi liên tục trên ℝn. Xét bài toán min {f(x) : h(x) = 0}. Nếu x* là cực tiểu địa phương và x* là điểm chính qui thì tồn tại duy nhất véctơ * ∈ ℝp sao cho ∇f(x*) + ∇h(x*)* = 0. (Nhớ rằng ta dùng ký hiệu ∇h(x) = (∇h1(x), ... , ∇hp(x)) là ma trận cấp n×p). Chứng minh. Do x* là cực tiểu địa phương của f trên S = {x ∈ ℝn : h(x) = 0} nên theo Định lý 2.1, ta có F 0(x*) ∩ T (x*) = ∅, tức là hệ (theo biến d ∈ ℝn) ∇f(x*)Td < 0, ∇h(x*)Td = 0 không tương thích. Xét hai tập C1 = {(z1, z2) ∈ ℝ×ℝp : z1 = ∇f(x*)Td, z2 = ∇h(x*)Td}, C2 = {(z1, z2) ∈ ℝ×ℝp : z1 < 0, z2 = 0}. Rõ ràng C1, C2 là các tập lồi và C1 ∩ C2 = ∅. Theo định lý tách, tồn tại véctơ không âm (, ) ∈ ℝ×ℝp sao cho ∇f(x*)Td + T[∇h(x*)Td] ≥ z1 + Tz2, ∀d ∈ ℝn và ∀(z1, z2) ∈ C2. Cho z2 = 0 và do z1 có thể là số âm nhỏ tùy ý nên suy ra  ≥ 0. Cũng vậy, cho (z1, z2) = 0 ta có [∇f(x*) + ∇h(x*)]Td ≥ 0, ∀d ∈ ℝn. Nói riêng, với d = [∇f(x*) + ∇h(x*)] suy ra - [∇f(x*) + ∇h(x*)]2 ≥ 0 và vì thế ∇f(x*) + ∇h(x*) = 0 với (, ) ≠ 0. Cuối cùng, phải có  > 0 vì nếu  = 0 thì đẳng thức trên sẽ mâu thuẫn với giả thiết ∇hj(x*), j = 1, ... , p, độc lập tuyến tính. Bằng cách đặt * = / và để ý 16 rằng giả thiết độc lập tuyến tính còn kéo theo tính duy nhất của các nhân tử Lagrange, ta suy ra kết luận của định lý. ∎ Nhận xét 2.1. Điều kiện cần tối ưu cấp 1 ∇f(x*) + ∇h(x*)* = 0 kết hợp với ràng buộc h(x*) = 0 tạo ra hệ (n + p) phương trình (nói chung, phi tuyến) theo (n + p) ẩn số (x*, *). Các điều kiện này là đầy đủ theo nghĩa chúng xác định, ít nhất tại địa phương, một nghiệm duy nhất. Tuy nhiên, cũng như trong trường hợp không ràng buộc, một điểm thỏa mãn điều kiện cần cấp 1 không nhất thiết là cực tiểu (địa phương) của bài toán ban đầu mà nó có thể là một điểm cực đại (địa phương) hay một điểm yên ngựa. Ví dụ 2.1 nêu dưới đây sẽ minh họa cho điều nhận xét này. Nhận xét 2.2. Cần chú ý là để cho điểm cực tiểu địa phương thỏa mãn điều kiện cần cấp 1 nêu trên và hơn nữa, để cho véctơ nhân tử Lagrange tồn tại và duy nhất thì các ràng buộc đẳng thức phải thỏa mãn điều kiện chính qui. Nói cách khác, điều kiện cần cấp 1 có thể không đúng tại những điểm cực tiểu địa phương không chính qui, như được chỉ ra ở Ví dụ 2.2 dưới đây. Nhận xét 2.3. Để thuận tiện, ta xét hàm Lagrange L : ℝn× ℝp → ℝ tương ứng với bài toán ràng buộc đẳng thức (liên kết hàm chi phí với hàm ràng buộc) L(x, ) = f(x) + h(x)T. Như vậy, nếu x* là điểm cực tiểu địa phương chính qui thì điều kiện cần cấp 1 viết lại thành ∇xL(x*. *) = 0, ∇L(x*. *) = 0, phương trình sau đơn giản chỉ là viết lại ràng buộc h(x) = 0. Chú ý là lời giải của bài toán ban đầu thường tương ứng với một điểm yên ngựa của hàm Lagrange. Ví dụ 2.1 (Trường hợp chính qui). Xét bài toán 17 min {f(x) = x1 + x2 : h(x) = x12 + x 22 - 2 = 0}. Trước hết ta nhận thấy rằng mỗi điểm chấp nhận được x đều là điểm chính qui (do ∇h(x) ≠ 0). Vì thế theo Định lý 2.2, mỗi điểm cực tiểu địa phương là một điểm dừng của hàm Lagrange L(x, ) = x1 + x2 + ( x 12 + x 22 - 2). Ta có ∇f(x) = (1, 1)T và ∇h(x) = (2x1, 2x2)T, vì thế điều kiện cần cấp 1 là 1 + 2x1 = 0, 1 + 2x2 = 0, x 12 + x 22 - 2 = 0. Giải 3 phương trình này theo 3 ẩn số x 1, x2,  ta nhận được 2 ứng viên cho điểm cực tiểu địa phương: (i) x 1 = x 2 = - 1, * = 12 , tương ứng với f(x*) = - 2; (ii) x 1 = x 2 = 1, * = - 12 , tương ứng với f(x*) = 2; Có thể thấy rằng điểm thứ nhất là cực tiểu địa phương và điểm thứ hai là cực đại địa phương. Ví dụ 2.2 (Trường hợp không chính qui). Xét bài toán min {f(x) = - x1 : h1(x) = (1 - x1)3 + x2 = 0, h2(x) = (1 - x1)3 - x 2 = 0}. Bài toán này chỉ có một điểm chấp nhận được duy nhất: x* = (1, 0)T, tức là x* là điểm cực tiểu toàn cục duy nhất của bài toán. Tuy nhiên, tại điểm này ta có   1 ∇f(x*) =   , ∇h1(x*) =  0 0   , ∇h2(x*) = 1  0   .   1 do đó điều kiện cần cấp 1 0  0  1 1   + 2   =   . 1   1  0  không được thỏa mãn (hệ vô nghiệm). Ví dụ này cho thấy điểm cực tiểu có thể không là điểm dừng của hàm Lagrange, nếu điểm đó không là điểm chính qui. Định lý sau nêu điều kiện cần cấp 2 cho điểm cực tiểu địa phương của bài toán qui hoạch phi tuyến (bài toán NLP) ràng buộc đẳng thức. 18