Tài liệu Bài giảng-thiết kế và phân tích thí nghiệm

TRƯỜNG ðẠI HỌC NHA TRANG KHOA CHẾ BIẾN Bài giảng THIẾT KẾ VÀ PHÂN TÍCH THÍ NGHIỆM (Lưu hành nội bộ) Người biên soạn: ðặng Thị Thu Hương Nha Trang, tháng 4 năm 2010 0 Tài liệu học 1. Bài giảng Thiết kế và phân tích thí nghiệm – ðặng Thị Thu Hương 2. ðặng Văn Giáp. Phân tích dữ liệu khoa học bằng chương trình MS- Excel. NXB giáo dục1997. 5. Tài liệu tham khảo: I. TIẾNG VIỆT 1. Nguyễn Cảnh. Quy hoạch thực nghiệm.Trường ñại học bách khoa Tp HCM 2004. 2. Nguyễn Cảnh- Nguyễn ðình Soa. Tối ưu hoá thực nghiệm trong hoá học và kỹ thuật hoá học.Tài liệu dịch- Trường ñại học kỹ thuật Tp Hồ Chí minh 1994. 3. Phạm Hiếu Hiền. Phương pháp bố trí thí nghiệm và xử lý số liệu. NXB nông nghiệp - Tp Hồ Chí Minh 2001. 4. Phạm Văn Lang- Bạch Quốc Khang. Cơ sở lý thuyết quy hoạch thực nghiệm và ứng dụng trong kỹ thuật nông nghiệp .NXB nông nghiệp Hà Nội- 1998. 5. Chu Văn Mẫn – ðào Hữu Hồ. Thống kê sinh học. NXB khoa học và kỹ thuật – 2001. II. TIẾNG ANH 1. W. Michael Kelly and Robert A. Donnelly Jr.2009. The humongous book of statistic problems 2. D. Brynn Hibbert and J. Justin Gooding 2006. Data Analysis for Chemistry 3. John A. Bower 2009. Statistical Methods for Food Science 1 CHƯƠNG 1. THU THẬP VÀ TRÌNH BÀY SỐ LIỆU 1.1.Tổng thể và mẫu 1.1.1.Tổng thể (population, ñám ñông ) Là toàn bộ tập hợp các phần tử ñồng nhất theo một dấu hiệu nghiên cứu ñịnh tính hoặc ñịnh lượng nào ñó (là tập hợp các ñối tượng có chung một tính chất nào ñó mà chúng ta ñang quan tâm). Số lượng các phần tử của tổng thể ñược gọi là kích thước của tổng thể, ký hiệu N. Dấu hiệu ñịnh lượng: là những dấu hiệu quan sát cho những giá trị bằng số. Dấu hiệu ñịnh tính: là những dấu hiệu quan sát cho những tính chất. 1.1.2 Mẫu (sample) Từ tổng thể N phần tử chọn ra một tập hợp con n phần tử và chỉ tập trung nghiên cứu n phần tử ñó ñể rút ra những kết luận về tổng thể thì tập hợp con ñó ñược gọi là mẫu. Số phần tử của mẫu ñược gọi là kích thước mẫu, ký hiệu n. Các thí nghiệm ñược tiến hành trên mẫu, kết quả thu ñược qua xử lý thống kê ñể suy rộng ra cho cả tổng thể. Lý do ñể chúng ta tiến hành nghiên cứu trên mẫu chứ không phải trên tổng thể là do: - Quy mô của tập hợp quá lớn, việc nghiên cứu toàn bộ sẽ ñòi hỏi nhiều chi phí vật chất và thời gian. - Quy mô của tập hợp quá lớn vì vậy có thể xảy ra trường hợp tính trùng hoặc bỏ sót các phần tử của nó. - Quy mô nghiên cứu lớn nhưng trình ñộ tổ chức nghiên cứu lại hạn chế dẫn ñến sai sót trong quá trình thu thập thông tin ban ñầu, do ñó hạn chế ñộ chính xác của kết quả phân tích. - Nếu các phần tử của tập hợp bị phá huỷ trong quá trình nghiên cứu thì phương pháp nghiên cứu toàn bộ trở thành vô nghĩa. Do ñó phương pháp nghiên cứu toàn bộ thường chỉ áp dụng ñối với tập hợp các phần tử có quy mô nhỏ, còn chủ yếu là áp dụng phương pháp nghiên cứu không toàn bộ ñặc biệt là phương pháp chọn mẫu. Phương pháp nghiên cứu chọn mẫu: Là phương pháp chọn ra một tập hợp các phần tử từ tổng thể nghiên cứu, phân tích các tổng thể này và dựa vào ñó mà mà suy ra các kết luận về tập hợp cần nghiên cứu. Nếu mẫu ñược chọn ra một cách ngẫu nhiên và xử 2 lý bằng phương pháp xác suất thì các kết luận sẽ thu ñược một cách nhanh chóng, ñỡ tốn kém mà vẫn bảo ñảm ñộ chính xác cần thiết. Do ñặc ñiểm là mẫu có kích thước hữu hạn n< 0 , d càng nhỏ thì dữ liệu càng ñồng ñều. 2.2.3. Phương sai (Variance) 1 σ = N 2 2 - Tổng thể (σ ) N ∑ (x i =1 i − µ) 2 ) - Mẫu ( S 2 ) + Số liệu mẫu gồm n giá trị rời rạc ñược sắp xếp theo thứ tự tăng dần. ( 1 n Sˆ 2 = ∑ xi − x n − 1 i =1 ) 2 ++ Số liệu mẫu ñược cho dưới dạng bảng phân bố thực nghiệm. X nhận m giá trị khác nhau ( ) 2 1 m Sˆ 2 = ∑ xi − x f i n − 1 i =1 i=1÷m +++ Số liệu ñược trình bày dưới dạng bảng phân bố ghép lớp với k lớp. ( ) 2 1 k Sˆ 2 = ∑ xi − x f i n − 1 i=1 i = 1 ÷k 2.2.4. ðộ lệch chuẩn (Standard deviation) σ = σ 2 ( ñối với tổng thể) ) s = ŝ 2 (ñối với mẫu) 8 Xi:trung ñiểm của lớp thứ i CHƯƠNG III. ƯỚC LƯỢNG CÁC THAM SỐ ðẶC TRƯNG CỦA TỔNG THỂ 3.1. Một số khái niệm có liên quan ñến lý thuyết xác suất Xác suất (Probability) là một giá trị bằng số, nó diễn tả mức ñộ không chắc chắn khi xem xét sự xuất hiện của một biến cố nào ñó. Phép thử (trial) hay là thí nghiệm ngẫu nhiên: Việc thực hiện một nhóm các ñiều kiện cơ bản ñể quan sát một hiện tượng nào ñó có thể xảy ra hay không ñược gọi là thực hiện một phép thử hay một thí nghiệm ngẫu nhiên. Biến cố (event) :Hiện tượng có thể xảy ra trong kết quả của phép thử ñó ñược gọi là biến cố. Ví dụ: kết quả sấp gieo ñồng xu: (trial) (event) ngửa Biến cố sơ cấp (elementary event): Là biến cố không thể phân chia ñược nữa. Không gian mẫu (sample space): Là tập hợp các biến cố sơ cấp. Tập hợp các biến cố sơ cấp trong không gian mẫu theo qui ñịnh riêng của chúng ta gọi là event set (những biến cố có cùng tính chất).Ví dụ: {1,2,3,4,5,6…..} Số biến cố trong không gian mẫu gọi là kích thước của không gian mẫu (size of sample space). Một biến cố chỉ có thể xảy ra khi một phép thử gắn liền với nó ñược thực hiện. Thực tế có các loại các biến cố sau. - Biến cố chắc chắn (certain event): Là biến cố nhất ñịnh xảy ra khi thực hiện một phép thử. - Biến cố không thể (impossible event): Là biến cố nhất ñịnh không xảy ra trong một phép thử - Biến cố ngẫu nhiên (random event): Là biến cố có thể xảy ra hoặc không xảy ra khi thực hiện một phép thử. 3.1.1 Các ñịnh nghĩa cơ bản về xác suất. 3.1.1.1. ðịnh nghĩa xác suất theo quan ñiểm cổ ñiển Pr( A) = m với n là số trường hợp cùng khả năng. m là số trường hợp thuận lợi ñể biến cố A xảy ra n Ví dụ: có mười sản phẩm trong ñó có 3 phế phẩm. Lấy ngẫu nhiên một sản phẩm. Tính xác suất ñể sản phẩm lấy ñược là phế phẩm 9 G ọi A là biến cố sản phẩm lấy ñược là phế phẩm. Pr( A) = 3 10 3.1.1.2 ðịnh nghĩa xác suất theo quan ñiểm thống kê Tần suất: tần suất xuất hiện của biến cố A là tỷ lệ giữa số phép thử trong ñó biến cố A xảy ra và tổng số phép thử ñược thực hiện. fA = nA khi ñó người ta ñịnh nghĩa n Pr( A) = lim n → ∞ f A 3.1.1.3.Các tính chất 0 ≤ Pr( A) ≤ 1 Pr ( certain event) = 1 Pr ( impossible event) = 0 Pr(A) = 1 - Pr (A) Thường có hai loại xác suất: - Xác suất khách quan (objective probability) dựa vào kinh nghiệm,sự hiểu biết về phép thử - Xác suất chủ quan (subjective probability) không thể ñánh giá bằng khách quan, buộc lòng phải dựa vào chủ quan 3.1.2. Các quy tắc tính xác suất 3.1.2.1. Quy tắc cộng (Addition Law) - Biến cố xung khắc: Hai biến có A và B gọi là xung khắc với nhau nếu chúng không bao giờ xảy ra ñồng thời. - Hợp của hai biến cố (union of events): Là biến cố xảy ra nếu có ít nhất một trong hai biến cố A,B xảy ra. Ký hiệu: A+B, A or B, A U B . P( A ∪ B ) = P( A) + P(B ) (Nếu A và B xung khắc ). Nếu A và B không xung khắc thì P ( A ∪ B ) = P ( A) + P ( B ) − P ( A * B ) A*B biến cố cả A và B ñồng thời xảy ra. 3.1.2.2. Quy tắc nhân (Multiplication Law) - Biến cố ñôc lập (independent events): A và B là hai biến cố ñộc lập nhau nếu việc xảy ra hoặc không xảy ra của biến cố này không ảnh hưởng tới xác suất của biến cố kia. Trường hợp ngược lại thì người ta gọi là biến cố phụ thuộc (dependent events) Ký hiệu: A*B, A and B, Khi A và B ñộc lập thì P (A and B) = P(A)* P(B) 10 - Xác suất có ñiều kiện (conditional probability): Xác suất của biến cố A ñược tính với giả thiết biến cố B ñã xảy ra ñược gọi là xác suất có ñiều kiện của biến cố A với ñiều kiện B. Ký hiệu: P (A/B) Quy tắc nhân tổng quát: A và B là 2 biến cố bất kỳ P(A*B) = P(A)*P(B/A), A và B ñộc lập: P(B/A) = P (B) 3.1.3. Biến ngẫu nhiên và quy luật phân phối xác suất (random variable and probability distribution). 3.1.3.1. ðịnh nghĩa và phân loại Biến ngẫu nhiên là ñại lượng mà trong kết quả của phép thử nó thay ñổi và thay ñổi với một xác suất xác ñịnh. Có hai loại biến ngẫu nhiên (BNN): - Biến ngẫu nhiên rời rạc: Biến ngẫu nhiên gọi là rời rạc nếu các giá trị mà nó có thể nhận lập nên một tập hợp hữu hạn hoặc ñếm ñược (nói cách khác là ta có thể liệt kê ñược tất cả các giá trị có thể có của nó). - Biến ngẫu nhiên liên tục: Biến ngẫu nhiên gọi là liên tục nếu các giá trị mà nó có thể nhận lấp ñầy một hay nhiều khoảng của trục số thậm trí lấp ñầy toàn bộ trục số. Vd: Xét phép thử gieo xúc sắc. Gọi X: là số chấm xuất hiện trên mặt xúc sắc, X là BNN rời rạc. Y: thời gian hoạt ñông của một bóng ñèn, Y là BNN liên tục. 3.1.3.2. Quy luật phân phối xác suất @1. BNN rời rạc a. Bảng phân phối xác suất Bảng cho biết sự tương ứng giữa các giá trị có thể có của biến ngẫu nhiên và các xác suất tương ứng của nó gọi là bảng phân phối xác suất. X x1 x2 …… xn Pr(X) P1 P2 …. pn p i = p( x = xi ) i = 1, n ðiều kiện của bảng phân phối xác suất p i ≥ 0, ∀i, ∑ p i = 1 b. Các giá trị ñặc trưng của BNN rời rạc. 11 + Kỳ vọng (expected value): chính là giá trị trung bình khi n → ∞ E ( X ) = ∑ x i ∗ p(x i ) + Phương sai (variance): σ 2 = var( X ) = ∑ [x i − E (x )] ∗ p (x i ) 2 + ðộ lệch chuẩn (standard deviation) σ = σ 2 ñộ lệch chuẩn của tổng thể Ý nghĩa của: Kỳ vọng: chính là giá trị mong ñợi, nó gần bằng trung bình số học của các giá trị quan sát của BNN khi số phép thử gần ñến vô cùng. Nó phản ánh giá trị trung tâm của phân phối xác suất của BNN. Phương sai: phản ánh mức ñộ phân tán của các giá trị của BNN xung quanh giá trị trung tâm của nó là kỳ vọng toán. Trong thực tế phương sai ñặc trưng cho mức ñộ phân tán của các chi tiết gia công hay sai số của thiết bị (trong kỹ thuật) mức ñộ rủi ro của các quyết ñịnh trong quản lý kinh doanh). ðộ lệch chuẩn: ðơn vị ño của phương sai bằng bình phương ñơn vị ño của BNN. Vì vậy khi cần phải ñánh giá mức ñộ phân tán của BNN theo ñơn vị ño của nó người ta thường tính ñộ lệch chuẩn chứ không phải là phương sai vì ñộ lệch chuẩn có cùng ñơn vị ño với BNN cần nghiên cứu. @2. Biến ngẫu nhiên liên tục a. Hàm mật ñộ xác suất ðối với biến ngẫu nhiên liên tục, xác suất ñể nó nhận một giá trị cụ thể nào ñó luôn luôn bằng 0. Có nghĩa là với mọi a, P (X = a) = 0 Do vậy mà với biến ngẫu nhiên liên tục người ta chỉ quan tâm tới xác suất ñể nó nhận giá trị trong một khoảng nào ñó. Xác suất này ñược quyết ñịnh bởi một hàm gọi là hàm mật ñộ xác suất. ðể ñặc trưng cho quy luật phân phối xác suất của biến ngẫu nhiên liên tục người ta dùng hàm mật ñộ xác suất. ðịnh nghĩa: Hàm mật ñộ xác suất của biến ngẫu nhiên liên tục X ký hiệu là f(x) là ñạo hàm bậc nhất của hàm phân bố xác suất của biến ngẫu nhiên ñó. 12 f ( x ) = F ′( x ) f (x ) ≥ 0 ∞ ∀x, ∫ f (x )dx = 1 −∞ b ∀a 〈b, P[a 〈 X 〈b] = ∫ f ( x )dx a P(a0 f (x ) =  n n  2 2 Γ  2  n χ 2 = ∑ X i2 i =1 Phân vị mức α (0 <α α<1) của phân bố Khi bình phương ký hiệu (χ χα ) là một số 2 thỏa mãn ñẳng thức [ ] P χ 〉 χ α2 = α 16 @6 Hàm phân bố Fisher (F) ðịnh nghĩa: ðại lượng ngẫu nhiên F ñược gọi là có phân bố Fisher với (n1,n2)bậc tự do nếu hàm mật ñộ của nó có dạng 0  n1 − 2  x 2 f (x ) =  C⋅ (n1 + n2 )   (n2 + n1 x ) 2 x≤0 x>0 2  n + n 2  21 Γ 1  n1 ⋅ n 22 2  C=  n  n  Γ  1 Γ 2   2  2  n n X 12 + X 22 + ... X n21 F = n1 Y12 + ..Yn22 n2 Phân vị mức α (0 <α α<1) của phân bố Fisher ký hiệu fα là một số thỏa mãn ñẳng P[F 〉 f α ] = α thức 3.2. Ước lượng các tham số ñặc trưng của tổng thể Ước lượng là dựa vào các ñặc trưng trên mẫu ñể dự ñoán giá trị cho các ñặc trưng của tổng thể. Nếu gọi θ’ là ñặc trưng trên mẫu và θ là ñặc trưng của tổng thể thì - θ’ chính là ước lượng ñiểm cho ñặc trưng θ - còn θ’ ± ε chính là khoảng ước lượng cho ñặc trưng θ 3.2.1. Ước lượng giá trị trung bình của tổng thể • Phương sai σ2 ñã biết • µ = X ± zα ∗ 2 σ n Phương sai σ2 chưa biết, n≥ ≥ 30 Trong nhiều bài toán thực tế ta không biết phương sai của tập hợp chính, nếu kích ) ) S thước mẫu n>30 thì ta có thể xấp xỉ σ bởi S . µ = X ± zα 2 ∗ n 17 • Phương sai σ2 chưa biết, n<30 Giả sử khi nghiên cứu trên mẫu về một ñặc tính nào ñó, từ kết quả của mẫu tính ) ñược giá trị trung bình, và ñộ lệch chuẩn. Tức là từ n → X , S muốn biết ñược trị số trung bình của tổng thể (µ) có hai trường hợp - Ước lượng ñiểm: X chính là ước lượng ñiểm cho µ - Ước lượng khoảng cho µ là X ± ε, với ε = tα ∗ ) S 2 n 3.2.2. Ước lượng phương sai cho tổng thể Giả sử khi nghiên cứu trên mẫu về một ñặc tính nào ñó, từ kết quả của mẫu tính ) ñược giá trị trung bình, và ñộ lệch chuẩn. Tức là từ mẫu có kích thước n → X , S , ) 2 S 2 muốn biết ñược phương sai của tổng thể (σ ) có hai trường hợp ) - Ước lượng ñiểm: S 2 chính là ước lượng ñiểm cho σ2 - Ước lượng khoảng cho σ2 là: • ðã biết kỳ vọng toán µ của biến ngẫu nhiên gốc X ) ) nS 2 nS 2 2 πσ π 2 χn2(α 2) χn(1−α 2) • Chưa biết kỳ vọng toán µ của biến ngẫu nhiên gốc X ) ) χn2−1(α ) χn2−1(1−α ) (n−1)S2 πσ2 π (n−1)S2 2 2 3.2.3. Ước lượng tỷ lệ cho tổng thể Trong một mẫu thực nghiệm có n cá thể, trong ñó có m cá thể có ñặc tính C.Tần suất của C trong mẫu thực nghiệm sẽ là f = m/n. Từ tần suất thực nghiệm này suy ñoán tỷ lệ ñặc tính C của tổng thể. Tỷ lệ ñó ñược ký hiệu là p. - Ước lượng ñiểm cho p chính là f - Ước lượng khoảng cho p sẽ là f ± zα 2 f ∗ (1 − f ) n 3.2.4. Xác ñịnh kích thước mẫu Trong thực tế việc xác ñịnh chính xác n là cần thiết trong quá trình thiết kế thí nghiệm hoặc lập kế hoạch nghiên cứu thực ñịa. Nếu n lớn hơn yêu cầu sẽ gây lãng phí 18 thời gian và kinh phí, còn nếu n quá nhỏ thì các kết luận chưa ñủ tin cậy. ðể xác ñịnh n cần thiết ta xác ñịnh trong 2 trường hợp sau ñây • Xác ñịnh kích thước mẫu ñể ước lượng cho trung bình µ Muốn có ước lượng µ với sai số không quá ε cho trước với ñộ tin cậy (1-α)  σ ∗ zα 2 n ≥   ε * Nếu biết σ thì:     2 ) * Nếu chưa biết σ: thì lấy sơ bộ một mẫu kích thước m >30 rồi tính X , S : khi ñó n )  s ∗ zα 2 ñược xác ñịnh từ công thức: n ≥   ε • 2   với ñiều kiện vế phải không nhỏ hơn 30    zα Xác ñịnh kích thước mẫu ñể ước lượng cho tỷ lệ p: n ≥  2  2ε     2 3.2.5. Phương pháp xác ñịnh số liệu bất thường (khử sai số thô) * Khi ñã biết σ: Tính z = x∗ − X n +1 σ∗ n Sau ñó tra Φ(z). Cho trước mức ý nghĩa α khá bé. - Nếu Φ(z) >1-α/2: Thì x* là số liệu bất thường - Nếu Φ(z) ≤ 1-α/2: Thì x* không phải là số liệu bất thường • Khi chưa biết σ: - Sắp xếp số liệu từ bé ñến lớn ) - Gọi x* là số liệu bất thường, tính X , S (không kể x*) x∗ − X Tính t = Sau ñó tra t (n-1, α/2) cho trước mức ý nghĩa α khá bé. ) S - Nếu t >t α/2: thì x* là số liệu bất thường (phải loại bỏ) - Nếu t ≤ t α/2: Thì x* không phải là số liệu bất thường CHƯƠNG IV. KIỂM ðỊNH GIẢ THUYẾT THỐNG KÊ (hypothesis testing) Khi sử dụng phương pháp ñiều tra chọn mẫu, ñôi khi người ta phải ñặt những bài toán so sánh ñể ñưa ra kết luận chính xác về nội dung hoặc bản chất của hiện tượng nghiên cứu. 19