Đăng ký Đăng nhập
Trang chủ Công nghệ thông tin Quản trị mạng Phát triển ứng dụng web với server - side javascript...

Tài liệu Phát triển ứng dụng web với server - side javascript

.PDF
50
1333
82

Mô tả:

KHÓA LUẬN TỐT NGHIỆP: Phát triển ứng dụng web với server - side javascript
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Tuấn Dũng PHÁT TRIỂN ỨNG DỤNG WEB VỚI SERVER – SIDE JAVASCRIPT KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công nghệ Thông tin HÀ NỘI – 2012 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Tuấn Dũng PHÁT TRIỂN ỨNG DỤNG WEB VỚI SERVER – SIDE JAVASCRIPT KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công nghệ Thông tin Cán bộ hƣớng dẫn: TS Nguyễn Hải Châu HÀ NỘI – 2012 LỜI CẢM ƠN Lời đầu tiên, tôi xin gửi lời cảm ơn sâu sắc nhất tới Tiến sĩ Nguyễn Hải Châu, ngƣời đã tận tình hƣớng dẫn và giúp đỡ tôi trong suốt quá trình thực hiện khóa luận tốt nghiệp. Tôi chân thành cảm ơn các thầy, cô đã tạo những điều kiện thuận lợi cho tôi học tập và nghiên cứu tại trƣờng Đại học Công nghệ. Các thầy cô đã giảng dạy và cho tôi những kiến thức quý báu, làm nền tảng để tôi hoàn thành khóa luận cũng nhƣ công việc trong tƣơng lai. Tôi cũng xin gửi lời tri ân tới các bạn trong lớp K53CC đã ủng hộ và giúp đỡ tôi trong suốt quá trình học tập tại trƣờng. Cuối cùng, tôi muốn gửi lời cảm ơn vô hạn tới gia đình và bạn bè – những ngƣời thân yêu luôn ở bên, khuyến khích và động viên tôi trong cuộc sống cũng nhƣ trong học tập. Tôi xin chân thành cảm ơn. Hà nội, tháng 5 năm 2012 Sinh viên Nguyễn Tuấn Dũng PHÁT TRIỂN ỨNG DỤNG WEB VỚI SERVER-SIDE JAVASCRIPT Nguyễn Tuấn Dũng Khóa QH-2008-I/CQ, ngành Công nghệ thông tin Tóm tắt Khóa luận tốt nghiệp: Ngày nay với kỉ nguyên công nghệ bùng nổ, thời kì của mạng xã hội đã khiến cho số lƣợng ngƣời dùng truy cập vào cùng một hệ thống ngày càng tăng.Điển hình nhƣ Facebook một ngày phục vụ hơn 1000 tỉ lƣợt xem với khoảng hơn 800 triệu lƣợt khách vào ra trong một tháng thì ta mới hình dung đƣợc sự bùng nổ của thông tin nhƣ thế nào.Để giải quyết vấn đề bùng nổ nhƣ trên thì chúng ta đã mở rộng các hệ thống máy chủ siêu lớn, phân thành nhiều các cụm đặt khắp nơi trên thế giới.Nhƣng với tốc độ tăng trƣởng theo cấp số hiện nay thì việc tăng số lƣợng máy chủ lên thôi có lẽ không đủ.Ta cần xem xét và nâng cấp các giải pháp xây dựng web cho tƣơng lai. Đầu tiên là về mặt ngôn ngữ và máy chủ.Các websever hiện hay với cách truyền thống là phục vụ theo luồng tự nó đã giới hạn khả năng của các máy chủ cho việc đáp ứng số lƣợng yêu cầu đến từ ngƣời dùng và không tốt cho các bài toàn cần tính toán thời gian thực.Giải pháp hƣớng sự kiện của nodeJS có vẻ khả khi trong trƣờng hợp này.Nó sẽ giảm số luồng hoạt động của máy chủ xuống, giảm thời gian trễ nên đáp ứng rất tốt các ứng dụng thời gian thực.Ngoài ra việc tận dụng tốt hơn sẽ khiến cho số truy vấn đến nhiều hơn khiến cho việc giảm thiểu số máy chủ xuống. Thứ hai là về mặt cơ sở dữ liệu.Với các hệ thống với số lƣợng lên đến hàng triệu cho đến hàng tỉ thì việc hiệu năng tốt là việc bắt buộc.Hệ thống máy chủ cơ sở dữ liệu đòi hỏi phải rất mạnh mẽ nếu không máy chủ sẽ bị quá tải.Với các hệ RBDMs hiện nay thì vấn đề hiệu năng thƣờng không tốt cho trƣờng hợp này.Ngôn ngữ SQL là ngôn ngữ thông dịch với các ràng buộc trong các bảng khiến cho hiệu năng thực sự của hệ thống cơ sở dữ liệu khi thực thi là khá ì ạch với hệ thống lớn nhƣ kể trên.Chƣa kể là với hệ thống lớn thì vấn đề phân tán dữ liệu, tính toàn vẹn dữ liệu là việc rất quan trọng.NoSQL đáp ứng đƣợc tất cả các yêu cầu này.Với tốc độ nhanh do không phải qua các câu truy vấn SQL, có tính sẵn sàng, phân tán cao và độ ổn định tuyệt vời.Rất thích hợp cho các hệ thống có lƣợt truy vấn lớn.Ở trong khóa luận của tôi, tôi sẽ nghiên cứu về một NoSQL khá phổ biến - CouchDB.Với khả năng chịu lỗi tốt và tính ổn định cao, đồng bộ giữa các thiết bị tốt, hỗ trợ các phiên bản khi offline tốt.CouchDB xứng đáng là một cơ sở dữ liệu đáng tin cậy. Từ khóa: Nodejs, javascript server side, nosql, couchdb LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu và thực hiện khóa luận thực sự của riêng tôi, dƣới sự hƣớng dẫn của ThS Nguyễn Hải Châu Mọi tham khảo từ các tài liệu, công trình nghiên cứu liên quan trong nƣớc và quốc tế đều đƣợc trích dẫn rõ ràng trong luận văn. Mọi sao chép không hợp lệ, vi phạm quy chế hay gian trá tôi xin hoàn toàn chịu trách nhiệm và chịu mọi kỷ luật của ĐHQG Hà Nội và Nhà trƣờng. Hà Nội, ngày 18 tháng 05 năm 2012 Sinh viên Nguyễn Tuấn Dũng MỤC LỤC MỞ ĐẦU ....................................................................................................................................... 1 CHƢƠNG 1: TÌM HIỂU VỀ NODE WEB: NODE.JS – THƢ VIỆN VIẾT ỨNG DỤNG SERVER-SIDE JAVASCRIPT ...................................................................................................... 2 1.1. Javascript và lập trình server ............................................................................................. 2 1.2. NodeJs là gì? ...................................................................................................................... 2 1.3. Khác nhau giữa Blocking và Non-Blocking ..................................................................... 3 1.3.1. Blocking ..................................................................................................................... 3 1.3.2. Non-Blocking ............................................................................................................. 4 1.3.3. Lợi ích even-driven so với lại tốt hơn thread-driven.................................................. 4 1.4. Node package manager (NPM) ......................................................................................... 7 1.4.1 Giới thiệu về NPM ...................................................................................................... 7 1.4.2. Định dạng một gói cài npm ........................................................................................ 7 1.4.3. Sử dụng npm ............................................................................................................... 8 1.4.4. Gói toàn cục và gói cục bộ trong khi npm cài đặt ...................................................... 9 Chƣơng 2 TÌM HIỂU VỀ CÁC GIẢI PHÁP CƠ SỞ DỮ LIỆU DẠNG NOSQL (NOT ONLY SQL) ................................................................................................................................. 10 2.4 Đặc điểm của NoSQL? .................................................................................................... 11 2.5 Phân loại NoSQL? ............................................................................................................ 12 2.5.1. Wide Column Store / Column Families ................................................................... 12 2.5.2. Key-Value Store/Tuple store .................................................................................... 12 2.5.3. Document Store ........................................................................................................ 12 2.5.4. Graph Database ........................................................................................................ 13 2.6 Hiệu năng NoSQL ........................................................................................................... 13 2.6.1. Xử lý việc suy giảm hiệu năng ..................................................................................... 13 2.6.2. Xử lý một dữ liệu cực lớn ............................................................................................. 14 2.7. Các loại NoSQL phổ biến ................................................................................................ 15 2.7.1. MongoDB [2][3] ....................................................................................................... 15 2.7.2. CouchDB [4] ............................................................................................................ 16 2.7.3. Cassandra[5] ............................................................................................................. 17 2.7.4. Membase [6] ............................................................................................................. 19 Chƣơng 3 TÌM HIỂU VỀ COUCHDB ....................................................................................... 20 3.1. CouchDB là gì ................................................................................................................. 20 3.2. Lịch sử CouchDB ............................................................................................................ 20 3.3. Các đặc điểm của CouchDB ............................................................................................ 20 3.3.1. Document storage ..................................................................................................... 21 3.3.2. Map/Reduce Views và Indexes ................................................................................ 21 3.3.3. Kiến trúc phân tán với việc nhân bản [10] [11] ........................................................ 21 3.3.4. REST API ................................................................................................................. 22 3.3.5. Tính nhất quán cuối cùng. ........................................................................................ 23 3.3.6. Sử dụng Offline ........................................................................................................ 23 3.4. Sử dụng CouchDB ........................................................................................................... 23 3.4.1. Khởi động ................................................................................................................. 23 3.4.2. Xử lý truy vấn trong CouchDB ................................................................................ 23 3.4.3. Views ........................................................................................................................ 24 3.4.6. Futon ............................................................................................................................. 28 3.5. Tìm hiểu phần mở rộng GEO của COUCHDB ............................................................... 29 3.5.1. GeoCouch là gì ......................................................................................................... 29 3.5.2. Cài đặt GeoCouch..................................................................................................... 30 3.5.3. Kết nối NodeJs và GeoCouch .................................................................................. 31 3.5.4. Sử dụng GeoCouch................................................................................................... 31 Chƣơng 4 ỨNG DỤNG MAPCHAT ........................................................................................... 33 4.1. ExpressJS ......................................................................................................................... 33 4.2. SocketIO .......................................................................................................................... 34 4.3. Cài đặt project .................................................................................................................. 35 4.3.1. Phần Chatting ........................................................................................................... 35 4.3.2 Phần map ................................................................................................................... 36 KẾT LUẬN ................................................................................................................................. 39 DANH SÁCH CÁC BẢNG Bảng 1: So sánh CSDL quan hệ và NoSQL………………………………………..11 Bảng 2: Bảng tƣơng ứng các câu lệnh truy vấn ……...……………………………23 DANH SÁCH CÁC HÌNH VẼ Hình 1:Bảng so sánh hiệu n……………………………………………………….13 Hình 2: Giao diện Futon……………………………………………………………28 Hình 3: Tạo temporary view……………………………………………………….29 Hình 4: Ứng dụng mapchat………………………………………………………...38 DANH SÁCH CÁC TỪ VIẾT TẮT Từ viết tắt Nghĩa của từ viết tắt SQL Structured Query Language API Application on Programming Interface ACID Atomicity, Consistency, Isolation, Durability CSDL Cơ sở dữ liệu MỞ ĐẦU Ngày nay với kỉ nguyên công nghệ bùng nổ, thời kì của mạng xã hội đã khiến cho số lƣợng ngƣời dùng truy cập vào cùng một hệ thống ngày càng tăng. Điển hình nhƣ Facebook một ngày phục vụ hơn 1000 tỉ lƣợt xem với khoảng hơn 800 triệu lƣợt khách vào ra trong một tháng thì ta mới hình dung đƣợc sự bùng nổ của thông tin nhƣ thế nào. Để giải quyết vấn đề bùng nổ nhƣ trên thì chúng ta đã mở rộng các hệ thống máy chủ siêu lớn, phân thành nhiều các cụm đặt khắp nơi trên thế giới. Nhƣng với tốc độ tăng trƣởng theo cấp số hiện nay thì việc tăng số lƣợng máy chủ lên thôi có lẽ không đủ. Ta cần xem xét và nâng cấp các giải pháp xây dựng web cho tƣơng lai. Chƣơng 1: Tìm hiểu về node web: node. js – Thƣ viện viết ứng dụng server-side javascript. Giới thiệu cho chúng ta tổng quan về một thƣ viện mới đƣợc viết bằng javascript có khả năng chạy đƣợc trên server. Chúng ta sẽ giới thiệu qua về cách hoạt động, các đặc điểm của nó và điểm mạnh điểm yếu của bộ thƣ viện này. Chƣơng 2: Tìm hiểu về các giải pháp CSDL dạng NoSQL (Not-Only-SQL). Chƣơng này giới thiệu cho chúng ta tổng quan về khái niệm NoSQL, các đặc điểm nổi bật của nó. So sánh tƣơng quan giữa NoSQL và SQL truyền thống. Từ đó đƣa ra đƣợc các giải pháp cho các trƣờng hợp nào nên dùng NoSQL. Chƣơng 3: Tìm hiểu về CouchDB. Chƣơng này giới thiệu về một NoSQL khá phổ biến hiện nay - CouchDB. Nêu ra đặc điểm, điểm yếu mạnh và cách dùng cơ bản của nó. Chƣơng 4: Tìm hiểu phần mở rộng GEO của CouchDB. Trong phần này chúng ta sẽ tìm hiểu về một phần mở rộng của CouchDB có khả năng hỗ trợ các định dạng địa lý nhƣ điểm, vecto ... v..v đó là GeoCouch.Sẽ hƣớng dẫn cách dùng và cách sử dụng cơ bản của nó Kết luận: NoSQL và Javscript server side có thể sẽ là tƣơng lai của web trong một tƣơng lai không xa. Khi mà yêu cầu về tốc độ, thống nhất ngôn ngữ, tính sẵn sàng và khả năng mở rộng cao đƣợc đặt lên hàng đầu 1 CHƢƠNG 1: TÌM HIỂU VỀ NODE WEB: NODE.JS – THƢ VIỆN VIẾT ỨNG DỤNG SERVER-SIDE JAVASCRIPT 1.1. Javascript và lập trình server Mặc dù các ứng dụng trên nền web chở nên phổ biến trong những năm gần đây, nhƣng chúng vẫn rất khó để phát triển, duy trì và mở rộng. Nhiều thách thức ở đây là việc ngăn cách giữa các thành phần client và server. Các thành phần phía client thƣờng đƣợc sử dụng bao gồm HTML, CSS, Javascript, Ajax(một phần của javascript), ảnh và các file mà ta có thể tải về từ trình duyệt. Phía server, thì ta cần lắng nghe từ các yêu cầu, xuất ra tài nguyên hoặc thông tin và thao tác với chúng để chúng có thể gửi trả về phía client. Điều này thƣờng đƣợc thực hiện bằng cách sử dụng XML, JSON hoặc là định dạng theo kiểu HTML, cái mà gửi thông qua đƣờng truyền sử dụng Ajax. Ta có vô số các công nghệ cạnh tranh đƣợc chọn ở đây. Phụ thuộc vào đƣờng truyền, phần cứng, hệ điều hành, băng thông, chuyên môn công nghệ và vô vàn các yếu tố khác. Mỗi một công nghệ mang lại một trải nghiệm khác nhau. Các ngôn ngữ phía server đƣợc dùng phổ biến đến bây giờ là PHP, java và .NET. Điều này dẫn đến việc cần có một chuẩn để thống nhất lập trình giữa server và client. Và phong trào ServerJS với mục đích ra xóa bỏ hàng rào ngăn cách giữa client và server. Họ tìm cách giữ lại các thành phần chủ đạo và tìm điểm chung cho client và server. Các thành phần đƣợc giữ lại là HTML, javscript và CSS, cái mà đã quá quen thuộc với ngƣời dùng cuối. Còn về phía server. Họ xây dựng server dựa theo Javascript có thể làm web server và nhiều hơn thế nữa. Rất nhiều dịch vụ server đƣợc viết bằng JavaScript đã ra đời ví dụ nhƣ Jaxer đƣợc phát triển bởi Aptana, Jaxer là một web serve dựa Ajax để xây dựng một trang web nhiều tính năng cũng nhƣ các ứng dụng sử dụng mô hình ajax cái có thể đƣợc viết hoàn toàn bằng JavaScirpt Chúng ta sẽ tập trung vào một Javascript-server-side khác: Nodejs 1.2. NodeJs là gì? Javascript trƣớc đây chỉ chạy đƣợc trên trình duyệt web. Nhƣng gần đây nó đƣợc dùng ở phía server. Có những môi trƣờng Javascript ở phía server nhƣ là Jaxer và Narwhal, tuy nhiên Nodejs có một chút khác biệt so với những cái trên. Bởi vì nó dựa trên sự kiện hơn là dựa theo luồng (thread). Các máy chủ Web nhƣ Apache thƣờng sử lý PHP và các script CGI khác dựa theo luồng bởi chúng sinh ra một hệ thống luồng cho mỗi request đến. Trong khi cách đó là ổn cho rất nhiều ứng dụng thì các mô hình dựa theo 2 luồng không thể mở rộng một cách có hiệu quả với nhiều kết nối tồn tại lâu. Ví dụ nhƣ bạn muốn dùng các dịch vụ thời gian thực nhƣ Friendfeed hay Google Wave. Nodejs, sử dụng một sự kiện lặp thay cho các luồng, và nó có thể mở rộng lên hàng triệu kết nối một lúc. Điều này rất có lợi vì thực tế các máy chủ sử dụng phần lớn thờti gian vào việc đợi các xử lý vào ra (ví dụ nhƣ đọc một file từ ổ cứng, truy vấn đến một dịch vụ web bên ngoài hoặc là đợi file đƣợc tải lên hoàn tất) bởi vì các xử lý đó chậm hơn rất nhiều so với xử lý bộ nhớ. Với kiến trúc hƣớng sự kiện thì lƣợng bộ nhớ dùng ít hơn, lƣu nƣợng tăng cao và mô hình lập trình thì đơn giản hơn. Mỗi một xử lý vào ra trong Nodejs là không đồng bộ, nghĩa là máy chủ có thể tiếp tục sử lý các request đến trong khi các sử lý vào ra đang diễn ra. Javascript mà một ngôn ngữ phù hợp cho việc lập trình hƣớng sự kiện bởi vì nó có các hàm không đồng bộ và sự bao đống cái mà tạo ra một hàm callbacks đảm bảo. Và lập trình viên Javascript thì đã biết cách lập trình theo cách này rồi. Mô hình hƣớng sự kiện khiến cho Nodejs chạy rất nhanh và có thể triển khai và mở rộng cho các ứng dụng thời gian thực một cách dễ dàng. Một lợi ích lớn lao của NodeJS đó là nó đƣợc viết bằng javascript. Nó cũng hỗ trợ các hệ NoSQL dùng javascript để truy vấn. Từ đây ta chỉ cần học một ngôn ngữ là javascript để thực thi từ phía trình duyệt, phía webserver và cả cho database server. 1.3. Khác nhau giữa Blocking và Non-Blocking 1.3.1. Blocking Theo cách truyền thống (thread-based) thì hãy tƣởng tƣợng một ngân hàng đang áp dụng mô hình phục vụ:Phục vụ hoàn toàn một yê u cầu rồi mới chuyển sang yêu cầu khác. Trong đó nhân viên trong ngân hàng. Tƣơng ứng mỗi nhân viên là một Thread. Và mỗi một yêu cầu tƣơng ứng là 1 request đến server. Bạn yêu cầu là muốn gửi tiền vào ngân hàng. Bạn sẽ phải điền 1 số form nhƣ tên ngƣời gửi, số tài khoản của họ, số tiền cần gửi. v...v. Trong thời gian bạn điền thông tin cần rút tiền vào tờ khai. Cô nhân viên phải chờ bạn. Bạn đã "khóa" cô ấy không cho cô ấy phục vụ các khách hàng khác vì lúc đó cô ấy đang rảnh vì phải đợi bạn. Hành động đợi ở đây phần lớn là hành động vào/ra, truy suất file, hoặc đợi kết quả truy vấn SQL trong Webservice. Đó là cơ chế Blocking. Theo cách này. Nếu ngân hàng đang quá tải vì có quá nhiều ngƣời chờ đƣợc phục vụ. Thì ngân hàng chỉ còn một cách duy nhất là. Tăng thêm số nhân viên phục vụ lên. Ở trƣờng hợp này trong ví dụ chúng ta là tăng số server phục vụ lên. 3 Vấn đề xảy ra ở đây ra. Khi tăng số lƣợng nhân viên lên để đáp ứng nhu cầu phục vụ khách hàng thì ngân hàng phải tăng chi phí (tiền để trả lƣơng, mặt bằng văn phòng...) (tƣơng ứng với việc tăng phần cứng máy chủ lên để đáp ứng). Nhƣ thế sẽ gây ra các vấn đề về lãng phí. Và không tận dụng đƣợc nguồn lực và tiết kiệm đƣợc chi phí 1.3.2. Non-Blocking Ở một ngân hàng khác, họ lại áp dụng theo một phƣơng thức mới (eventdriven):Tận dụng mọi khả năng của tất cả các nhân viên khi họ rảnh và nhân viên khi có yêu cầu mới phục vụ.Tức là khi bạn có một yêu cầu muốn gửi tiền nhƣ ở trên. Cô nhân viên chỉ cần đƣa bạn bút và giấy để bạn điền vào và bảo bạn hãy ngồi ở ghế chờ để điền xong thông tin gửi tiền. Trong khi đó cô ấy có thể phục vụ những vị khách tiếp theo. Ở đây bạn đã không "khóa" cô ấy lại. Và cô nhân viên tranh thủ lúc đợi bạn điền các thông tin. Cô ấy có thể làm việc khác. Thành ra ở đây không có hành động đợi vô nghĩa ở đây. Khi bạn điền xong thông tin, bạn có thể trở lại gặp cô ấy báo là đã hoàn thành. Cô ấy sẽ tiếp tục phục vụ bạn để bạn hoàn thành việc của mình. Đây là cơ chế Non-Blocking. Bạn có thể thấy, theo mô hình áp dụng của ngân hàng này (event-driven), họ sẽ tận dụng đƣợc khoảng thời gian rỗi của nhân viên. Khiến cho việc một nhân viên có thể phục vụ nhiều khách hàng hơn so với ngân hàng dùng mô hình theo cách cũ ở trên. Nếu có quá tải. Bạn chắc chắn vẫn phải thêm nhân viên để đáp ứng kịp thời. Nhƣng chắc chắn sẽ thêm ít nhân viên hơn. Tiết kiệm đƣợc rất nhiều tài nguyên. (Đây cũng là mô hình đƣợc áp dụng phổ biến ở các ngân hàng). 1.3.3. Lợi ích even-driven so với lại tốt hơn thread-driven Nói đến đây, chắc chắn sẽ có một vài câu hỏi đƣợc đặt ra: - Mặc định, Nodejs chỉ có một luồng đƣợc thực thi. Nó không cần đợi các tác vụ vào ra hoặc là chuyển nội dung. Thay vào đó, các tác vụ vào/ra sẽ tự động tạo ra một hàm điều khiển gửi tới các sự kiện khi mà mọi thứ đã xong. Các sự kiện lặp và mô hình điều hƣớng lặp cũng giống nhƣ cách mà javascript ở phía trình duyệt thực hiện. Chƣơng trình sẽ xử lý các hành động và nhanh chóng quay về vòng lặp để gửi các tác vụ khác đến. Khi load 1 trang và đang chờ nó truy xuất cơ sở dữ liệu, thì nodejs sẽ tranh thủ phục vụ request khác. Trong khi việc chờ truy xuất cơ sở dữ liệu vẫn tiếp tục. Vậy cũng thể coi đó là 2 tiến trình hoàn tòan khác nhau. 4 - Ngay trong hệ điều hành đã áp dụng mô hình dựa theo sự kiện (event-based) rồi. Nó sẽ không chỉ có 1 thread mà sẽ có rất nhiều thread. Và khi 1 thread tiến trình đang bị blocking I/O. Thì hệ điều hành sẽ cho các thread khác đƣợc chạy thay thế. Và nhƣ thế sẽ không có thời gian trễ. Nhƣ vậy sẽ không có lợi ích gì đáng kể của mô hình hƣớng sự kiện so với không hƣớng sự kiện. Có thể trả lời 2 câu hỏi trên nhƣ sau bằng 1 ví dụ: (Ở đây ta sẽ so sánh Nodejs với Apache) 1 đoạn code sau: result = query( "select A from B" ); do_something(result); Theo cách thông thƣờng nhƣ trên. Nếu một request đƣợc gửi đến yêu cầu xử lý đoạn code trên. Webservice sẽ phải tạo ra 1 thread để xử lý. Vấn đề là thread đƣợc tạo ra đó sẽ không làm gì cả trong khi hàm query() vẫn đang chạy. Cho đến khi kết quả của câu lệnh truy vấn SQL trên xử lý thành công, lâu hay nhanh thì tùy thuộc vào độ phức tạp của câu truy vấn. Sau đó thread sẽ gọi hàm do_something. Đó thực sự không tốt bởi vì trong khi toàn bộ các tiến trình đang trong trạng thái đợi(trừ tiến trình SQL) thì các yêu cầu mới vẫn tiếp tục đƣợc gửi đến. Lúc này sẽ sinh ra rất nhiều các tiến trình đang đợi thực thi câu lệnh, theo đúng cơ chế Blocking, vẫn ngốn tài nguyên máy chủ nhƣng không làm gì cả. Và nếu tất cả các tiến trình nhiều đến mức ngốn hết tài nguyên trong khi các tác vụ vẫn chƣa xong vì phải đợi thì lúc đó hệ thống sẽ sụp đổ. Quả thực là rất lãng phí. Mà việc chuyển trạng thái giữa các tiến trình là luôn có một khoảng thời gian trễ nào đó, mà càng nhiều tiến trình thì CPU càng mất nhiều thời gian để lƣu trữ và khởi động lại các trạng thái, kéo theo tổng thời gian trễ đợi chuyển giữa các tiến trình là tăng lên. Đơn giản bằng cách không đồng bộ, Node sẽ tận dụng triệt để tài nguyên do không có tài nguyên nào phải đợi lãng phí nữa. Một điểm yếu của lập trình hƣớng luồng là việc đồng bộ và tính đồng nhất của nó. Độ phức tạp của nó đến từ việc trao đổi giữa các biến và các hàm để tránh việc deadlock và xung đột giữa các luồng với nhau. Node khiến cho chúng ta phải hiểu theo một nghĩa khác thế nào là đồng nhất. Các hàm callback đƣợc gọi một cách không đồng bộ trong các sự kiện lặp xử lý khá tốt trong việc đồng nhất, khiến cho mô hình đồng nhất trở nên đơn giản hơn, dễ hiễu hơn và dễ 5 thực hiện hơn. Nhất là khi với việc trễ trong truy xuất các đối tƣợng. Nếu truy suất trong bộ nhớ thì ta chỉ mất với thời gian là nano giây, truy suất đĩa cứng hoặc qua mạng cục bộ thì có thể mất thời gian là mili giây hoặc thậm trí cả giây. Nhƣng việc truy suất đó chƣa hẳn đã xong, sẽ còn khá nhiều các tác vụ khác nữa trƣớc khi đƣợc đƣa đến ngƣời dùng cuối, họ sẽ phải chờ rất nhiều thời gian để kết quả có thể hiện ra. Còn với NodeJs thì câu truy vấn sẽ nhƣ thế này: query(statement: function(result){ "select A from B", // Xu ly ket qua sau khi tra ve do_something(); } ); Theo cách viết dƣới thì nó, tức nodejs, sẽ báo cho môi trƣờng hoạt động (ở đây là OS và webserver) là khi nào cần tạo tiến trình và phải làm gì. Đơn giản ở trên đoạn viết trên, chƣơng trình vẫn sẽ tạo ra một thread và sẽ báo là khi nếu có câu truy vấn query() thì chƣơng trình sẽ đợi hàm đó chạy xong. Trong lúc đợi query() chạy nó có thể phục vụ các truy vấn khác. Khi nào query() truy vấn cơ sở dữ liệu xong. Chƣơng trình sẽ quay trở lại gọi lại hàm callback ở trên là do_something(). Do đó, thread đó sẽ không phải đợi. Việc tính toán giữa nhiều request có thể thực hiện một cách song song. Cách viết code ở trên thực hiện y hệt nhƣ code ở phía trƣớc nữa thực hiện. Chỉ có điểm khác biệt là kết quả của việc truy vấn không phải là trả về kết quả truy vấn mà là trả về 1 hàm callback sẽ đƣợc thực thi sau khi truy vấn đƣợc thực thi hoàn toàn. Lúc này khi sau khi truy vấn đƣợc thực thi xong.Ta có thể toàn quyền xử lý với kết quả trả về, đặt thêm các sự kiện khác đến với nó. Ta có thể thấy event-driven khá giống với lập trình socket . Tóm lại, sức mạnh của nodejs không dựa vào vòng lặp bắt sự kiện của nó hoặc là đồng bộ vào/ra mà lại dựa vào hệ thống callback của nó đã làm giảm rất nhiều thời gian chờ của hệ thống. 6 1.4. Node package manager (NPM) 1.4.1 Giới thiệu về NPM Đƣợc viết tắt bởi Node Package Manager (Trình quản lý gói của nodejs). Nó vừa là một trình quản lý gói vừa là một hệ thống phân tán phục vụ cho NodeJs. Mục đích chính của nó là tạo ra và phân phối các gói Node, các module qua internet sử dụng dòng lệnh. Với npm chúng ta có thể dễ dàng tìm các module một cách tự động qua mạng. Chỉ với một câu lệnh, ta có thể tải, cài và sử dụng các module. 1.4.2. Định dạng một gói cài npm Một gói cài npm miêu tả trúc thƣ mục của nó ở trong file package.json. Nó bao gồm tên gói, phiên bản, cấu trúc các cấp của thƣ mục bên trong gói cài, các module nào cần thiết, phụ thuộc cần phải cài trƣớc. Một file package.json đơn giản nhất sẽ có cấu trúc nhƣ dƣới: { name: "PackageA", version: "1.0", main: "mainModuleName", modules: { "module1": "abc/module1", "module2": "abc/module2" } } Hai thẻ quan trọng nhất trong file này là thẻ name và thẻ version. Thẻ name sẽ miêu tả tên của gói và đƣợc dùng để tìm gói dễ dàng hơn. #npm search packageName Ở đây package name chính là tên trong thẻ name. Thẻ version là thẻ khai báo tên phiên bản của gói cài. Mặc định npm nếu không có các tham số nó sẽ tải gói cài với phiên bản mới nhất 7 Trong một module trong NodeJs cũng có thể đi kèm các module phụ thuộc nó. Khai báo trong file json thì npm sẽ tự động cài các module khác đi kèm với module đó. Khai báo các gói phụ thuộc nhƣ sau "dependencies": { "one": "1.0 - 2.5" "two": ">= 0.9 <2.3" } Ngoài ra còn các tham số khác: "description": "module của tôi" "homepage" : "http://localhost" "author" dung_b1991 1.4.3. Sử dụng npm Mặc định npm tìm các gói từ trên Internet và chính xác hơn là từ trang chủ http://npmjs.org. Nếu biết rõ tên module thì ta dùng câu lệnh sau: #npm install moduleName Nhƣng nếu bạn không nhớ đầy đủ tên module mà chỉ nhớ một phần tên thì sao. Ngoài việc vào trang http://search.npmjs.org thì bạn có thể dùng npm để cài. #npm search key_name Sau khi cài đặt module, để tìm kiếm tài liệu hƣớng dẫn, trang chủ của module đó, hoặc thông tin chi tiết về module này thì ngoài việc vào file package.json của chính module đó, ta có thể dùng npm: #npm view moduleName Nếu muốn tìm chi tiết hơn ví dụ là tìm trang chủ hay phiên bản của module: #npm view moduleName version 8 1.4.4. Gói toàn cục và gói cục bộ trong khi npm cài đặt Mặc định khi dùng câu lệnh install trong npm sẽ là cài 1 gói ở dạng local, tức là nó chỉ có tác dụng trên thƣ mục mình cài Ví dụ tại thƣ mục nodejs/dirA/ có gói là testcase  cd nodejs/dirA/  npm install testcase Trong thƣ mục nodejs/dirB/ ta tạo 1 file.js có gọi gói testcase var HTTPServer = require('testcase'); Thì sẽ báo lỗi không tìm thấy gói testcase, vì gói testcase ta install nó trong thƣ mục dirA, nên npm sẽ hiểu testcase là gói cục bộ trong thƣ mục dirA. Để có thể dùng gói testcase trong dirB ta có thể dùng 2 cách sau:  Cục bộ:Ta vào lại thƣ mục dirB và cài lại gói testcase bằng npm, lúc đó gói testcase sẽ là gói cục bộ trong thƣ mục dirB.   cd anotherapp/ npm install http-server  Toàn cục:Ta sẽ cài gói testcase là 1 gói toàn cục. Tức là bất cứ thƣ mục nào (kể cả không phả dirA và dirB cũng có thể gọi gói testcase đƣợc. #npm install http-server -g Mặc định thì npm cài thêm module theo cách cục bộ tức là nó sẽ cài vào mục node_modules tại thƣ mục hiện thời. Để thay đổi việc cài module sao cho khi cài npm sẽ mặc định sẽ cài vào toàn cục. Đây là cách mà các chƣơng trình có thể dùng các module toàn cục mà không cần cài thêm. #npm set global=true Để kiểm tra xem biến global đã đƣợc set chƣa. ta dùng tham số get #npm get global 9 Chƣơng 2 TÌM HIỂU VỀ CÁC GIẢI PHÁP CƠ SỞ DỮ LIỆU DẠNG NOSQL (NOT ONLY SQL) 2.1 NoSQL là gì ? noSQL, viết tắt của non-relational, hoặc theo cách hiểu khác thì có nghĩa là Not only SQL (không chỉ là SQL). NoSQL đặc biệt nhấn mạnh đến mô hình lƣu trữ cặp giá trị khóa và hệ thống lƣu trữ phân tán. Hệ CSDL này có thể lƣu trữ, xử lý từ lƣợng rất nhỏ đến hàng petabytes dữ liệu với khả năng chịu tải, chịu lỗi cao nhƣng chỉ đòi hỏi về tài nguyên phần cứng thấp. NoSQL thiết kế đơn giản, nhẹ, gọn hơn so với RDBMs, thiết kế đặc biệt tối ƣu về hiệu suất, tác vụ đọc-ghi, ít đòi hỏi về phần cứng mạnh và đồng nhất, dễ dàng thêm bớt các node không ảnh hƣởng tới toàn hệ thống, … 2.2 So Sánh NoSQL và RDBM? Các RDBMs hiện tại đã bộc lộ những yếu kém nhƣ việc đánh chỉ mục một lƣợng lớn dữ liệu, phân trang, hoặc phân phối luồng dữ liệu media (phim, ảnh, nhạc, ...). Cơ sở dữ liệu quan hệ đƣợc thiết kế cho những mô hình dữ liệu nhỏ thƣờng xuyên đọc viết trong khi các Social Network Services lại có một lƣợng dữ liệu cực lớn và cập nhật liên tục do số lƣợng ngƣời dùng quá nhiều ở một thời điểm. Thiết kế trên Distributed NoSQL giảm thiểu tối đa các phép tính toán, I/O liên quan kết hợp với batch processing đủ đảm bảo đƣợc yêu cầu xử lý dữ liệu của các mạng dịch vụ dữ liệu cộng đồng này. Facebook, Amazon là những ví dụ điểm hình. Về cơ bản, các thiết kế của NoSQL lựa chọn mô hình lƣu trữ tập dữ liệu theo cặp giá trị key-value. Khái niệm node đƣợc sử dụng trong quản lý dữ liệu phân tán. Với các hệ thống phân tán, việc lƣu trữ có chấp nhận trùng lặp dữ liệu. Một request truy vấn tới data có thể gửi tới nhiều máy cùng lúc, khi một máy nào nó bị chết cũng không ảnh hƣởng nhiều tới toàn bộ hệ thống. Để đảm bảo tính real time trong các hệ thống xử lý lƣợng lớn, thông thƣờng ngƣời ta sẽ tách biệt database ra làm 2 hoặc nhiều database. Một database nhỏ đảm bảo vào ra liên tục, khi đạt tới ngƣỡng thời gian hoặc dung lƣợng, database nhỏ sẽ đƣợc gộp (merge) vào database lớn có thiết kế tối ƣu cho phép đọc (read operation). Mô hình đó cho phép tăng cƣờng hiệu suất I/O - một trong những nguyên nhân chính khiến performance trở nên kém. 2.3 Bảng so sánh 10 Bảng 1: So sánh CSDL quan hệ và NoSQL Tính CSDL quan hệ NoSQL Hiệu Kém hơn Cực cao Truy vấn qua SQL Bỏ qua truy vấn SQL Có quan hệ giữa các Bỏ qua các ràng buộc quan hệ Kém do thiết kế để Tốt với một mô hình sử lý theo lô năng suất bảng Khả năng mở rộng Hiệu suất đọc-ghi đảm bảo sự vào/ra liên tục (batch process) và tối ƣu về đọc ghi dữ của dữ liệu. liệu. Thay đổi Phải tắt cả hệ Không cần phải tắt cả hệ thống.Việc số node trong thống.Việc thay đổi số thay đổi số node thƣờng khá đơn giản, hệ thống node phức tạp Phần cứng Đòi hỏi cao về phần cứng không ảnh hƣởng đến hệ thống Đòi hỏi thấp hơn về giá trị và tính đồng nhất của phần cứng [1] 2.4 Đặc điểm của NoSQL? - Phi quan hệ (hay không ràng buộc): Các mối quan hệ giữa các bảng trong cơ sở dữ liệu quan hệ (RDBM) sử dụng mô hình gồm 2 loại khóa: khóa chính và khóa phụ (primary key + foreign key) để ràng buộc dữ liệu nhằm thể hiện tính nhất quán dữ liệu từ các bảng khác nhau. Non-relational là khái niệm không sử dụng các ràng buộc dữ liệu cho nhất quán dữ liệu. - Lƣu trữ phân tán: mô hình lƣu trữ phân tán các tập tin hoặc dữ liệu ra nhiều máy khác nhau trong mạng LAN hoặc Internet dƣới sự kiểm soát của phần mềm. 11 - Nhất quán cuối: tính nhất quán của dữ liệu không cần phải đảm bảo ngay tức khắc sau mỗi phép ghi. Một hệ thống phân tán chấp nhận những ảnh hƣởng theo phƣơng thức lan truyền và sau một khoảng thời gian (không phải ngay tức khắc), thay đổi sẽ đi đến mọi điểm trong hệ thống để cuối cùng dữ liệu trên hệ thống sẽ trở lại trạng thái nhất quán. - Triển khai đơn giản, dễ nâng cấp và mở rộng. - Mô hình dữ liệu và truy vấn linh hoạt. … 2.5 Phân loại NoSQL? 2.5.1. Wide Column Store / Column Families Hệ cơ sở dữ liệu phân tán cho phép truy xuất ngẫu nhiên/tức thời với khả năng lƣu trữ một lƣợng cực lớn data có cấu trúc. Dữ liệu có thể tồn tại dạng bảng với hàng tỷ bản ghi và mỗi bản ghi có thể chứa hàng triệu cột. Một triển khai từ vài trăm cho tới hàng nghìn commodity hardware dẫn đến khả năng lƣu trữ hàng petabytes nhƣng vẫn đảm bảo high performance. Dƣới đây là một số sản phẩm thông dụng: Hadoop/HBase – Apache, BigTable – Google, Cassandra - Facebook/Apache, Hypertable - Zvents Inc/Baidu, Cloudera, SciDB, Mnesia, Tablets, … 2.5.2. Key-Value Store/Tuple store Mô hình lƣu trữ dữ liệu dƣới cặp giá trị key-value trong đó việc truy xuất, xóa, cập nhật giá trị thực thông qua key tƣơng ứng. Với sự bổ trợ bởi các kỹ thuật BTree, B+Tree, Hash, ... dữ liệu có thể tồn tại trên RAM hoặc đĩa cứng, phân tán hoặc không phân tán. Hầu hết các NoSQL database đều là key-value store. 2.5.3. Document Store Thực chất là các document-oriented database - một thiết kế riêng biệt cho việc lƣu trữ document. Các cài đặt có thể là giả lập tƣơng tác trên relational database, object database hay key-value store. Một số sản phẩm tiêu biểu: Apache Jackrabbit, CouchDB, IBM Lotus Notes Storage Format (NSF), MongoDB, Terrastore, ThruDB, OrientDB, RavenDB, ... CouchDB là cơ sở dữ liệu thuộc nhánh document store 12 2.5.4. Graph Database Graph database là một dạng cơ sở dữ liệu đƣợc thiết kế riêng cho việc lƣu trữ thông tin đồ họa nhƣ cạnh, nút, properties. Một số sản phẩm tiêu biểu: Neo4J, Sones, AllegroGraph, Core Data, DEX, FlockDB, InfoGrid, OpenLink Virtuoso, ... 2.6 Hiệu năng NoSQL Hình 1:Bảng so sánh hiệu n 2.6.1. Xử lý việc suy giảm hiệu năng NoSQL không dùng các câu lệnh thông dịch SQL và các truy vấn rƣờm rà khác khiến nó cho ta một kiến trúc tối ƣu về tốc độ thực thi (Đọc và ghi và cập nhật dữ liệu).Các câu lệnh SQL khá dễ đọc dễ hiểu.Nhƣng nếu dữ liệu các đơn giản, các thủ tục SQL sẽ không cần thiết. Nhƣng với các dữ liệu không có một cấu trúc cố định - ví dụ nhƣ - bài viết chẳng hạn, có rất nhiều kiểu bài viết, mỗi một kiểu bài viết lại có rất nhiều trƣờng đi riêng biệt dành riêng cho nó.Tin tức thời sự chỉ có 3 trƣờng là Tiêu đề, miêu tả, và phần thân, nhƣng với văn bản pháp luật thì ngoài 3 trƣờng trên còn có thêm trƣờng cho phép đính kèm file văn bản pháp luật sửa đổi mới. Việc lƣu trữ và truy vấn lấy các bài viết dạng thế này phải dùng khá nhiều câu lệnh join. Càng nhiều câu lệnh Join thì hiệu năng càng giảm. Không nhƣ SQL, NoSQL lƣu tất cả các trƣờng tập trung vào trong một phần tử là document, các document này không nhất thiết phải bị "ràng buộc" phải có các trƣờng 13 giống nhau, nên sẽ có các phần tử có nhiều trƣờng hơn các phần tử khác.Các khái niệm khóa ngoại khóa chính sẽ đƣợc loại bỏ - vì các document không còn quan hệ với nhau.Các bài viết đƣợc phân biệt với nhau bởi trƣờng id.Đến lúc này khi truy vấn bài viết nào đó thì ta chỉ việc truy vấn thẳng đến document đó là có thể lấy chính xác tất cả dữ liệu cần tìm khiến cho hiệu năng truy vấn tăng lên đáng kể. 2.6.2. Xử lý một dữ liệu cực lớn NoSQL đƣợc thiết kế cho việc lƣu trữ dữ liệu phân tán cho các dữ liệu cực lớn.Một ví dụ rất quen thuộc ở đây là Facebook với trên 600 triệu ngƣời dùng đang truy cập hàng ngày, hàng ngàn tetra ảnh đƣợc tải lên mỗi ngày thì ta mới biết nó khủng khiếp sao.Tất nhiên không có máy chủ nào có thể xử lý đƣợc khối dữ liệu khổng lồ đó.Ta phải tách nó ra làm nhiều cụm máy chủ lớn khác nhau gọi là Data Center.Và cũng không thể chỉ có một Data Center có thể thực hiện đƣợc công việc nhƣ trên.Ta lại chia ra làm các cụm Data Center.Với nhiều máy chủ nhƣ vậy.Đòi hỏi việc phân tán dữ liệu nhƣ thế nào, quản lý ra sao, tốc độ cập nhật thế nào là điều cực kỳ quan trọng.NoSQL đáp ứng đƣợc những yêu cầu này. Với cơ sở dữ liệu dạng NoSQL, thì không có cấu trúc và không có các câu lệnh nối. Một RDBMs truyền thống thì muốn mở rộng, nâng cấp thì chỉ có cách là nâng cấp phần cứng mới hơn, mạnh hơn, mua thêm nhiều máy chủ tập trung thật tốt.Còn với NoSQL, ngoài cách đó ra thì nó còn mở rộng theo chiều khác nữa, đó là nó có khả năng lan truyền đều trên toàn hệ thống, tức là có thể giữa các Datacenter với nhau chứ không chỉ riêng mỗi Datacenter. Đây là một giải pháp ít tốn kém hơn so với RDBMs, tận dụng đƣợc nguồn tài nguyên nhàn rỗi tốt hơn. Dƣới đây là các lĩnh vực mà NoSQL đóng một vai trò khá quan trọng và cần thiết:  Lƣu trữ dữ liệu: Tổng dữ liệu số hiện nay đã đƣợc lƣu bằng đơn vị exabytes.Một exabyte tƣơng đƣơng với 1 tỉ GB dữ liệu.Theo một số liệu nghiên cứu của trang Internet.com(*) thì tổng lƣu lƣợng internet năm 2006 vào khoảng 161 exabytes.Và chỉ 4 năm sau là vào năm 2010 thì tổng lƣợng dữ liệu internet là khoảng 1000 exabyte, tăng hơn 500%.Và vì vậy, dữ liệu đƣợc lƣu trữ ngày càng lớn lên.  Dữ liệu đƣợc kết nối: Dữ liệu ngày càng trở nên "kết nối" hơn, tức là các trang web này có liên kết các trang web kia, các mạng xã hội tƣơng tác 14 ngƣời dùng với nhau.Và các hệ thống cũng đƣợc xây dựng để tƣơng tác với ngƣời dùng.  Cấu trúc dữ liệu phức tạp.NoSQL có thể kiểm soát cấu trúc dữ liệu phân thành nhiều cấp một cách dễ dàng.Để thực hiện một công việc tƣơng tự nhƣ vậy trong SQL thì ta phải tạo rất nhiều bảng để lƣu trữ với rất nhiều khóa ngoại, kéo theo đó là tốc độ khi thực thi các truy vấn sẽ cực kì chậm chạp.Có một sự tƣơng tác nghịch giữa hiệu năng và độ phức tạp của dữ liệu.Hiệu năng có thể suy giảm đáng kể trong các hệ RDBMs nếu chúng ta lƣu những dữ liệu cực kì phức tạp và đồ sộ nhƣ ở các mạng xã hội. 2.7. Các loại NoSQL phổ biến 2.7.1. MongoDB [2][3] Mongo là một cơ sở dữ liệu NoSQL nguồn mở, hiệu năng cao, có tính mở rộng cao.Đƣợc viết bằng C++ .Dùng cách lƣu trữ BSON (Json đƣợc biên dịch) với giấy phép AGPL.Thay vì lƣu trữ dữ liệu theo các bảng nhƣ các cơ sở dữ liệu cổ điển.MongoDB lƣu cấu trúc dữ liệu thành các văn bản dựa JSON với mô hình động (gọi đó là BSON), khiến cho việc tích hợp dữ liệu cho các ứng dụng trở nên dễ dàng và nhanh hơn.Với mục tiêu là kết hợp các điểm mạnh của mô hình key-values (nhanh mà tính mở rộng cao) với mô hình dữ liệu quan hệ ( giàu chức năng). Mục tiêu chính của Mongo là giữ lại các thuộc tính thân thiện của SQL.Do đó các câu truy vấn khá giống với SQL nên MongoDB khá thích hợp cho các lập trình viên đã quen với ngôn ngữ truy vấn SQL.MongoDB có một khối lƣợng tính năng lớn và hiệu năng cao.Với các loại dữ liệu phong phú, nhiều truy vấn và việc giảm thời gian phát triển trong việc mô hình hóa các đối tƣợng. MongoDB đƣợc sử dụng tốt nhất với nhu cầu cần truy vấn động, nếu bạn muốn định nghĩa chỉ mục mà không cần các hàm map/reduce.Đặc biệt nếu bạn cần tốc độ nhanh cho một cơ sở dữ liệu lớn vì MongoDB ngoài tốc độ đọc nhanh ra thì tốc độ ghi của nó rất nhanh. Các đặc điểm chính của mongoDB là:  Các truy vấn Ad hoc: Mongo hỗ trợ việc tìm theo trƣờng, khoảng kết quả tìm và tìm theo cú pháp.Các truy vấn có thể trả về các trƣờng đƣợc qui định 15 trong văn bản và cũng có thể bao gồm các hàm Javascript mà ngƣời dùng chƣa định nghĩa.  Đánh chỉ mục: Bất cứ một trƣờng nào trong MongoDB đều đƣợc đánh chỉ mục (giống nhƣ chỉ mục bên RMDBs).  Mô phỏng ( nhân bản): Mongo hỗ trợ mô phỏng Master-slave.Một master có thể điều khiển việc đọc và ghi.Một slave tạo bản sao sữ liệu từ master và chỉ đƣợc sử dụng cho việc đọc và backup (không có quyền ghi).Slave có khả năng chọn ra một master mới nếu master cũ bị hỏng.  Cân bằng tải: Mongo mở rộng theo chiều ngang bằng cách sử dụng sharding.Các lập trình viên chọn các khóa chia sẻ nhằm xác định dữ liệu sẽ đƣợc phân tán nhƣ thế nào.Dữ liệu sẽ đƣợc tách thành các khoảng dựa vào khóa và phân tán dọc theo các Shard  Lưu trữ file: Mongo lƣu trữ bằng file hệ thống, rất tốt cho việc cân bằng tải và nhân bản dữ liệu.Trong cá hệ thống nhiều máy, các file đƣợc phân phối và đƣợc sao ra rất nhiều lần giữa các máy một cách trong suốt.Do đó rất hiệu quả trong việc tạo ra một hệ thống cân bằng tải và dung lỗi tốt 2.7.2. CouchDB [4] Đƣợc viết bằng Erlang với mục tiêu là tạo ra một cơ sở dữ liệu bền vững, chịu lỗi cao, dễ dàng trong việc sử dụng.Dùng cách lƣu trữ thông thƣờng là JSON với giấy phép Apache 2.0. Với CouchDB thì mỗi một cơ sở dữ liệu là một tập các văn bản riêng biệt.Mỗi văn bản tự bảo quản chính nó và tự nó bao gồm mô hình của nó ( các trƣờng, loại của mỗi trƣờng).Mỗi một ứng dụng có thể thực thi rất nhiều cơ sở dữ liệu, ví dụ nhƣ chúng ta dùng một cơ sở dữ liệu để lƣu thông tin ngƣời dùng điện thoại và cái còn lại là lƣu trên server.Trên mỗi văn bản(bản ghi) còn bao gồm các thông tin về phiên bản, khiến cho việc dễ dàng đồng bộ các dữ liêu với nhau khi cơ sở dữ liệu bị mất kết nối một thời gian giữa các thiết bị. CouchDB dử dụng MVCC (multi-Version Concurency Control ) để tránh việc deadlock database trong suốt khi ghi.Tức là nếu trong khi ghi dữ liệu, chúng ta vẫn có thể đọc dữ liệu vì CouchDB sinh ra một bản copy và chúng ta đọc trên bản copy đó.Sau khi ghi xong nó sẽ tiến hành nhập dữ liệu giữa các thiết bị và xóa bản ghi cũ đi. 16 Dùng giao thức HTTP theo Restful với cách thiết kế có khả năng chịu lỗi cao với dùng views đi kèm với map/reduce mang lại một tốc độ cao.Thích hợp cho rất nhiều các thiết bị khác nhau nhƣ máy chủ, máy bàn hay điện thoại thông minh (smartphone) CouchDB đƣợc sử dụng tốt nhất cho các hệ thống thỉnh thoảng thay đổi dữ liệu nhƣ các hệ thống CMS, các hệ thống cho phép triển khai nhiều trang web. Các đặc điểm chính của CouchDB:  Lưu trữ theo hướng văn bản (document storage)  Sử dụng ngữ nghĩa ACID: Cho phép điều khiển việc đồng bộ việc ghi và đọc cƣờng độ rất cao mà không lo bị xung đột.  Sử dụng Map/Reduce và các chỉ mục: Mỗi view đƣợc tạo ra bởi một hàm javascript mà thực thi cả 2 hành động map và reduce.Hàm đó khiến cho các văn bản kết hợp với nhau thành một giá trị đơn nhất và trả về kết quả đó.  Kiến trúc phân tán có nhân bản: CouchDB đƣợc thiết kế với khả năng nhân bản 2 chiều với các dữ liệu offline.Tức là ta có thể chỉnh sửa dữ liệu offline và sau đó đồng bộ chúng sau khi có kết nối trở lại.  REST API: Tất cả dữ liệu đều có một địa chỉ duy nhất đƣợc lấy qua HTTP.Giao thức REST sử dụng các phƣơng thức của HTTP nhƣ GET, POST, PUT và DELETE với 4 chức năng cơ bản (Tạo, đọc, ghi, xóa, sửa)  Built for Offline: Có khả năng nhân bản dữ liệu cho từng thiết bị và tự động đồng bộ dữ liệu khi thiết bị hoạt động trở lại 2.7.3. Cassandra[5] Cassandra là một hệ quản trị cơ sở dữ liệu nguồn mở, đƣợc viết bằng Java với mục tiêu chính là trở thành Best of BigTable.Cũng nhƣ CouchDB, nó cũng thuộc tổ chức phần mềm Apache, đƣợc thiết kế với khả năng xử lý một khối dữ liệu cực lớn đƣợc trải ra trên rất nhiều máy chủ trong khi cung cấp một dịch vụ có tính sẵn sàng cao và không hỏng.Nó là một giải pháp NoSQL bƣớc đầu đƣợc phát triển bởi Facebook Cassandra cung cấp một cấu trúc lƣu trữ theo dạng key/value với khả năng điều hƣớng tính nhất quán.Các khóa ánh xạ đến nhiều giá trị, cái mà đƣợc gộp thành các nhóm cột.Các nhóm cột đƣợc cố định khi cơ sở dữ liệu Cassandra đƣợc tạo ra, nhƣng các cột có 17 thể đƣợc thêm vào nhóm đó bất cứ lúc nào.Hơn nữa, các cột đƣợc thêm vào chỉ để làm các khóa xác định, bởi vậy các khóa khác nhau có thể có số lƣợng cột khác nhau. Giá trị từ các nhóm cột cho mỗi một khóa đƣợc lƣu trữ cùng nhau.Điều đó khiến cho Cassandra là một hệ quản trị dữ liệu lai giữa hƣớng cột hoặc là hƣớng bản ghi. Cassandra đƣợc dùng tốt nhất khi bạn ghi nhiều hơn bạn đọc, ví dụ ở đây là hệ thống logging nhiều nhƣ các mạng xã hội, hệ thống ngân hàng, tài chính chứng khoán).Với tốc độ ghi nhanh hơn tốc độ đọc, nó thích hợp cho việc phân tích dữ liệu thời gian thực. Các đặc điểm nổi bật:  Tính phân cấp: Mỗi node trong một cụm có cùng một luật.Dữ liệu đƣợc phân tán dọc theo các cụm đó (do đó mỗi node lại có một dữ liệu khác nhau), nhƣng không có master bởi mỗi một node có thể phục vụ bất kì một yêu cầu nào.  Hỗ trợ nhân bản và nhân bản nhiều trung tâm dữ liệu: Việc mô phỏng có thể đƣợc cấu hình.Cassandra đƣợc thiết kế cho các hệ thống phân tán, có thể triển khai một số lƣợng lớn các node trên nhiều trung tâm dữ liệu khác nhau.Kiến trúc phân phối các đặc trƣng khóa của Casandra thích hợp cho việc triển khai nhiều chung tập dữ liệu.Sử lý dữ liệu dƣ thừa, đề phòng việc hỏng hóc.  Tính đàn hồi: Thông lƣợng đọc và ghi đều tăng tuyến tính khi các máy mới thêm vào vì giảm đƣợc thời gian chết hoặc bị gián đoạn giữa các ứng dụng  Tính dung lỗi:Dữ liệu đƣợc nhân bản ra thành nhiều node cho khả năng dung lỗi.Việc nhân bản giữa các trung tâm dữ liệu khác nhau cũng đƣợc hỗ trợ.Các node lỗi có thể đƣợc thay thế mà không mất thời gian chờ đợi.  Tính điều hướng nhất quán: Đọc và ghi đƣa ra một yêu cầu về tính nhất quán với việc "việc ghi không bao giờ bị lỗi"  Hỗ trợ Map/Reduce: Cassandra có tích hợp thêm cả Hadoop đồng nghĩa với việc hỗ trợ map/reduce 18  Có truy vấn theo ngôn ngữ riêng: CQL ( viết tắt của Cassandra Query Language) là một thay thể của SQL - like với các giao thức RPC truyền thống.Nó đƣợc điều khiển bởi Java và python 2.7.4. Membase [6] Là một cơ sở dữ liệu nguồn mở với giấy phép Apache 2.0, nhƣ cassandra, là một hệ quản trị dữ liệu theo dạng key-value đƣợc tối ƣu cho việc lƣu trữ dữ liệu tƣơng tác với các ứng dụng web.Các ứng dụng đó phải phục vụ rất nhiều ngƣời dùng đồng thời: tạo, lƣu trữ thu hồi, tập hợp, thao tác và trình bày dữ liệu.Membase đƣợc thiết kế để cung cấp một cách đơn giản, nhanh chóng và dễ dàng để mở rộng dữ liệu key-value với độ trễ thấp và băng thông cao.Nó đƣợc thiết kế để phân cụm thành một máy tính duy nhất để triển khai qui mô lớn. Membase đƣợc viết bằng C và Erlang tƣơng thích với memcache nhƣng có khả năng lƣu trữ lâu bền và phân tán.Với tốc độ thực thi rất nhanh (hơn 200 ngàn bản ghi / giây) bằng cách truy xuất dữ liệu bằng khóa và trên ram.Với việc truy xuất trên Ram thì hầu hết việc truy suất các toán tử đều đƣợc thực thi trong khoảng thời gian ít hơn 1ms..Ngoài ra còn cung cấp việc lƣu trữ dữ liệu lâu bền trên đĩa Membase đƣợc sử dụng tốt nhất cho các ứng dụng yêu cầu tuy xuất dữ liệu với độ trễ cực thấp, tính đồng nhất cao và khả năng mở rộng cao.Ví dụ nhƣ các chƣơng trình gaming online, rất cần độ trễ truy xuất thấp 19 Chƣơng 3 TÌM HIỂU VỀ COUCHDB 3.1. CouchDB là gì CouchDB là một hệ quản trị cơ sở dữ liệu NoSQL lƣu trữ theo hƣớng văn bản, nguồn mở, truy cập bằng cách sử dụng hệ thống hàm (API) bằng JSON RESTful, có khả năng khả chuyển cao trong việc tƣơng tác dữ liệu giữa các nút.Điều này khiến cho nó rất thích hợp trong các trƣờng hợp liên quan đến việc thống nhất và bền vững dữ liệu.Việc tích hợp các bản sao (ở đây là các view) làm cho nó là nền tảng lý tƣởng cho việc đồng bộ hóa dữ liệu giữa điện thoại di động, máy tính và máy chủ.Couchdb không có mô hình cố định.Thay vào đó nó lƣu trữ các bản ghi (hay văn bản) theo định dạng JSON, khá nhẹ và dễ hiểu cấu trúc dữ liệu, rất thích hợp cho việc lƣu trữ dữ liệu. Thuật ngữ "Couch" là từ viết tắt của "Cluster Of Unreliable Commodity Hardware"(dịch là ) đã phản ánh mục tiêu của CouchDB là một cơ sở dữ liệu có khả năng mở rộng cực tốt, đƣa ra tính sẵn sàng và độ tin cậy cao ngay cả khi chạy trên phần cứng mà thƣờng dễ hỏng hoặc lỗi. 3.2. Lịch sử CouchDB CouchDB ban đầu đƣợc viết bằng C++ bởi Damien Katz, trƣớc đây là làm ngƣời trong nhóm phát triển Lotus notes của IBM.Ban đầu nó ở dƣới dạng nguồn mở với giấy phép GNU ( GNU Genaral Public License). Nhƣng vào tháng 2 năm 2008 thì nó đã trở thành một dự án của Apache và giấy phép đƣợc chuyển thành giấy phép Apache License.Nó cũng đƣợc chuyển sang nền tảng ErLang OTP với thiết kế nhằm việc tăng cƣờng khả năng chịu lỗi. Vào đầu tháng 12 nhà sáng lập Damien Katz chuyển sang tập trung cho dự án CouchBase, về bản chất là CouchDB + membase.Đầu tháng 4 thì phiên bản CouchDB 1.2 đã ra đời với rất nhiều cải tiến mới về tốc độ thực thi và nhiều tính năng nổi bật khác. 3.3. Các đặc điểm của CouchDB Là một cơ sở dữ liệu NoSQL, CouchDB cũng có các đặc điểm của một NoSQL nhƣ khả năng mở rộng, tốc độ cao.Ngoài ra CouchDB còn có các đặc điểm riêng sau 20 3.3.1. Document storage Một máy chủ CouchDB chứa các cơ sở dữ liệu lƣu các văn bản.Mỗi văn bản là duy nhất trong cơ sở dữ liệu và CouchDB cung cấp một thƣ viện hàm RESTful HTTP cho việc đọc và cập nhât (Thêm, xóa, sửa) các văn bản. CouchDB lƣu dữ liệu ở dạng văn bản với một hoặc nhiều cặp giá trị key/value bằng JSON.Các giá trị của trƣờng có thể đơn giản nhƣ là kiểu chuỗi, kiểu số hoặc ngày tháng, cũng có thể phức tạp hơn nhƣ kiểu danh sách thứ tự hoặc không thứ tự, hoặc là một mảng liên kết.Mỗi một văn bản trong cơ sở dữ liệu CouchDB có một ID duy nhất và không cần có cấu trúc.Tức là các văn bản(bản ghi) không cần phải tuân theo một cấu trúc nhƣ bắt buộc phải có một trƣờng nào đó và có thể thêm các trƣờng đặc biệt khác mà không phụ thuộc các bản ghi khác nhƣ bên RDBMs. CouchDB .Văn bản thay đổi bởi các ứng dụng client theo trình tự nhƣ sau.Các ứng dụng client tải văn bản cần dùng, sử dụng chúng bằng cách tƣơng tác nó, sau đó là lƣu chúng vào cơ sở dữ liệu.Nếu có một máy khách khác cũng sửa cùng văn bản đó và lƣu thay đổi của họ trƣớc thì client sẽ nhận một thông báo lỗi vì xung đột không lƣu đƣợc.Để giải quyết xung đột này, thì phiên bản văn bản mới nhất sẽ đƣợc mở sửa lại một lần nữa và cố gắng cập nhật lại. Việc cập nhật cho các văn bản là hoàn toàn.Tức là nếu đã cập nhật hoặc là cập nhật thành công hoặc là không đƣợc cập nhật.CouchDB không cho phép việc cập nhật văn bản một phần. 3.3.2. Map/Reduce Views và Indexes Dữ liệu đƣợc lƣu trữ có cấu trúc sử dụng các views.Trong CouchDB, vỡi mỗi một view thì đƣợc cấu trúc bởi một hàm Javascript mà có nhiệm vụ ánh xạ (Map) các giá trị và ghép các giá trị (reduce) đó lại thành một văn bản duy nhất.CouchDB có thể đánh chỉ mục views và thực hiện các tác vụ y nhƣ với các văn bản khác nhƣ cập nhật(update), thêm(add), xóa(delete). 3.3.3. Kiến trúc phân tán với việc nhân bản [10] [11] CouchDB là một mạng ngang hàng dựa trên hệ thống cơ sở dữ liệu phân tán.Bất cứ một máy nào trong các máy dùng CouchDB(Máy chủ và các máy client) đều có một "nhân bản" cơ sở dữ liệu độc lập, mà các ứng dựng tƣơng tác đầy đủ với cơ sở dữ liệu (truy vấn, thêm xóa sửa).Khi các ứng dụng kết nối lại (online) hoặc theo một chu kỳ, thì 21 dữ liệu sẽ đƣợc đồng bộ 2 chiều.Rất thích hợp với các ứng dụng web hiện nay.Ví dụ nhƣ google docs.Bạn có thể soạn thảo offline khi không kết nối mạng.Khi kết nối mạng.Thì sẽ đồng bộ lại dữ liệu với máy chủ.Vậy điều này sẽ dẫn đến một vấn đề là nếu có 2 hay nhiều máy chủ cùng thay đổi dữ liệu trên cùng một văn bản thì sao.Có thể sẽ xảy ra xung đột.Vậy CouchDB xử lý vấn đề này nhƣ thế nào? Couch DB đƣợc xây dựng để phát hiện và xử lý những xung đột và quá trình sao chép là tăng dần và nhanh, sao chép văn bản nào thay đổi so với các nhân bản trƣớc.Điều này dẫn đến việc cập nhật các bản ghi và đồng bộ rất nhanh. Mô hình nhân bản trong CouchDB là mô hình đƣợc thiết kế tốt để tăng tốc, thích hợp cho phân phối.Nền tảng nhân bản này cung cấp một tập các tính năng sau:  Nhân bản từ Master đến máy Slave  Đồng bộ nhân bản giữa máy 2 máy Master với nhau  Lọc các nhân bản  Nhân bản tăng dần và 2 chiều (chỉ cập nhật các các văn bản thay đổi từ hai chiều)  Quản lý các xung đột Các đặc điểm nhân bản có thể đƣợc sử dụng để kết hợp tạp ra các giải pháp mạnh mẽ tới rất nhiều vấn đề trong ngành Công nghệ thông tin.Ngoài các tính năng nhân bản trên, thì ƣu thế của CouchDB về tính ổn định và khả năng mở rộng là một ƣu thế lớn.Nó đƣợc tăng cƣờng hơn nữa khi đƣợc viết trên ngôn ngữ lập trình Erlang.Erlang đƣợc xây dựng để hỗ trợ tối đa cho việc phân phối, khả năng tức thời, khả năng chịu lỗi cao và đã có uy tín trong nhiều năm trong việc xây dựng các hệ thống đáng tin cậy trong ngày công nghiệp viễn thông.Theo thiết kế thì ngôn ngữ Erlang và thời gian chạy đƣợc tận dụng lợi thế phần cứng có nhiều lõi CPU 3.3.4. REST API CouchDB dùng chuẩn REST.Tất cả các mục có một định danh duy nhất đƣợc lấy thông qua giao thức HTTP.Chuẩn REST sử dụng các phƣơng thức của HTTP nhƣ POST, GET, PUT và DELETE cho bốn toán tử cơ bản (tạo, đọc, cập nhật và xóa) cho tất cả dữ liệu. 22 3.3.5. Tính nhất quán cuối cùng. CouchDB đảm bảo tính nhất quán cuối cùng: ● Mỗi tài liệu tự nó đã đảm bảo tính đầy đủ ● Mỗi document đều có một resivion, một version riêng. ● Cơ chế Append-only cho phép ghi trong khi vẫn phục vụ truy vấn đọc.a 3.3.6. Sử dụng Offline CouchDB có thể tạo một bản sao đến các thiết bị (ví dụ nhƣ máy tính xách tay hoặc điện thoại) mà sau đó có thể hoạt động offline và dữ liệu đƣợc đồng bộ khi thiết bị kết nối trở lại. 3.4. Sử dụng CouchDB 3.4.1. Khởi động Mặc định câu lệnh #couchdb là khởi động couchdb.Nhƣng nó chỉ khởi động tiến trình trực tiếp, không khởi động nhƣ một ứng dụng nền vì vậy.Ta dùng cách sau Khởi động couchdb nhƣ 1 tiến trình nền #couchdb -b Tắt couchdb nhƣ một tiền trình nền #couchdb -d Localhost đến Futon:http://localhost:5984/_utils/ 3.4.2. Xử lý truy vấn trong CouchDB CouchDB dùng chuẩn REST với HTTP API nên chỉ có 4 câu lệnh đặc trƣng GET, PUT, DELETE, POST.Dƣới đây là bảng so sánh công dụng tƣơng ứng: Bảng 2:Bảng tƣơng ứng các câu lệnh truy vấn Câu lệnh Tƣơng ứng SQL GET SELECT PUT CREATE hoặc UPDATE DELETE DELETE POST BULK các toán tử 23 3.4.3. Views Định nghĩa Việc sử lý truy vấn đƣợc thực hiện qua một thành phần trong CouchDB gọi là view. Dƣới đây là một thể hiện ví dụ của một views { "_id": "_design/people", "_rev": "6-2b78f1ce2c09d3d703e68ddb5fa7f9bc", "vendor": { "timing": "var timing = {};\ntiming.YearToSeconds = function(years){\n\tvar curDate = new Date();\n\tvar startDate = new Date();\n\tstartDate.setFullYear(curDate.getFullYear() years);\n\treturn (curDate.getTime() - startDate.getTime())/1000;\n}", "couchapp": { "metadata": { "name": "couchapp", "fetch_uri": "git://github.com/couchapp/couchapp.git", "description": "official couchapp vendor" } } }, "language": "javascript", "views": { "ageByYear": { "map": "function(doc) {\n\t//Next line is CouchApp directive\n\tvar timing = {};\ntiming.YearToSeconds = function(years){\n\tvar curDate = new Date();\n\tvar startDate = new 24 Date();\n\tstartDate.setFullYear(curDate.getFullYear() - (curDate.getTime() - startDate.getTime())/1000;\n}\n\n\t\n {\n\t\"age\":\n\t{\n\t\t\"seconds\": doc.age\n\t}\n\t\n\t});\t\n}" years);\n\treturn \temit(doc.name, timing.YearToSeconds(doc.age), \n\t\t\"age\": }, "age": { "map": "function(doc) {\n\temit(doc.name, doc.age); \n}", "reduce": "function(keys, values, rereduce) {\n\treturn sum(values); \n}" }, "recent-items": { "map": "function(doc) {\n if (doc.created_at) {\n var p = doc.profile || {};\n emit(doc.created_at, {\n message:doc.message, \n gravatar_url: p.gravatar_url, \n nickname: p.nickname, \n name: doc.name\n });\n }\n};" } }, "lists": { }, "updates": { }, "_attachments": { "index.html": { "content_type": "text/html", "revpos": 3, "digest": "md5-lScL+LCwuZFHXvbLkTUoHA==", "length": 2307, 25 "stub": true }, "vendor/couchapp/md5.js": { "content_type": "text/x-js", "revpos": 3, "digest": "md5-p777iQdVR/HkNU2OXNRcDA==", "length": 8656, "stub": true }, } } Muốn thực hiện truy vấn, ta chỉ cần gọi tên view với đƣờng dẫn chính xác, có thể thêm các tham số cần thiết là ta có đƣợc truy vấn SQL tƣơng ứng.Ví dụ: #CURL http://localhost:5984/test/_design/people/_view/age Phân loại view cố định và views tạm thời  View cố định: Đƣợc lƣu trữ trong document đặc biệt (design view), có khả năng truy cập qua HTTP qua yêu cầu GET tới URI cố định theo định dạng sau /DBname/docID/viewName  View tạm thời: Không đƣợc lƣu trữ trên database, nhƣng đƣợc thực thi theo tùy loại yêu cầu (temporary view).Để thực thi view này ta cần sử dụng phƣơng thức yêu cầu HTTP - POST tới URI theo định dạng /DBname/temp_view_name, nơi mà phần phân của yêu cầu chứa code của hàm view mà content-type đƣợc thiết đặt đến application/ JSON Ví dụ về view tạm thời #curl -X PUT -d '{"spatial":{"points":"function(doc) {\n if (doc.loc) {\n emit({\n type: \"Point\", \n coordinates: [doc.loc[0], doc.loc[1]]\n }, [doc._id, doc.loc]);\n }};"}}' http://127.0.0.1:5984/geocouch/_design/main 26 Câu lệnh trên tạo view tạm thời cho cơ sở dữ liệu là geocouch với design là main Chú ý: việc sử dụng view tạm thời chỉ hợp lý trong quá trình phát triển, vì các view này đƣợc thực thi lúc nào đƣợc gọi đến, không nhƣ view cố định, dữ liệu đã đƣợc sinh sẵn.Và thời gian để chạy Javascript làm chậm đáng kể việc truy xuất dữ liệu từ database Các thành phần trong views View gồm hai thành phần:Map và reduce.Có chức năng đúng nhƣ tên gọi của nó.Một hàm với chức năng gắn các văn bản với các yêu cầu, mong muốn của ngƣời phát triển với nhau.Một hàm có chắc năng nén dữ liệu a, Map function Ví dụ cơ bản function(doc){ emit(null, doc); } Hàm trên trả về toàn bộ các document trong database mà không trả lại khóa.doc ở đây ám chỉ là toàn bộ document của CouchDB.Hàm emit có chức năng sinh ra dữ liệu với 2 tham số đầu vào là key và values.Giá trị value có thể là một phần tử hoặc là một đối tƣợng. Dƣới đây là một ví dụ chi tiết hơn: function(doc) { emit(doc.name, doc.age); } Hàm này trả về tất cả các giá trị trƣờng age của bản ghi nào có trong cơ sở dữ liệu doc, với khóa là trƣờng name b, Reduce function Đây là một hàm hữu ích của CouchDB.Nó làm tăng hiệu năng rất lớn cho CouchDB.Nó có chức năng thu gọn các kết quả đƣợc trả về từ hàm map hoặc từ chính các hàm reduce khác. 27 Nếu view có sử dụng hàm reduce.Nó có thể sử dụng việc kết hợp các kết quả cho view đó.Hàm reduce chấp nhận các tập nhƣ đầu vào, các kết quả đã đƣợc trả về qua hàm emit 3.4.6. Futon CouchDB cũng cung cấp một ứng dụng web application tên là Futon, là một công cụ quản trị nhƣ phpmyadmin của MySQL, phpMoadmin của mongoDB.Nó cho phép bạn bảo trì cơ sở dữ liệu, kiểm soát. Mặc định CouchDB chiếm cổng 5984 http://127.0.0.1:5984/_utils/ Hình 4: Giao diện Futon 28 và chạy tại địa chỉ Hình 5: Tạo temporary view 3.5. Tìm hiểu phần mở rộng GEO của COUCHDB 3.5.1. GeoCouch là gì GeoCouch là một nhánh của Couchdb và đƣợc viết bởi Volker Mische.Dự án GeoCouch đƣợc lƣu ở github tại địa chỉ https://github.com/couchbase/geocouch.GeoCouch tồn tại dƣới dạng một phần mở rộng của Couchbase(là một cơ sở dữ liệu kết hợp giữa CouchDB và Membase), nhƣng vẫn tƣơng thích tuyệt đối cho các phiên bản couchdb của Apache. Ngoài việc hỗ trợ trợ tất cả tính năng của CouchDB, thì GeoCouch còn hỗ trợ thêm một cách đánh chỉ mục mới, R-tree.Cấu trúc R-tree đƣợc sử dụng bởi rất nhiều cho việc lƣu trữ dữ liệu không gian địa lý bởi vì nó đƣợc tối ƣu tốc độ cho việc tìm kiếm.R-tree đơn giản là tập các ô hoặc mảnh khung hoặc có thể gọi là khoảng không gian.Nó bao gồm các điểm ánh xạ tới các điểm thực sự trong khoảng đó hoặc giữa các khoảng nhỏ hơn với nhau đƣợc bao gồm trong các khoảng lớn hơn.Nó giảm đƣợc số mảnh phải truy vấn, bởi 29 vì các tập dữ liệu thƣờng đƣợc giới hạn thành các tập nhỏ hơn trong các các điểm ánh xạ đƣợc lƣu trữ.GeoCouch cung cấp một cách dễ dàng nhất để xây dựng các ứng dụng liên quan đến không gian một cách đơn giản bao gồm hỗ trợ định dạng vật lý GeoJSON trong CouchDB view. 3.5.2. Cài đặt GeoCouch Mặc định GeoCouch chỉ là một phần mở rộng, tức là nếu muốn dùng phải phải cài đặt riêng. Chúng ta sẽ tải bản geocouch từ github tại địa chỉ sau https://github.com/couchbase/geocouch/ .Tại dây tùy vào phiên bản CouchDB hiện tại ta dùng là phiên bản nào mà ta sẽ chọn nhánh tƣơng ứng đến phiên bản đó.Ở đây trong ví dụ hiện tại ta đang dùng phiên bản CouchDB 1.1.1.Do đó ta sẽ dùng phiên bản sau. https://github.com/couchbase/geocouch/tree/couchdb1.1.x Tải GeoCouch về máy. #git clone https://github.com/couchbase/geocouch.git #cd geocouch Chọn nhánh đúng với phiên bản của CouchDB mình đang dùng #git checkout couchdb1.1.x Tiếp theo ta sẽ tạo biến môi trƣờng CouchDB để biên dịch GeoCouch #export COUCH_SRC=/path/to/source/src/couchdb Ở đây sẽ lấy ví dụ ở máy hiện tại thì câu lệnh đúng là: #export COUCH_SRC=/usr/lib64/couchdb/erlang/lib/couch-1.1.1/include/ Sau đó ta chạy lệnh make #make Sau khi biên dịch xong thì ta sẽ tiến hành copy file cấu hình từ trong thƣ mục geocouch sang thƣ mục cấu hình của couchdb #cp etc/couchdb/local.d/geocouch.ini /etc/couchdb/local.d/ Để kiểm tra xem phần cài đặt đã thành công chƣa.Ta sẽ copy các file test vào futon: #cp share/www/script/test/* /usr/local/share/couchdb/www/script/test/ 30 Tạo file test và add nội dung #vi /usr/local/share/couchdb/www/script/couch_tests.js #loadTest("spatial.js"); loadTest("list_spatial.js"); loadTest("etags_spatial.js"); loadTest("multiple_spatial_rows.js"); loadTest("spatial_compaction.js"); loadTest("spatial_design_docs.js"); loadTest("spatial_bugfixes.js"); Việc cuối cùng để có thể tiến hành chạy GeoCouch là xuất biến chạy cho nó(lƣu ý.nên xuất biến này cùng với khởi động hệ điều hành, không có biến này, CouchDB và GeoCouch sẽ gặp lỗi) #export ERL_FLAGS="-pa /build" #export ERL_FLAGS="-pa /home/tuandung/KLTN/Data-KLTN/geocouch/build/" 3.5.3. Kết nối NodeJs và GeoCouch Nhƣ đã nói ở chƣơng trƣớc.Để có thể kết nối đƣợc NodeJS với CouchDB thì ta phải dùng một module có tên là Cradle.Tuy nhiên, mặc định cradle không hỗ trợ kiểu views spatial.Ta phải dùng một nhánh khác của Cradle do thompson viết, có đầy đủ có chức năng của module Cradle và ngoài ra có thêm việc hỗ trợ GeoCouch. Địa chỉ download tại đây: https://github.com/dthompson/cradle và chọn nhánh thứ 2. #git clone https://github.com/dthompson/cradle.git #cd cradle #git checkout add_spatial_support Mặc định trong thƣ mục down về chỉ có code mà chƣa có các module đi kèm.Để tải dùng lệnh sau #npm install -d 3.5.4. Sử dụng GeoCouch Trƣớc tiên ta sẽ tạo cơ sở dữ liệu 31 #curl -X PUT http://127.0.0.1:5984/geocouch Tiếp theo là nhập dữ liệu.ví dụ về dữ liệu tại địa chỉ: https://github.com/dthompson/example_geocouch_data Tải thƣ mục về và chạy file import.js dữ liệu. Vậy là ta đã có cơ sở dữ liệu và dữ liệu để test.Bây giờ là tạo một design document.Có hai cách để tạo.Một là tạo trực tiếp, cách hai là tạo bằng futon. Cách một Sau khi chạy xong thì ta sẽ tạo ra 1 request để kiểm tra. #curl -X PUT -d '{"spatial":{"points":"function(doc) {\n emit({\n type: \"Point\", \n }, [doc._id, doc.loc]);\n }};"}}' if (doc.loc) {\n coordinates: [doc.loc[0], doc.loc[1]]\n http://127.0.0.1:5984/geocouch/_design/main Khá dài dòng và không thân thiện, nhƣng chỉ với một câu lệnh thì ta đã thành công trong một bƣớc tạo design.Trong câu lệnh này ta đã add cả hàm map vào trực tiếp vào câu lệnh.Mặc định spatial view không có hỗ trợ hàm reduce, chỉ có hàm map Cách hai Dùng couchapp.Ta tạo thêm thƣ mục spatial.Trong thƣ mục đó tạo 1 file tên là point.js.Ở đây tên file chính là design document.Và nội dung trong file đó chính là hàm map tƣơng ứng với câu lệnh ở cách 1.Cuối cùng là ta chỉ cần push lên là xong. #couchapp push geocouch Ta có thể thấy, dùng cách hai đơn giản hơn nhiều cách 1. Cuối cùng là ta sẽ tạo ra một request để truy vấn. #curl -X GET 'http://localhost:5984/geocouch/_design/main/_spatial/points?bbox=0, 0, 180, 90' 32 Chƣơng 4 ỨNG DỤNG MAPCHAT Trong chƣơng này tôi sẽ làm một ứng dụng cho phép ngƣời dùng tƣơng tác với nhau bằng các đoạn chat thời gian thực trong khi vẫn gắn vị trí hiện thời của họ trên bản đồ.Ứng dụng đó có tên là mapchat.Cách vận hành và bản chất của chƣơng trình này giống với trang www.mapchat.im .Ứng dụng sẽ sử dụng Google Maps để hiển thị bản đồ và đánh dấu vị trí ngƣời dùng.NodeJS chạy các ứng dụng thời gian thực hoặc theo sự kiện rất tốt,trong khi CouchDB thì có nhiệm vụ lƣu lịch sử các đoạn chat. 4.1. ExpressJS ExpressJs là một framework trong NodeJS với việc hỗ trợ khá nhiều tiện ích cho nodeJS Lệnh cài đặt : #npm install express Để khởi tạo một http server với ExpressJS ta chỉ cần thêm vài dòng code sau : var express = require('express') ; var app = express.createServer(); app.get('/', routes.index); app.listen(3000); Đoạn mã trên nói nói rằng khi vào trang chủ (tức /) thì sẽ chuyển đến file index.js và đƣợc lắng nghe trên cổng 3000. Việc tiếp theo là ta sẽ cấu hình server để chuẩn bị cho chƣơng trình.Ta sẽ đặt cho views,tức các file để dành cho việc hiển thị đƣợc đặt trong thƣ mục /views với kiểu file là ejs.Các file trình bày CSS đƣợc dùng theo định dạng stylus, tức là có thể dùng đƣợc theo 2 dạng abc.stylus hoặc abc.css.Và cuối cùng là các file static,các file chứa js tĩnh đƣa về phía trình duyệt, các file ảnh hay file css sẽ đƣợc lƣu trong thƣ mục /public.Dƣới đây là đoạn mã thực hiện : app.configure(function(){ app.set('views', __dirname + '/views'); app.set('view engine', 'ejs'); 33 app.use(express.bodyParser()); app.use(express.methodOverride()); app.use(require('stylus').middleware({ src: __dirname + '/public' })); app.use(app.router); app.use(express.static(__dirname + '/public')); }); 4.2. SocketIO Socket.io là một module trong NodeJS.Nó cung cấp một tập các thƣ viện (API) cho các ứng dụng để điểu kiển các thông điệp giữa client và server.Nó tự động sử dụng kiểu kết nối tốt nhất có thể đƣợc để liên lạc giữa client và server.Các kết nối đó bao gồm websockets, flash proxy,XHR-long và một vài cách kết nối khác.Nó cũng bao gồm các thƣ việc con khác với chức năng phụ trợ cho nó ví dụ nhƣ now.js để đồng bộ thời gian giữa client và server.Socket.io tự nó tạo ra các chuẩn dữ liệu để chuyển qua lại dữ liệu giữa nhiều ngôn ngữ khác nhau Để cài đặt Socket.io ta có thể dùng trình quản lý gói của Nodejs - NPM : #npm install socket.io Để khai báo module và khởi tạo server thì đầu tiên server phải khởi động một sự kiện lắng nghe đƣợc quản lý bởi socket.io thay vì http nhƣ thƣờng lệ var io = require('socket.io); var socket = io.listen(app); Module socket.io hoạt động theo đúng mô hình socket client-server tức là việc giữa 2 bên tạo ra các sự kiện và tiến hành bắt sự kiện khi có hành động tƣơng ứng.Dƣới đây là code ví dụ về phía server socket.on('connection',function(client){ socket.send({message : "abc"}); }); 34 4.3. Cài đặt project 4.3.1. Phần Chatting Phía server có 2 sự kiện nhận: register : Ngƣời dùng sẽ đăng kí tên đến server và server sẽ lƣu tên ngƣời dùng. message: Khi có thông điệp (message) từ client đến,server sẽ nhận thông điệp,gán tên ngƣời dùng đã gửi và sau đó gửi lan truyền cho tất cả số ngƣời đang chat đều nhận đƣợc thông điệp. Đây là đoạn mã : client.on('message',function(data){ //phan chatting var username = 'noname'; console.log("User " + client.id + " send " + data); client.get('username', function (err, name) { console.log('Chat message by ', name); console.log('error ', err); username = name; }); client.broadcast.emit('updateStatus',{ message : data, user: username }); }); //server nhan duoc ten nguoi dung vao chat client.on('register',function(name){ 35 client.set('username', name); }) Phía client thì có một sự kiện: Nếu server gửi dữ liệu broadcast về client thì nó sẽ updateStatus vào log chat Chi tiết đoạn mã function updateStatus(user,message){ var status = $('#status'); var result = ' ' + user + ' : '+ message + ' '; status.append(result); } socket.on('updateStatus',function(data){updateStatus(data.user,data.message);}) 4.3.2 Phần map Ứng dụng của chúng ta dùng HTML5 để định vị vị trí ngƣời dùng.Mặc định khi vào trang web thì client sẽ load toàn bộ phần bản đồ và thiết đặt vị trí ngƣời dùng. Để tự động tải khi load trang ta thêm vào thẻ body nhƣ sau : Ứng dụng của chúng ta sẽ định vị bằng GPS.Nếu trình duyệt hoăc thiết bị có hỗ trợ dùng HTML5 để xác định vị trí ngƣời dùng thì sẽ trả về vị trí ngƣời dùng và sau đó tạo marker vị trí ngƣời dùng đó.Chi tiết hàm loadMap: function loadMap(){ //Neu trinh duyet ho tro dinh vi vi tri nguoi dung if(navigator.geolocation) { navigator.geolocation.getCurrentPosition(getPosition); } //neu khong,tra ve vi tri mac dinh else{ var myLatlng = new google.maps.LatLng(40.334, -103.644); var yourOption = { 36 zoom : 8, center : myLatlng, mapTypeId : google.maps.MapTypeId.ROADMAP }; map = new google.maps.Map(document.getElementById("map"),yourOption); } } Hàm getPosition thực hiện việc sử lý sau khi đã nhận tham số truyền vào là tọa độ điểm vị trí của ngƣời dùng : function getPosition(position){ var lat = position.coords.latitude, lng = position.coords.longitude; var yourPoint = new google.maps.LatLng(lat, lng ), yourOption = { zoom: 10, center: yourPoint, mapTypeId: google.maps.MapTypeId.ROADMAP }; //tao ban do mapPos = document.getElementById("map"); map = new google.maps.Map(mapPos,yourOption); //danh dau vi tri cua ban marker = new google.maps.Marker({ position: yourPoint, map: map, title: "You are here" }); } Sau khi xong thì ta bắt đầu chạy project : 37 #node app.js Sau khi đăng nhập trình duyệt theo địa chỉ http://localhost:3000 thì ta có kết quả nhƣ sau Hình 4: Ứng dụng mapchat 38 KẾT LUẬN Kết quả đạt đƣợc của khóa luận Khóa luận đã đƣa ra một cái nhìn tổng quát về xu hƣớng webserver, ngôn ngữ và cơ sở dữ liệu trong tƣơng lai gần.Các bài benmark kết quả đã cho thấy đƣợc hiệu quả rõ ràng so với các giải pháp cũ.Với webserver thì ta có thêm một cách tiếp cận mới so với giải pháp hƣớng luồng cũ.Với cơ sở dữ liệu thì ta có một cách lƣu trữ và tổ chức dữ liệu mới đạt hiệu quả cao mà không thông qua các câu truy vấn cũ. Định hƣớng nghiên cứu tiếp theo Hiện tại tôi mới tìm hiểu sơ qua về các khái niệm, đặc điểm của các giải pháp.Chƣa đi sâu về nghiên cứu việc triển khai nó với các bài toán lớn, cụ thể. Trong giai đoạn tiếp theo tôi sẽ nghiên cứu thêm các ứng dụng nữa của NodeJS đáp ứng đƣợc tốt hơn các giải pháp cũ ngoài các ứng dụng thời gian thực nhƣ mapchat.Còn về NoSQL sẽ nghiên cứu thêm các cơ sở dữ liệu khác nhƣ MongoDB hay Cassandra.Các hệ NoSQL cách lƣu trữ khác theo cách lƣu trữ theo văn bản (document storage) nhƣ Key value, column oriented nhƣ C-store. 39 TÀI LIỆU THAM KHẢO NoSQL ● [1] http://www.pcworld.com.vn/articles/cong-nghe/congnghe/2011/03/1222905/nosql-phan-tan-khong-rang-buoc/ ● [2] http://en.wikipedia.org/wiki/MongoDB ● [3] http://www.10gen.com/what-is-mongodb ● [4] http://en.wikipedia.org/wiki/CouchDB ● [5] http://en.wikipedia.org/wiki/Cassandra ● [6] http://en.wikipedia.org/wiki/Membase ● [7] http://artur.ejsmont.org/blog/content/insert-performance-comparison-of-nosqlvs-sql-servers ● [8] http://www.cubrid.org/blog/dev-platform/nosql-benchmarking ● [9] http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis CouchDB ● [10] http://newtech.about.com/od/databasemanagement/a/Nosql.htm ● [11] http://www.ibm.com/developerworks/opensource/library/oscouchdb/index.html 40
- Xem thêm -

Tài liệu liên quan