ARFF là định dạng dữ liệu chuyên biệt của Weka, tổ chức dữ liệu theo cấu trúc được qui định là kiểu dữ liệu số, gồm real và integer o nominal: là kiểu dữ liệu danh sách. Cung cấp các mô hình phân loại dữ liệu hoặc hồi quy. Cluster: Cung cấp các mô hình gom cụm. Nhập dữ liệu; Làm sạch dữ liệu; Thao tác khung dữ liệu; Tóm tắt dữ liệu; Xây dựng mô hình hồi quy máy học; Xây dựng đường ống dữ liệu; Link khóa học. Tại đây. R Programming A-Z™: R For Data Science With Real Exercises! Tổng quát. Khóa học về R, học bằng cách thực hành! Bằng cách liên kết dữ liệu của bên thứ nhất cùng với ID do các tổ chức báo chí, truyền thông cung cấp (PPID), trong Google Stack (nền tảng phép bạn quét, lưu trữ và phân loại tài liệu) để xây dựng các phân khúc độc giả lớn hơn. Tối ưu hóa quản lý dữ liệu Xây dựng một chương trình đơn giản để quản lý công chức. Dữ liệu nhập bao gồm: Họ tên, Hệ số lương và số con. Dữ liệu xuất ra màn hình bao gồm Họ tên, Hệ số lương, Số con và Lương tháng ( tính theo quy định của nhà nước = heso*540000). Tổ chức tín dụng bao gồm ngân hàng, tổ chức tín dụng phi ngân hàng, tổ chức tài chính vi mô và quỹ tín dụng nhân dân. 2. Ngân hàng là loại hình tổ chức tín dụng có thể được thực hiện tất cả các hoạt động ngân hàng theo quy định của Luật này. Theo tính chất và Terra-i Vietnam. Bản đồ. Tải dữ liệu địa lý. Báo cáo thực địa theo mẫu phiếu. Thông tin dự án. 2018.01.01. 2018.11.21. Dưới đây là một số công ty và tổ chức sử dụng Hugging Face và các mô hình Transformer, đồng thời đóng góp lại cho cộng đồng bằng cách chia sẻ các mô hình của họ: Theo mặc định, quy trình này chọn một mô hình cụ thể được huấn luyện trước và đã được tinh mXuE. Lựa chọn giữa domain model và meta modelData Model là trái tim của mọi ứng cùng, tất cả mọi thứ đều hướng về dữ liệu Dữ liệu đến từ bàn phím người dùng hoặc từ nguồn bên ngoài, dữ liệu được xử lý theo một số quy tắc nghiệp vụ và cuối cùng dữ liệu được hiển thị cho người dùng hoặc các ứng dụng bên ngoài theo một cách tiện lợi khía cạnh của ứng dụng, mọi chức năng bạn viết đều có dữ liệu liên quan để mang lại ý nghĩa cho toàn bộ hệ vậy, câu hỏi đặt ra ở đây là Các khía cạnh chính của một Data Modeling tốt là gì?Câu trả lời sẽ được giải đáp cụ thể trong bài viết dưới đây, nhưng trước tiên hãy đến với 2 định nghĩaĐịnh nghĩa 1 Data Model là gì?Data Model là một cách để tổ chức dữ liệu của ứng dụng. Bản thân Data Model không phải là dữ liệu, cũng không phải là thiết bị bạn sử dụng để lưu trữ dữ liệu hệ thống cơ sở dữ liệu bạn chọn. Do đó có thể khẳng định như sauBạn có thể lưu trữ cùng một dữ liệu sử dụng các mô hình dữ liệu khác có thể lưu trữ các dữ liệu khác nhau bằng cách sử dụng cùng một mô hình dữ thể chuyển đổi dữ liệu từ mô hình dữ liệu này sang mô hình dữ liệu khác quá trình này thường được gọi là “Migration of Data - Chuyển giao dữ liệu”.Định nghĩa 2 Làm thế nào chúng ta có thể định nghĩa một Data Model tốt?Nói cách khác là làm thế nào chúng ta có thể so sánh các tùy chọn mô hình dữ liệu khác nhau? Hay những khía cạnh nào cần được xem xét?Có 5 khía cạnh liên quan đến một Data Model tốtTính rõ ràng Sự dễ hiểu đối với những người sử dụng. Như bạn có thể đã biết, hầu hết thời gian developers đọc mã thay vì viết, vì vậy chúng ta cần hiểu rõ ràng những gì chúng ta đang làm với dữ liệu của linh hoạt Khả năng phát triển của mô hình mà không cần phải tác động quá lớn đến các đoạn code. Công ty startup mà bạn làm việc đang phát triển, vì vậy các hệ thống sẽ thay đổi và các mô hình dữ liệu đằng sau chúng sẽ cần phải phát triển theo thời suất Đây là một chủ đề rất rộng và bài viết này sẽ không nói về các nhà cung cấp cơ sở dữ liệu database vendorshoặc một số chỉnh sửa kỹ thuật để cải thiện tốc độ đọc và ghi dữ liệu. Cách thức thiết kế data model đúng đắn cũng đem lại lợi ích về hiệu suất. Chúng ta sẽ đi sâu hơn vào khía cạnh này ở phần suất Dưới góc nhìn của lập trình viên developer, chắc hẳn bạn sẽ muốn có một mô hình dữ liệu dễ làm việc mà không cần sử dụng nhiều thời gian định nghĩa về năng suất.Khả năng truy xuất nguồn gốc Cuối cùng, các công ty không chỉ muốn có dữ liệu liên quan đến người dùng của mình mà còn có dữ liệu liên quan đến chính hệ thống. Dữ liệu có thể cung cấp thông tin những gì đã xảy ra trong quá khứ, những giá trị công ty có tại một thời điểm nào cách khác để làm mọi người hài lòng, cần cung cấp Data Model dễ hiểu, dễ mở rộng hoặc thay đổi, có hiệu suất tốt đồng thời tốt cho năng suất của nhà phát triển và với khả năng hiểu biết những gì đã xảy ra trong quá khứCác kỹ thuật lập Data Modeling chínhNhư bạn có thể đoán, bài viết này sẽ đề xuất một cách chung để lập mô hình dữ liệu đáp ứng tất cả các yêu cầu đặt ra. Thực tế sẽ không có bất kỳ cách thức hoàn hảo tuyệt đối nào và câu trả lời chính xác hầu hết thời gian là “” “còn tùy vào rất nhiều yếu tố”, nhưng tôi đã sử dụng kỹ thuật mới này và có vẻ rất hứa hẹn. Nhưng trước tiên, hãy tìm hiểu “cách thông thường” của việc lập mô hình dữ liệu mà chắc hẳn bạn sẽ cảm thấy rất quen hình dữ liệu chuẩn còn gọi là Domain ModelBạn xác định các đối tượng và thuộc tính của chúng dựa trên phạm vi của vấn đề bạn đang giải quyết. Giống như có một loại hộp khác nhau cho mỗi loại đồ vật mà chúng ta muốn cất sử bạn đang phát triển giải pháp phần mềm Meetings. Phạm vi của bạn sẽ trông giống như danh sách sauCuộc họp Với thông tin cơ bản về địa điểm, thời gian, thời lượng và hoạt động như nơi các thực thể còn lại được liệt kê bên dưới hoạt độngCon người Các thành viên của cuộc họp có thể với một số vai trò cụ thể người tổ chức, thư ký, người thuyết trình,...Chủ đề Chương trình cho cuộc họp dưới dạng danh sách các chủ đề với một số thứ tự, mô tả, thời lượng,...Thỏa thuận Kết quả chính của cuộc trò chuyện có thể được gắn thẻ để thuận tiện tìm kiếm sau chú Các cuộc trò chuyện chính bên trong một chủ động Một số trách nhiệm ngắn hạn được giao cho một ràng là loại mô hình này khá rõ ràng vì được định nghĩa giống như cách chúng ta nghĩ về vấn vậy, đầu tiên hãy thực hiện kiểm tra về 5 khía cạnh phân tích thang điểm từ 1 đến 10Sự thông suốt 10 điểm. Có nghĩa là mô hình rất rõ ràng, giống như con người linh hoạt 3 điểm. Yếu tố không thật sự tốt vì với mỗi lĩnh vực mới được yêu cầu, sẽ cần một sự thay đổi về mô suất 6 điểm. Loại mô hình này không có hiệu suất tốt nhất và lý do sẽ được trình bày sau suất 3 điểm. Mỗi bộ sưu tập hoặc bảng sẽ cần phương thức riêng để cập nhật giá trị trong mỗi trường. Điều này không tốt cho năng suất của lập trình viên, trừ khi bạn phát triển một phần mềm trung gian để giao tiếp với cơ sở dữ liệu theo “cách tham số” nhưng điều này cũng không tự nhiên. Chúng tôi sẽ đề xuất một cách tốt hơn để thực hiện điều năng truy xuất nguồn gốc 2 điểm. Loại mô hình này cập nhật các trường dữ liệu ngay lập tức, vì vậy khi địa chỉ thay đổi, địa chỉ cũ sẽ bị mấtCách giải quyết là có một bảng riêng biệt ghi lại tất cả các thay đổi bảng nhật ký nhưng sẽ được tách biệt với phần còn lại của mô cách tiếp cận mô hình hóa tổng hợpCấu trúc của mô hìnhĐề xuất chỉ có một bảng hoặc bộ sưu tập lưu trữ tất cả dữ liệu miền, theo cùng một cấu trúc và không làm mất bất kỳ dữ liệu nào không cập nhật, không xóa. Có 2 ngoại lệ đối với quy tắc này, chúng tôi sẽ đề cập đến chúng ở phần trúc của “universal record” này là_id Định danh duy nhất của thực Tùy chọn Đây cũng là một mã định danh duy nhất của thực thể nhưng được điều khiển bởi một số quy tắc kinh doanh. Ví dụ địa chỉ email phải là duy nhất hoặc mối quan hệ giữa hai thực thể có thể tạo ra một thực thể mới có khóa duy nhất là “entity_id_1 - entity_id_2”.domain Loại thông tin đang lưu trữ. Hầu hết tất cả đều hữu ích cho việc lọc tìm nạp dữ liệu và có tính rõ ràng cho nhà phát triển khi xem cơ sở dữ Trường này có thể gây tranh cãi, nhưng trong một số ứng dụng đã phát triển về khái niệm công ty tổ chức mà người dùng của bạn thuộc về luôn hiện hữu giúp tăng tính rõ ràng của mô hình dữ liệu khi có 1 trường dữ liệu chứa tất cả các domain liên quanMối quan hệ của dữ liệu Bây giờ chúng ta đang suy nghĩ về các mối quan hệ. Hãy cho rằng có một bảng, không có quan hệ rõ ràng nào ở cấp mô hình hoặc có ở cấp dữ liệu. Ở đây, bạn có thể xác định thực thể gốc của thực thể hiện tại, vì vậy khi có quyền truy cập vào thực thể gốc, bạn cũng sẽ có quyền truy cập vào thực thể này. Đây có thể là company_id hoặc user_id cho hầu hết các trường Đây là nơi chứa Dữ liệu thực tế, là một mảng các đối tượng ở dạng {key, value, timestamp}.Trường attrsVới trường này, toàn bộ mô hình thực sự nằm trong trường attrs và mỗi khóa có thể nhiều hơn một lần đối với các mốc thời gian “timestamp” khác nhau.Ví dụ{key name’, value José’,timestamp 1575490495682}.{key name’, value José Manuel’,timestamp 1575490495795}.Cho biết rằng cùng một tên khóa có giá trị 'José' tại timestamp 1575490495682, nhưng sau đó đã đổi thành 'José Manuel' tại 1575490495795. Do dấu thời gian này lớn hơn dấu thời gian trước đó, chúng tôi xem giá trị này là giá trị hiện ra, sẽ luôn có 3 trường đặc biệt bên trong trường attrscompany_id Đã được giải Hoặc người dùng chịu trách nhiệm về việc tạo thực thái Giá trị 1 cho các thực thể đang hoạt động và -1 cho những gì đã xóa mặc dù thực sự không bao giờ xóa một thực thểLưu ý rằng “hình dạng” của thuộc tính giá trị bên trong mỗi thuộc tính có thể thuộc bất kỳ kiểu nào. Nếu chúng ta nghĩ theo thuật ngữ Javascript, chúng ta có thể có Chuỗi, Booleans, Số, Ngày, Mảng, Đối tượng,...Bây giờ, đã đến lúc xem chi tiết từng khía cạnh trong phân tích 5 khía cạnh của Data thông suốtĐây không phải là tính năng lớn nhất của mô hình này, bởi vì mỗi khi bạn nhìn vào một bản ghi, bạn cần phải đi sâu vào bên trong trường attrs. Đây là chi phí chúng tôi phải trả, sự đánh đổi để có được những lợi ích dù sau khi làm việc với mô hình giá trị quan trọng này một thời gian, bạn sẽ “thấy mô hình rất rõ ràng”, nhưng đối với người đọc, thoạt nghe có vẻ khó sẽ nhận một phần thưởng tuyệt vời khi lập mô hình như thế này bằng cách mô tả tất cả mô hình của mình bằng một câu truy vấn. Vì vậy, nếu chúng ta cần có một tài liệu hoặc tốt hơn là một trang web hiển thị các trường "thực" của mỗi thực thể, chúng ta có thể đạt được điều đó rất dễ giờ, hãy xem xét sự linh hoạt của mô hoạtTính linh hoạt được tích hợp trong mô hình meta và đó là khái niệm cốt lõi. Thay vì xác định trước các trường của thực thể cho mỗi phạm vi còn được gọi là “lược đồ”, chúng tôi chỉ xác định cấu trúc chung này có thể chứa bất kỳ lược đồ linh hoạt thực sự mạnh mẽ trong trường hợp nàyHệ thống của bạn cần lưu trữ loại dữ liệu mới tại một thực thể nhất định hoặc có thể là các thực thể mới. Bạn đã biết rằng bất kỳ thực thể nào cũng có thể được mô hình hóa bằng định nghĩa khóa giá trị Key-value đơn giản, vì vậy bạn sẽ không phá vỡ bất kỳ đoạn mã nào bằng cách thực hiện thay đổi này. Vấn đề là mô hình thực sự nằm bên trong dữ liệu, không phải bên trong cơ sở dữ cần thay đổi mối quan hệ giữa các thực thể, có thể có một thực thể phụ thuộc vào người dùng, và bây giờ cần phụ thuộc vào một nhóm người dùng…Đừng lo lắng, bạn chỉ cần cập nhật trường mối quan hệ bằng một truy vấn. Trong trường hợp này, có thể bạn sẽ cần thay đổi mã, nhưng bạn một lần nữa không cần phải thay đổi mô suấtHiệu suất là một lợi ích ít rõ ràng nhất của loại mô hình này. Bạn có thể lập luận rằng mô hình này chiếm nhiều không gian hơn mô hình truyền thống. Nhưng ngày nay việc lưu trữ không phải là một vấn đề vì có nhiều cách thức thực hiện khác nhau với chi phí suất chính không liên quan đến cách lưu trữ khóa giá trị, nhưng với trường dấu thời gian kết hợp với trường mà chúng tôi không bao giờ cập nhật hoặc xóa bất kỳ thứ đó, khi khách hàng đọc từ mô hình này nơi có thể cảm nhận được hiệu suất mô hình không cần phải lấy tất cả các thực thể, cũng như tất cả các trường thực thể mà họ quan tâm, bởi vì họ có thể đã có sẵn thông dụMột số dữ liệu đã được tạo trong cơ sở dữ liệu tại dấu thời gian khách hàng xem ứng dụng yêu cầu một số dữ liệu tại t_1 và máy chủ trả lời bằng dữ liệu mà khách hàng quan tâm chỉ dữ liệu mà module yêu cầu/có quyền truy cập. Sau đó, khách hàng đăng xuất ứng dụng tại dấu thời gian đến, tại dấu thời gian t_2 và t_3, máy chủ nhận dữ liệu mới, cung cấp thông tin đến cho những người dùng khác đã tương tác với ứng sau đó, tại t_4, khách hàng kết nối lại và thay vì xem lại tất cả thông tin cộng thêm thông tin mới, khách hàng chỉ nhận thông tin mới cần thiết, tránh lãng phí khi chuyển lại dữ liệu khách hàng đã có .Quá trình này khá tốt cho hiệu suất. Thay vì điều chỉnh một số chi tiết nhỏ, chúng tôi lược bỏ rất nhiều công việc mỗi khi truy cập cơ sở dữ liệu bằng cách truy vấn Chỉ cần cung cấp cho tôi những dữ liệu từ mốc thời gian này về này không chỉ hoạt động ở cấp thực thể các thực thể mới sẽ được gửi mà còn ở cấp trường chỉ gửi trường mới của các thực thể cũ, giảm dung lượng cần trao đổi về lâu cách khác, chúng tôi đang triển khai một bộ nhớ cache cục bộ, điều đó có thể xảy ra chỉ vì chúng tôi không cập nhật các trường, mà chỉ hướng đến việc bổ sung dữ liệu trường hợp nào chúng ta phá vỡ quy tắc "Chỉ thêm vào - không xóa hay cập nhật dữ liệu"?Có 2 tình huống cần xem xét, đề phòng trường hợp bạn băn khoăn không biết làm thế nào để quản lý1. Trường chỉ là trạng thái, có tính biến động. Giả sử bạn đã gửi thông báo cho người dùng của mình. Người dùng có thể muốn đánh dấu là đã đọc hoặc chưa đọc và có thể thực hiện quá trình này nhiều lần. Vì vậy, không có giá trị thực nào giữ tất cả "lịch sử nhấp chuột", vì bản chất của dữ Trường đại diện cho một thực thể con, ví dụ bạn có thể có một domian gọi là "Kỹ năng" có "điểm" từ 1 đến n. Bạn có thể tạo một domain mới có tên “SkillGrades” nhưng là một thực thể con sẽ đơn giản hơn nếu được lồng vào bên trong domian gốc. Vấn đề là thay vì có nhiều khóa = 'điểm' cho mỗi lần bạn thêm hoặc xóa điểm, bạn chỉ có một khóa = 'điểm' và bạn thêm vào bên cả hai trường hợp, chúng tôi cập nhật timestamp của các trường này trong mỗi lần cập nhật. Vì vậy, timestamp sẽ được công nhận là thông tin mới vào lần tiếp theo khách hàng yêu suấtNếu bạn có 20–30 loại thực thể trong mô hình của mình và không quá khó để đạt được con số này, bạn sẽ cần phải có một số phương thức CRUD Tạo-Đọc-Cập nhật-Xóa cho từng thực thể. Vì vậy, bạn sẽ có khoảng 100 phương pháp được sử dụng trong từng trường chép mã hiện có từ một phương thức, thay đổi tên tệp,, thay đổi nội dung của phương thức, thêm/xóa trường,...Mỗi khi bạn thay đổi các trường của thực thể thì sẽ xảy ra điều gì? Định vị tệp, thay đổi trường, khởi động lại máy chủ…Khi bạn có một mô hình meta, bạn sẽ nhanh chóng nhận ra rằng bạn cần phải xây dựng một số chức năng tiện ích để tương tác. Tuy nhiên sự khác biệt với 100 phương thức được đề cập ở trên là tập hợp các tiện ích nhỏ hơn và không phụ thuộc vào quy mô domain của bạn Dưới đây là một số chức năng nên xem xétcreateEntity Tạo cấu trúc cơ bản và đó là thực thể không tính đến đúng sai giống như tất cả các chức năng khác bên dưới.addAttrsToEntity Chức năng “cập nhật”, cho phép thêm dữ liệu mới vào thực thể mà không làm mất dữ liệu trước Thêm “thông tin quan hệ” của thực thể, để có thể xác định sau này ai có thể truy cập vào các dữ liệu Bằng _id hoặc uniqueKey, bạn nhận được dữ liệu thực Hầu hết thời gian chúng ta chỉ quan tâm đến giá trị cuối cùng hiện tại của mỗi trường, vì vậy chúng ta chuyển một thực thể cho phương thức này và một số khóa để trả về và chúng ta nhận được một đối tượng có giá trị cuối cùng cho mỗi Cho phép trả về các thực thể ở cấp công ty tất cả người dùng đều có quyền truy cập ở cấp người dùng hoặc các cấp khác ví dụ route, tham số truy vấn.Bạn sẽ mong đợi có ít hơn khoảng 50% đến 70% khối lượng mã cần được viết, nhưng cũng ít lỗi hơn do đã được tiêu chuẩn xuất nguồn gốcNếu bạn xóa dữ liệu vật lý hoặc cập nhật dữ liệu tại chỗ cách tiếp cận phổ biến nhất, bạn đang mất khả năng biết những gì đã xảy ra trong quá khứ. Đôi khi đây là những gì bạn thực sự mong muốn ví dụ trong 2 trường hợp đã nêu ở trên nhưng những lúc khác bạn chỉ cảm thấy an toàn biết rằng cơ sở dữ liệu không chỉ lưu giữ dữ liệu có liên quan đến người dùng của bạn mà còn lưu giữ các sự kiện liên quan đến từng phần dữ liệu. Điều này tốt cho các công việc sau này nhưGỡ lỗi debug Bạn có thể "thực sự thấy những gì đã xảy ra"Phân tích Bạn cũng có khái niệm về tình trạng hoạt động của ứng dụng bạn đang xây dựng bằng cách xem cơ sở dữ theo, chúng ta hãy xem xét các con số với cách tiếp cận mớiMeta-Model có những lợi thế rõ ràng trong mỗi chiều, ngoại trừ việc ít rõ ràng hơn mặc dù bạn có thể điều chỉnh ý định của mình theo mô hình này theo thời gian. Lấy hình ảnh chỉ để so sánh 2 phương án, các con số là tùy ý và không dựa trên các nghiên cứu nghiêm điều gì liên quan đến việc sử dụng mô hình này trong Browser?Đây có thể là “phần 2” của bài viết này, nhưng tóm lại, các khía cạnh chính làCó một bản sao cục bộ của dữ liệu nhận được từ máy chủ tại LocalStorage hoặc thậm chí tốt hơn trong IndexedDB. Dữ liệu này chỉ được tận dụng khi có dữ liệu đó, chúng tôi sẽ điền vào một đối tượng một đối tượng JS lớn với tất cả dữ liệu với 2 phép biến đổi1 Chúng tôi sẽ chỉ có giá trị cuối cùng của mỗi trường dấu thời gian sẽ không còn cần thiết2 Thay vì có dữ liệu ở dạng [{key 'name', value 'José}, {key' city ', value' Santiago '}], chúng ta sẽ có dữ liệu giống như {name' José ', thành phố' Santiago '}. Vì vậy, dữ liệu sẽ tự nhiên hơn đối với mô hình tư này rất quan trọng, bởi vì bất kỳ ai cũng đều đang quan tâm đến “khả năng truy cập” vào đoạn mã mà khách hàng cũng có. Khi dữ liệu mới được tạo ra bởi người dùng, bạn sẽ thêm dữ liệu vào đối tượng JS lớn của mình và cũng thực hiện yêu cầu đến máy chủ, vì vậy giao diện người dùng sẽ phản ánh các thay đổi ngay lập cùng nhưng không kém phần quan trọng, việc xây dựng Module quản trị qua Mô hình Meta tạo, xóa, cập nhật dữ liệu mới cũng rất dễ thực hiện. Bạn sẽ dùng ít đoạn mã đặc biệt hơn cho mỗi bộ sưu tập, các đoạn mã bạn viết sẽ có tính nhất quán hơn và chỉ cần ít thành phần UI để viết itnext LOGOChương 2 Cơ Sở Dữ LiệuLớp viênLOGONội dung1Những vấn đề chung về CSDL2Thiết kế CSDL trong hệ thống TTKTLOGOI. Những vấn đề chung về CSDL1. Khái niệmCơ sở dữ liệu là một tập hợp có cấu trúccủa các dữ liệu được lưu trữ có thể thỏamãn đồng thời nhiều người sử Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLThựcthểCá thểThuật ngữQuanhệThuộctìnhTextLOGOI. Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLa Thực thể EntityLà lớp các đối tượng có cùng đặc tính chung mà người tamuốn quản lí thông tin về nóTrong thực tế có nhiều thực thể khác nhau+ Thực thể xác định+ Thực thể chức năng+ Thực thể sự kiện+ Thực thể quan hệLOGOI. Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLb Cá thể InstanceLà một đối tượng cụ thể trong cá thểVD Lớp KT8A1 là một cá thể của thực thể TrườngĐHKTKTCN, bút là một cá thể của thực thể đồdùng học tập...LOGOI. Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLc Thuộc tính AttributeLà đặc trưng riêng của tất cả các đối tượng trong thực thểCác loại thuộc tính phổ biến+ Thuộc tính định danh+ Thuộc tính mô tả+ Thuộc tính quan hệ+ Thuộc tính lặp+ Thuộc tính thứ sinhLOGOI. Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLd Quan hệ Relation- Quan hệ một – mộtVD 1 ổ khóa – 1 chìa khóa- Quan hệ một – nhiềuVD 1 khách hàng – Nhiều mặt hàngQuan hệ nhiều – nhiềuVD sinh viên và môn họcLOGOI. Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLd Quan hệ RelationBậc của quan hệ Chỉ số lượng thực thể tham gia vào quanhệ đó+ Quan hệ bậc 1 là quan hệ của một cá thể với các cá thểkhác cùng một thực thể+ Quan hệ bậc 2 là quan hệ giữa hai thực thể. Đây là quanhệ thường gặp trong thực thể.+ Quan hệ bậc 3 trở lên được gọi là quan hệ bậc cao. Mọiquan hệ bậc cao đều được biến đổi về quan hệ bậc 2LOGOI. Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLd Quan hệ RelationMô hình thực hiện+ Mô hình cơ sở dữ liệu thứ bậc Mô hình chính đầu tiêncó tính thương mại dành cho CSDL lớn LOGOI. Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLd Quan hệ Relation+ Mô hình cơ sở dữ liệu mạng Các báo cáo có thể thiếtlập từ nhiều nguồnLOGOI. Những vấn đề chung về CSDL2. Một số thuật ngữ trong thiết kế CSDLd Quan hệ Relation+ Mô hình cở sở dữ liệu quan hệ Có thêm chức năng chủkhác ~> Dễ hiểu và dễ thực hiện hơnLOGOI. Những vấn đề chung về CSDL3. Tổ chức dữ liệu theo mô hình REALa Cấu trúc mô hình RealGồm các thực thể cần lưu trữ trong mô hình, thuộc tính củathực thể, và mối liên kết giữa các thực thể này. Cấu trúcnày được mô tả về mặt lý luận dựa trên hình thức cấu trúccủa mô hình ER- Thực thể lưu trữ- Sự kiện events- Nguồn lực resources- Tác nhân agents- Vị trí locationsLOGOI. Những vấn đề chung về CSDL3. Tổ chức dữ liệu theo mô hình REALb Mô tả mô hình RealCác kí hiệu cơ bảnTên thực thểTên thuộc tính củathưc thểThuộc tính khóaLOGOI. Những vấn đề chung về CSDL3. Tổ chức dữ liệu theo mô hình REALb Mô tả mô hình RealNguyên tắc chung mô tả mô hình REAL + Nguyên tắc 1 Mỗi thực thể sự kiện phải liên kết ít nhấtmột thể nguồn lực kinh tế+ Nguyên tắc 2 Mỗi thực thể sự kiện phải liên kết ít nhấtmột thể sự kiện khác+ Nguyên tắc 3 Mỗi thực thể sự kiện phải liên kết ít nhấttới hai tác nhân tham giaLOGOI. Những vấn đề chung về CSDL3. Tổ chức dữ liệu theo mô hình REALc Các bước phân tích và xây dựng mô hình REAL- Bước 1 tìm hiểu hoạt động kinh doanh của đơnvị; cácchiến lược, chính sách, và kế hoạch phát triển cùng cácnhu cầu thông tin liên quan hoạt động kinh doanh để cómọi cái nhìn tổng quan về doanh Bước 2 Xem xét quy trình xử lý kinh doanh và xác địnhcác sự kiện quan trọng cần thu thập và lưu trữ thông tinvà trình tự của nó trong quá Bước 3 Phân tích mỗi một sự kiện đã nhận diện ở bước2 để xác minh nguồn lực sự kiện, tác nhân tham gia vàcác vị trí liên quan trong sựkiệnLOGOI. Những vấn đề chung về CSDL3. Tổ chức dữ liệu theo mô hình REALc Các bước phân tích và xây dựng mô hình REAL- Bước 4 Xác định các nhu cầu thông tin cần thu thập và lưutrữ về các nội dung đã được xác nhận ở bước 3. Xác định cácđặc điểm, chính sách liên quan tới các thực thể đã nhận diện ởbước 3 để làm căn cứ xác định các thuộc tính của thực thể vàmối liên kết giữa các thực Bước 5 Vẽ mô hình REAL theo đúng nguyên tắc mô tảLOGOII. Thiết kế CSDL trong HTTTKT1. Yêu cầu của hệ thống thông tin kế toána Yêu cầu cơ bản về thông tin kế toán- Một số yêu cầu cơ bản của thông tin kế toán hiện nay cóthể liệt kê đó là+ Trung thực+ Khách quan+ Đầy đủ+ Kịp thời+ Dễ hiểu+ Có thể so sánhLOGOII. Thiết kế CSDL trong HTTTKT1. Yêu cầu của hệ thống thông tin kế toánb Cơ sở hình thành thông tin kế toán- Thu thập thông tin kế toán ghi nhận ban đầu cácNVKTTC phát sinh thông qua các PP chứng từ kế Xử lý thông tin kế toán Phân loại , sắp xếp, xử lý, hệthống hóa thông tin những thông tin ban đầu qua cácphương pháp kế toán nhằm có được những thông tinphù hợp để ghi nhận vào các loại sổ kế toán, báo cáoliên Phân tích và cung cấp thông tin Phân tích những TTKTđược ghi nhận để có được những số liệu, những thôngtin đáp ứng được yêu cầu của các đối tượng liên Thiết kế CSDL trong HTTTKT1. Yêu cầu của hệ thống thông tin kế toánc Hình thức biểu hiện của thông tin kế toán- Sử dụng các thước đo giá trị, thước đo hiện vật, thướcđo thời gian. Tuy nhiên chủ yếu vẫn là thước đo giá Thiết kế CSDL trong HTTTKT1. Yêu cầu của hệ thống thông tin kế toánd Đánh giá chất lượng của thông tin kế toán- Tùy theo từng nhu cầu và mục tiêu nhất định, cũng nhưcăn cứ vào các Báo cáo kế toán khác nhau mới đánh giáđược chất lượng thông tin kế Tùy từng quy mô, lĩnh vực hoạt động mà yêu cầu cungcấp thông tin cũng khác Để đưa ra quyết định kinh tế phục vụ công tác quản lý,điều hành doanh nhiệp cần thiết và tiên quyết phải dựavào các thông tin kế toán, thông tin thuế của doanhnghiệp => hoạch định việc thu nhận – xử lý và phân tích ,cung cấp thông tin kế toán đáp ứng được vai trò đối vớitừng doanh Thiết kế CSDL trong HTTTKT2. Các bước thiết kế cơ sở dữ liệu trong hệ thống thông tinkế toán- Bước 1 Xác định nhu cầu thông tin- Bước 2 Xác định các thực thể và thuộc tính tương ứng- Bước 3 Xác định mối quan hệ giữa các thực thể- Bước 4 Tạo sơ đồ mối liên hệ thực thể- Bước 5 Chuẩn hóa mối quan hệLOGOCâu hỏi thảo luậnCâu 1 Trình bày khái niệm về CSDLCơ sở dữ liệu là một tập hợp có cấu trúc của các dữ liệuđược lưu trữ có thể thỏa mãn đồng thời nhiều người sửdụng- Với hệ thống thông tin kế toán thông thường xử lý thủcông, dữ liệu được lưu trữ trên giấy và cấu trúc của dữliệu chính là các mẫu chứng từ, sổ sách- Với các hệ thống kế toán dùng máy tính, dữ liệu đượclưu giữ dưới dạng các tệp tin và cấu trúc của dữ liệuchính là cấu trúc của các tập tin cơ sở dữ liệuLOGOCâu hỏi thảo luậnCâu 2 Khái niệm tệp và hệ thống tệp dữ liệu- Bit 1 hoặc 0- Byte- 8 bits số, kýtự , tínhiệu - Trường/ thuộc tính- Nhóm các ký tự được tổ chức nhằm mục đích lưu trữ vàxử lý- Biểu ghi / Thực thể- Nhóm các trường có liên quan tới nhau- Tập DL / Tập thực thể- Một nhóm các biểu ghi có cấu trúc giống nhau- Cơ sở dữ liệu CSDL- Một nhóm các tập dữ liệu có liên quan 1. Ngữ cảnhNgữ cảnh của ứng dụng dựa trên hoạt động của một trang thương mại điện tử. Khi khách hàng thực hiện thanh toán dữ liệu hóa đơn sẽ được lưu trữ tại database Mysql của webapp. Hệ thống sẽ thu thập và xử lý dữ liệu các hóa đơn một cách realtime. Dữ liệu phân tích sẽ được lưu vào 2 nơiData Warehouse Postgres Cung cấp các dữ liệu đã được xử lý phù hợp cho các đội kinh doanh hoặc Business Inteligent xem báo cáo cũng như làm các phân tích đơn Lake Delta Lake Lưu trữ dữ liệu để phục vụ cho đội phân tích dữ liệu của công ty DS, DA, DE phát triển các model Machine Learning, Deep Learning... phục vụ cho doanh Lợi ích mang lạiGiúp đội các đội không có kiến thức nhiều về IT Marketing, Sale... có thể tiếp cận được với dữ liệu của công ty. Từ đó có thể tự xây dụng được các báo cáo hoặc làm các phân tích sâu hơn về dữ liệu của công tyĐảm bảo dữ liệu phân tích realtime nhưng không chiếm tài nguyên của DBLưu trữ và quản lý dữ liệu để hỗ trợ cho nhu cầu phát triển các ứng dụng có sử dụng đến dữ liệu lớnCó thể xử lý dữ liệu với dung lượng lớn nhờ tính scalable của Spark và Dữ liệu đầu vàoDữ liệu đầu vào với cấu trúc như sauOrderspurchaser chứa ID của khách hàng mua sản phẩmquantity Số lượng hàng đặtproduct_id ID của sản phẩm bánorder_number ID của orderTa sẽ sử dụng vòng lặp để mô phỏng dữ liệu trong thực thế được insert vào DB liên tụcCustomerid ID của khách hàngfirst_name Họ của khách hànglast_name Têm khách hàngemail địa chỉ email liên lạcProductsid ID của sản phẩmname tên sản phẩmdescription mô tả sản phẩmweight cân nặng của sản phẩmunit_price đơn giá của sản phẩm 2 Table Products và Customer sẽ được sử dụng để join với table Orders trong bước xử lý bằng Spark để trích xuất các dữ liệu cần Mục tiêuCó thể trả lời được các câu hỏi cơ bản nhưLiệt Kê 10 user chi nhiều nhấtTỉ lệ tiền thu được của các sản phẩm đang kinh doanh chiếm bao nhiêu %Liệt kê số sản phẩm được bán nhiều nhấtSự biến động về giá theo ngàyĐội DE, DS, DA có thể sử dụng jupyter notebook để đọc dữ liệu streaming và thực hiện phân Triển Đọc dữ liệu Kafka, Kafka Connect và Kafka ConnectorKafka Kafka là một công nghệ truyền dữ liệu phân tán distributed messaging system theo mô hình truyền thông public-subscribe, bên truyền dữ liệu được gọi là producer bên subscribe nhận dữ liệu theo các topic được gọi là consumer. Kafka có khả năng truyền một lượng lớn dữ liệu tuy nhiên trong trường hợp khi consumer chưa nhận, dữ liệu vẫn được lưu trữ sao lưu trên queue và cả trên ổ đĩa bảo đảm an Connect Kafka Connect là một thành phần của Kafka, dùng để kết nối Kafka với các hệ thống khác như các database, file system, key-value store... Kafka Connect Cluster sẽ tách biệt với Kafka cluster với mục đích để có thể scale các connector bên trong Connector Kafka Connector được thiết kế để chạy trong Kafka Connect Cluster, thành phần này sẽ được sử dụng để đọc dữ liệu từ các nguồn khác vào kafka topic hoặc đọc dữ liệu từ kafka topic gửi đến các nguồn DebeziumDebezium là một source connector của Kafka Connect có chức năng ghi nhận các sự thay đổi của database Change Data Capture CDC. Với MySQL database, Debezium sẽ đọc được các sự thay đổi này thông qua binlog từ đó giảm thiểu tải lên ngữ cảnh này Debezium sẽ được cài đặt để nhận được các thông tin thay đổi từ bảng orders của database inventory nên để có thể check dữ liệu json nhận được từ consumer ta có thể dùng cách sauPhần dữ liệu thay đổi nhận được từ Debezium sẽ được đặt nằm trong mục “payload" của chuỗi json trả về và nhiệm vụ của ta là xử lý chuỗi dữ liệu này bằng Spark StrimziStrimzi Thay vì cài đặt Kafka trực tiếp qua helm chart và ta sẽ phải tự quản lý về mặt tài nguyên cho từng kafka cluster cũng như kafka-connect ngoài ra cũng như sẽ gặp nhiều khó khăn khi cài đặt các gói library cho kafka-connect. Strimzi là một Custom Operator của Kubernetes sẽ hỗ trợ ta có thể tạo các component của kafka một cách đơn giản bằng các file yaml đồng thời cung cấp cho ta có thể download các library cho connector mà không cần phải build lại kind KafkaConnect metadata name debezium-mysql-connect labels app mysql-debezium-strimzi annotations "true" spec replicas 1 bootstrapServers "simple-connect-kafka-kafka-bootstrap9092" config debezium debezium-mysql-offsets debezium-mysql-configs debezium-mysql-status 2 2 2 true true externalConfiguration volumes - name connect-config secret secretName debezium-mysql-credentials build output type docker image *****/debezium-kafka-connect pushSecret docker-registry-credential plugins - name debezium-connector-mysql artifacts - type tgz url template pod imagePullSecrets - name docker-registry-credential - apiVersion " kind "KafkaConnector" metadata name "inventory-connector" labels app mysql-debe-strim debezium-mysql-connect spec class tasksMax 1 config " "3306" "root" "debezium" "184054" "dbserver1" "inventory" "simple-connect-kafka-kafka-bootstrap9092" " "true" Xử lý dữ liệu với Spark Structure Tổng quan về Spark Structure StreamingApache Spark là một framework mã nguồn mở tính toán cụm. Tốc độ xử lý của Spark có được do việc tính toán được thực hiện cùng lúc trên nhiều máy khác nhau. Đồng thời việc tính toán được thực hiện ở bộ nhớ trong in-memories hay thực hiện hoàn toàn trên bản chất Spark sẽ không xử lý dữ liệu streaming như hình thức của Apache Flink, mà spark sẽ xử lý dữ liệu theo từng micro batch và ta có thể config interval của từng batch sao cho phù hợp. Với việc mỗi micro-batch có thời gian rất nhỏ nên việc spark xử lý dữ dữ liệu gần như streamingNhư hình trên ta có thể thấy dữ liệu streaming sẽ thêm vào một bảng không giới hạn và thời gian của mỗi micro-batch ta có thể tùy chỉnh được. Lấy ví dụ khi thời gian của mỗi micro-batch là 1s ta có thể hiểu spark streaming vận hành theo cách sauSau khi đã có được kết quả của query thì Spark sẽ cần lưu trữ kết quả này vào một nơi lưu trữ nào đó theo 1 trong 3 chế độ sauComplete Spark sẽ lưu lại toàn bộ kết quả xử lý được tính tới thời điểm gần nhấtUpdate Spark sẽ chỉ lưu lại các dữ liệu mới tính tại thời điểm gần nhất. Trong trường hợp không thể thay đổi được dữ liệu ở nơi lưu trữ thì các dữ liệu này sẽ được thêm vào như là một dữ liệu mớiAppend Spark sẽ chỉ lưu lại các dữ liệu mới vào nơi lưu trữ, tính tại thời điểm gần Xử lý dữ liệu orders với SparkNhư đã đề cập tại phần trên, sau khi dữ liệu được debezium lưu vào Kafka. Gói thông tin sẽ nằm trong phần “payload” nên ta sẽ tìm cách trích xuất dữ liệu này{"schema"{"type""struct","fields"[{"type""int32","optional"false,"field""purchaser"},{"type""int32","optional"false,"field""quantity"},{"type""int32","optional"false,"field""product_id"},{"type""string","optional"true,"name"" Để có thể đọc được gói dữ liệu này với Spark thì đầu tiên ta cần khai báo về cấu trúc của gói thông tinorders_schema = StructType[ StructField"purchaser", IntegerType, True, StructField"quantity", IntegerType, True, StructField"product_id", IntegerType, True, StructField"order_time", TimestampType, True, StructField"order_number", StringType, True ] schema = StructType[ StructField'schema', StringType, StructField'payload', orders_schema ] df = \\ .format"kafka" \\ .option" "simp \\ .option"subscribe", " \\ .option"startingOffsets", "latest" \\ .load \\ .select schema.alias"parsed_value" \\ Sau khi có dữ liệu đầu vào ta bắt đầu thực hiện các xử lý cơ bản như join các bảng để lâ với nhau và groupBydef processingdf, batchID ... Thực hiện join 2 bảng Customer và Product với bản Orders và lấy ra các trường thông tin cần thiết joinDF = == "inner" \ .joinproduct_table, == "inner" \ .selectExpr"order_number", "order_time", "email", "purchaser", "name as product_name", "quantity", "unit_price" Tính tổng số tiền của một order calDF = "total_price", * Nhóm email của người dùng với số tiền mà user này đã chi total_spent_DF = \ .aggsum"total_price".alias"total_spent" \ Nhóm tên các sản phẩm theo tổng số lượng đã bán và tổng số tiền nhận được product_DF = \ .aggsum"quantity".alias"products_selled", \ sum"total_price".alias"total_price" Nhóm thời gian và tên sản phẩm theo trung bình đơn giá của sản phẩm product_price = \ .aggavg"unit_price".alias"ave_unit_price" Cuối cùng, sau khi đã hoàn thành các công đoạn xử lý dữ liệu Spark sẽ lưu lại kết quả xử lý vào một nơi lưu trữ khác Postgres và Delta Lake... Lưu lại dữ liệu vào Postgres Database \\ .option"url", "jdbcpostgresql// \\ .option"driver", " \\ .option"dbtable", "ave_product_price" \\ .option"user", "postgres" \\ .option"password", "postgres" \\ .save Lưu dữ liệu vào Delta Lake \\ .option"mergeSchema", "true" \\ .save"s3a//delta-lake/customer-invoice" ... Hiển thị, truy xuất dữ liệuSau khi đã dữ liệu đã được xử lý và được lưu trữ tại Data warehouse và Data Lake thì các đội kinh doanh có thể truy xuất và phân tích dữ liệu realtime qua các tool BI như Tableu, PowerBI hoặc SupersetĐối với các nhóm làm việc với dữ liệu ngoài sử dụng các tool BI thì còn có thể sử dụng Jupyter Notebook để truy xuất dữ liệu trực tiếp từ Delta Lake để tìm hiểu sâu vào dữ liệu3. Referrences Nội dung Text Chuyên đề 2 Tổ chức dữ liệu hệ thống kế toán - Nguyễn Bích Liên LOGO Chuyên đề 2 Tổ chức dữ liệu hệ thống kế toán Nguyễn Bích Liên Ch2. Tổ chức dữ liệu 1 Nguyễn Bích Liên Mục tiêu You can briefl y add outl ine of this slide pa ge in this text box. 1. Hiểu các cách tổ chức dữ liệu kế toán 2. Hiểu nguyên tắc tổ chức dữ liệu & tích hợp dữ liệu theo cấu trúc quan hệ 3. Hiểu các phương pháp mã hóa dữ liệu 4. Ảnh hưởng của tổ chức dữ liệu tới kế toán Ch2. Tổ chức dữ liệu 2 Nguyễn Bích Liên Nội dung Tổ chức dữ liệu kế toán I II Qui trình Xử lý dữ liệu Tích hợp mô hình tổ chức dữ liệu - sơ đồ III REA IV Mã hóa dữ liệu V Thảo luận ảnh hưởng của tổ chức dữ liệu tới hệ thống thông tin kế toán Ch2. Tổ chức dữ liệu 3 Nguyễn Bích Liên I. Tổ chức dữ liệu kế toán 1 Khái niệm tổ chức dữ liệu 2 Các mô hình tổ chức dữ liệu kế toán 3 Tổ chức dữ liệu mô hình E-R- REA Ch2. Tổ chức dữ liệu 4 Nguyễn Bích Liên Khái niệm tổ chức dữ liệu Tổ chức dữ liệu là việc sắp xếp các dữ liệu của hệ thống theo những nguyên tắc nhất định tại các nơi lưu trữ dữ liệu. • Dữ liệu • Cơ sở dữ liệu là tất cả các dữ liệu của một tổ chức hay một phạm vi nào đó được sử dụng trong hệ thống xử lý thông tin của tổ chức hay phạm vi đó Trong môi trường KT bằng tay, dữ liệu được lưu trữ ở đâu? Trong môi trường bằng máy, dữ liệu được lưu ở đâu? Theo nguyên tắc nào? Ch2. Tổ chức dữ liệu 5 Nguyễn Bích Liên Tổ chức dữ liệu  Về mặt logic các dữ liệu trong CSDL được sắp xếp Ký tự -> vùng dữ liệu -> mẩu tin- tập tin dữ liệu -> CSDL Kế toán Kế toán Ví dụ bằng tay bằng máy Ký tự Vùng dữ liệu Tập tin dữ liệu Cơ sở dữ liệu  Các tập tin trong CSDL có quan hệ với nhau theo những nguyên tắc nhất định. Ví dụ ? Ch2. Tổ chức dữ liệu 6 Nguyễn Bích Liên Sự phát triển của kỹ thuật CSDL Mốc Sự kiện Kỹ thuật CSDL trích William 1960s Máy tính lớn Hệ thống tập tin Máy tính như một nơi chứa mainframe các tập tin. 1960s Hệ quản trị CSDL Quản trị CSDL Chuẩn hóa lưu trữ, xử lý và DBMS database management truy cập dữ liệu 1960s Dịch vụ thông tin trực Quản trị văn bản CSDL gồm các văn bản, từ tuyến text managemant tạp chí, báo, hình ảnh, giọng Người sử dụng truy cập qua HT dịch vụ mạng trực tuyến 1970s Hệ chuyên gia expert Suy luận, suy đoán CSDL về các qui luật ra systems quyết định, logic ra quyết định 1970s Lập trình hướng đối tượng 1980s Hypetext systems Tìm kiếm thông qua các kết nối trong CSDL 1990s chức dữ li ệu Ch2. Tổ Intelligent database Kết hợp 7tất cả các Nguyễn Bích Liên systems kỹ thuật trên Các kỹ thuật CSDL trong kế toán Kế toán đã sử dụng các mô hình tổ chức dữ liệu nào? Trong điều kiện ứng dụng CNTT ra sao? Hệ quản trị CSDL Phần mềm ứng dụng & dữ liệu độc lập Hệ quản trị CSDL Phần mềm ứng dụng Hệ thống máy & dữ liệu gắn chặt tinh lớn Tập tin thông thường với nhau; trùng lặp, mainframe không chuẩn hóa . Sử dụng kế Sổ theo thời toán thủ công Mô hình sổ kế toán gian- đối tượng  Tổ chức dữ liệu kế toán thủ công thế nào? Tập trung loại dữ liệu gì? Ch2. Tổ chức dữ liệu 8 Nguyễn Bích Liên Tổ chức tập tin thông thường theo từng ứng dụng Sự kiện A VD đặt hàng  Được sử dụng Đối tượng B Chương trình ứng trong môi trường VD hàng tồn kho dụng 1- ví Dữ liệu lưu trữ dụ bán hàng riêng biệt theo Đối tượng C VD từng ứng dụng. Nhược điểm? Đối tượng B Người VD HTK sử dụng Sự kiện D Chương VD nhập trình ứng kho dụng 2- ví Sự kiện E dụ hàng tồn kho vd xuất kho Ch2. Tổ chức dữ li ệu 9 Nguyễn Bích Liên Tổ chức theo hệ quản trị CSDL Cơ sở dữ liệu Đặc điểm của mô Sự kiện A, đối tượng B, C. Sự kiện D, E, F … hình tổ chức dữ liệu này Module bán Module gửi Module….. hàng hàng …. Ch2. Tổ chức dữ li ệu 10 Nguyễn Bích Liên Hệ quản trị cơ sở dữ liệu Thế nào là hệ quản trị CSDL? Nó thực hiện những công việc gì? Tại sao cần hệ quản trị CSDL? DBMS là phần mềm quản lý dữ liệu. Chức năng Truy vấn dữ Tổ chức dữ liệu Xử lý dữ liệu liệu DQL- DDL- Data DML- data Data Query Description manipulation Language Language language • Tạo thông Định nghĩa cấu • Cập nhật dữ tin, báo cáo trúc CSDL liệu theo yêu • Tên của DL • Sửa dữ liệu cầu người • Kiểu dữ liệu • Nhập dữ liệu sử dụng • Độ dài DL • Trích dữ liệu Ch2. Tổ chức dữ liệu 11 Nguyễn Bích Liên Hệ quản trị Cơ sở dữ liệu CSDL- DBMS Người sử Người sử Người sử dụng 1 dụng 2 dụng 3 DBMS kế DBMS kế DBMS kế toán toán toán Schema or database model Database Ch2. Tổ chức dữ liệu 12 Nguyễn Bích Liên Kiến trúc của Cơ sở dữ liệu Có 3 mức độ kiến trúc của Cơ sở dữ liệu Sử dụng công cụ hỗ trợ mô tả tùy mô Khái niệm CSDL hình cấu trúc dữ Sử dụng CSDL liệu E-R; OMT Báo cáo mong muốn object orientation Thông tin cần hiển thị modeling technique… Mô hình cấu trúc dữ liệu • Hình cây hay gọi là phân cấp • Mạng • Quan hệ • Hướng đối tượng DL lưu trữ thực sự theo cách để có Phương pháp truy cập • Trình tự • Trình tự có chỉ mục indexed sequencial Ch2. Tổ chức dữ liệu • Trực tiếp 13 Nguyễn Bích Liên Mô hình dữ liệu khái niệm mối liên kết thực thể - entities relationship  Mô hình mối liên kết thực thể là công cụ mô tả mối quan hệ giữa các thực thể các đối tượng cần thu thập và lưu trữ thông tin trong CSDL. Mô hình dữ liệu Mối quan Thực thể gì? hệ/liên kết Đối tượng cần thu Thuộc tính của thực giữa các thập và lưu trữ thể tính chất của thực thực thể thông tin thể 11 • Thuộc tính mô tả 1- nhiều • Thuộc tính tên gọi- nhiều - nhiều khóa chính duy nhất Để phân biệt • Thuộc tính liên kết- khóa ngoại Dùng liên kết giữa các tập thực thể. Ch2. Tổ chức dữ liệu 14 Nguyễn Bích Liên Mô hình dữ liệu cấp khái niệm mối liên kết thực thể entities relationship  Ký hiệu Thuộc Thuộc Thuộc Thuộc Thuộc Thuộc tính 1 tính 2 tính … tính 1 tính 2 tính … Thực thể 1 Thực thể 2 Ch2. Tổ chức dữ liệu 15 Nguyễn Bích Liên Mô hình E-R ứng dụng trong kinh tế/kế toán  Trong kinh tế và kế toán, các thực thể entities được phân thành các nhóm theo mô hình REAL • Nguồn lực Resources TS DN sở hữu • Sự kiện Events • Tác nhân/đối tượng tham gia Agents • Vị trí Locations xẩy ra sự kiện, nơi lưu nguồn lực, nơi/vị trí tác nhân Ch2. Tổ chức dữ liệu 16 Nguyễn Bích Liên Mô hình E-R ứng dụng trong kinh tế/kế toán Tác nhân bên Nguồn lực Sự kiện trong Tác nhân bên Vị trí ngoài nếu nếu cần cần Tác nhân bên Nguồn lực Sự kiện trong Tác nhân bên ngoài nếu cần Ch2. Tổ chức dữ liệu 17 Nguyễn Bích Liên Cấu trúc dữ liệu cấp logic – cấu trúc quan hệ - relational structures  Các dữ liệu trong CSDL được lưu trữ dưới dạng bảng dữ liệu 2 chiều cột, dòng KHAÙ CH HAØ NG Costomer Relation M AÕ KH T EÂ KH N ÑÒ CHÆ A SOÁ DÖ 01 Nguy eã Vaê A n n xx xx 300 02 cty TNHH Hoa Huyeàn xx xx 500 BAÙ HAØ N NG Sale Relation SO HÑ Á M AÕ KH NGAØ BAÙ HAØ Y N NG ÑK T HANH T OAÙ N 101 01 15/09 1 102 02 20/9 2 103 01 25/10 1 CHI T I EÁ BAÙ HAØ T N NG Det ail Sale Relation S HÑ OÁ M AÕ HAØ NG SO L Ö NG Á ÔÏ 101 216 100 101 218 200 101 217 150 102 218 420 103 216 300 103 217 200 HAØ NG HOÙ -GI AÙ A VOÁ NgoodsRelation HAØ GÕ T EÂ HAØ M AÕ N N NG HOÙ A ÑÔ GÍA N 216 Vaû luï i a 100,000 217 Vaaû coton i 40,000 218 Vaû boá i 20,000 Ch2. Tổ chức dữ liệu 18 Nguyễn Bích Liên Mô hình E-R ứng dụng trong kinh tế/kế toán  Mối liên kết giữa các thực thể mô tả vấn đề gì? Tập trung vào các khía cạnh hoạt động kinh tế hay tập trung vào ảnh hưởng tới TK kế toán?  Dựa vào đâu xác định các thực thể? Dựa vào đâu xác định các thuộc tính thực thể? Dựa vào đâu xác định mối liên kết giữa các thực thể?  Cách tiếp cận để phân tích HĐ kinh tế nhằm xây dựng mô hình REA? Ch2. Tổ chức dữ liệu 19 Nguyễn Bích Liên Cấu trúc dữ liệu cấp vật lý  Ở cấp độ vật lý, các bảng dữ liệu được lưu trữ trong hình thức các files dữ liệu phù hợp với các kiểu truy cập dữ liệu  Trình tự  Trình tự có chỉ mục  Truy cập trực tiếp  Các files dữ liệu sự kiện gọi các tập tin nghiệp vụ transaction files, các files đối tượng, nguồn lực, vị trí được gọi là tập tin chính master file. Ch2. Tổ chức dữ liệu 20 Nguyễn Bích Liên Tổ Chức Dữ Liệu Theo Mô Hình Real, Tổ Chức Dữ Iệu Theo Mô Hình Real, Tổ Chức Dự Trữ Theo Môn Hình Real, Dự Trữ Theo Mô Hình Real, Hình Thức Thừa Kế Theo Di Chúc Theo Quy Định Của Bộ Luật Dân Sự 2015, Dữ Liệu Real, Mô Hình Real, Luận Văn Về Mô Hình Real, Công Ty Cơ Cấu Theo Mô Hình Chức Năng, Tài Liệu Tham Khảo Về Kế Thừa Theo Di Chúc, Trình Bày Các Bước Vẽ Lưu Đồ, Mô Hình Real, Các Bước Xây Dựng Mô Hình Real, Tổ Chức Chính Quyền Địa Phương Theo Mô Hình Xô Viết, Hình Thức Di Chúc Theo Quy Định Của Bộ Luật Dân Sự Năm 2015, Chuyên Dề Mô Hình Tổ Chức Hd Giá Dục Theo Hướng Trải Nghiệm Cho Trẻ Mn, - Học Liệu Số Trong Dạy Học Là Sách Giáo Khoa,tài Liệu Tham Khảo Điện Tử,trình Chiếu, Hình ảnh,video,âm Thanh,bài Giảng Điện Tử, Thí Nghiệm ảo. - Chức Năng +, Tài Liệu Bồi Dưỡng Theo Chuẩn Chức Danh Nghề Nghiệp, Bien Phap To Chuc Day Hoc Nhom Theo Mo Hinh Truong Hoc Moi Viet Nam, Phân Loại Khách Du Lịch Theo Hình Thức Tổ Chức, Mô Hình Real Cho Chu Trình Bán Hàng Thu Tiền Ngay, Luận Văn Vẽ Mô Hình Real Cho Chu Trình Bán Hàng Thu Tiền, Tài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Giang3 Viên Hạng Iii, Lựa Chọn Sưe Dụng Hình Thức, Phương Pháp Tổ Chức HĐtn, Hn Theo Chủ Đề ở Cấp Thcs, Lựa Chọn Sử Dụng Hình Thức Phương Pháp Tổ Chức HĐtn Hn Theo Chủ Đề ở Thcs, Tài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Nghề Nghiệp Giáo Viên, Lựa Chọn, Sử Dụng Hình Thức, Phương Pháp Tổ Chức HĐtn, Hn Theo Chủ Đề ở Thcs - Hướng Dẫn Làm Bài, Thiết Kế Tiến Trình Dạy Học Theo Mô Hình Lớp Học Đảo Ngược Chương Chất Khí - Vật Lí 10 Loại Tài Liệu, Tài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Nghề Nghiệp Giáo Viên Mầm Non - Hạng Ii, Tài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Nghề Nghiệp Giáo Viên Mầm Non Hạng 2, ài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Nghề Nghiệp Giảng Viên Chính, Tài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Nghề Nghiệp Giảng Viên Chính, Tai Liệu Bồi Dưỡng Theo Chuẩn Chức Danh Nghề Nghiệp Giáo Viên Thpt Hạng 2, Tài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Nghề Nghiệp Gvmn Hạng Ii Năm 2017, Tài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Nghề Nghiệp Giáo Viên Mầm Non Hạng Iii, Nguyễn Tuấn Anh 2011, Hoàn Thiện Tổ Chức Công Tác Kế Toán ở Các TĐkt Việt Nam Theo Mô Hình Ctm - C, Tài Liệu Đề án Kinh Doanh Của Be Fresh– Chuỗi Cửa Hàng Eat Clean Theo Hình Thức ăn Nhanh, Thực Trạng Về Qui Định Của Pháp Luật Về Hình Thức Thừa Kế Theo Di Chúc Theo Quy Định Bộ Luật Dân Sự 2015, Tài Liệu Bồi Dưỡng Theo Tiêu Chuẩn Chức Danh Nghề Nghiệp Giáo Viên Thpt Hạng Iii,

tổ chức dữ liệu theo mô hình real