Xây dựng cơ sở dữ liệu
Trong bài lab, khi đã có dữ liệu đầu vào với đường dẫn trên như ở đầu bài lab, chúng ta sẽ cấu hình AWS Glue và Crawler để nó chạy theo lịch mỗi ngày 1 lần. Crawler sẽ quét đường dẫn chứa file Parquet đầu vào, lưu trên S3 rồi thực hiện tạo một database cùng các bảng đi kèm. Khi có một phiên bản mới của report, bảng dữ liệu sẽ được tự động cập nhật.
Amazon Athena giúp chúng ta truy cập và xem nội dung file parquet thông qua mã lệnh SQL. Amazon Athena là một giải pháp phi máy chủ hỗ trợ thực thi lệnh truy vấn SQL trên lượng lớn dữ liệu. Athena chỉ bị tính phi đối với dữ liệu được quét, không giống như giải pháp cơ sở dữ liệu truyền thống.
Các bước cấu hình chi tiết để Amazon Athena có thể truy cập file dữ liệu thông qua AWS Glue như sau:
-
Truy cập vào AWS Management Console
- Tìm AWS Glue
- Chọn AWS Glue
-
Trong giao diện AWS Glue
- Chọn Crawlers
- Chọn Create crawler
- Cấu hình Crawler, nhập Name là
Cost_MasterCrawler. Sau đó, chọn Next
- Chọn Add a data source
- Cấu hình data source
- Chọn S3 path
- Hoàn tất cấu hình data source.
- Sau khi cấu hình data source, chọn Next
- Đối với security, bạn chọn Create new IAM role
- Nhập tên role và chọn Create
- Sau khi tạo role, chọn Next
- Thực hiện thêm database
- Chọn Add database
- Nhập tên database là
costmaster. Chọn Create database
- Hoàn thành tạo database.
- Thêm database thành công và chọn Next
- Kiểm tra và chọn Create crawler
- Hoàn thành tạo crawler.
- Chọn Run crawler
- Mất khoảng 1 phút để khởi tạo run crawler.
- Khởi tạo run crawler
- Run crawler thành công.
- Kiểm tra Table của AWS Glue. Ta thấy có bảng dữ liệu monthly_report
- Xem chi tiết thông tin bảng dữ liệu.
