Báo cáo Tuần 2: ETL Pipeline với PySpark & Apache Iceberg

1. Mục tiêu công việc

• Xây dựng luồng dữ liệu (Data Pipeline) cơ bản bằng PySpark.
• Khai thác dữ liệu từ Data Lake (MinIO).
• Thực hiện làm sạch và chuẩn hoá dữ liệu.
• Lưu trữ dữ liệu ngược lại MinIO dưới định dạng Apache Iceberg (Table) và Parquet (File) phục vụ cho truy vấn và huấn luyện mô hình sau này.

2. Các công việc đã hoàn thành

1. Dọn dẹp & Thiết lập môi trường:

   • Đã cấu hình và sử dụng Docker Compose với 2 dịch vụ chính là minio_storage_week2 và spark_env_week2.
   • Các tệp tin dư thừa đã được xoá bỏ để tập trung vào mục tiêu chính.

2. Quy trình ETL với PySpark (spark_etl.py):

   • Extract: Đọc dữ liệu creditcard.csv từ MinIO sử dụng giao thức s3a (thông qua gói hadoop-aws).
   • Transform:
     • Làm sạch: Loại bỏ các dòng trùng lặp (duplicates) và dòng chứa giá trị Null. Tổng số dòng sau khi làm sạch giảm từ 284.807 xuống 283.726.
     • Chuẩn hóa: Tính toán Mean và Standard Deviation để thực hiện Standard Scaling (thủ công qua phép biến đổi cột) cho 2 trường Time và Amount.
   • Load:
     • Lưu kết quả dưới dạng tệp Parquet vào thư mục processed.
     • Lưu kết quả vào Apache Iceberg Table tại demo.db.creditcard_clean trong thư mục warehouse trên MinIO.

3. Notebook trực quan hoá (Week2_ETL_EDA.ipynb):

   • Đã tạo Notebook chứa toàn bộ mã nguồn các bước trên. Notebook này có thể mở trực tiếp nghiệm thu nghiệm trên Jupyter Lab.

3. Các vấn đề đã giải quyết

• Đã khắc phục lỗi xung đột tên container MinIO trên Docker bằng cách loại bỏ container bị treo và chạy lại với cấu hình chuẩn.
• Đã khắc phục lỗi TABLE_OR_VIEW_NOT_FOUND của Apache Iceberg bằng cách đổi lệnh replace() thành createOrReplace().

4. Kế hoạch tiếp theo

• Thiết lập Apache Airflow DAG (creditcard_dag.py) để chạy script spark_etl.py tự động theo lịch (Sau khi luồng Spark được xác nhận là đạt yêu cầu).