Một cách để bắt đầu học Apache Spark dễ hơn
Nếu bạn đang là Fresher Data Engineer và bắt đầu học Apache Spark, có lẽ bạn sẽ sớm gặp một vấn đề: viết được code thì không quá khó, nhưng hiểu Spark thực sự xử lý dữ liệu như thế nào lại là chuyện khác.
Bạn có thể cài PySpark trên máy và chạy local. Đây là cách tốt để bắt đầu. Nhưng khi muốn tìm hiểu sâu hơn, bạn sẽ cần một môi trường để viết code, xem kết quả và quan sát Spark UI. Nếu muốn nhiều người cùng thực hành, việc setup và quản lý môi trường cũng có thể mất khá nhiều thời gian.
Theo mình, có một vài điều nên tập trung khi mới học Spark.
1. Đừng chỉ dừng ở việc viết được code
Ví dụ, bạn viết được đoạn code:
df.groupBy("city").count().show()
Kết quả trả về đúng không có nghĩa là bạn đã hiểu hết cách Spark xử lý dữ liệu.
Khi chạy groupBy, dữ liệu có thể phải shuffle giữa các executor. Khi JOIN hai DataFrame, Spark có thể lựa chọn những chiến lược thực thi khác nhau. Nếu job chạy chậm, Spark UI có thể giúp bạn tìm hiểu Stage nào tốn thời gian, dữ liệu có bị skew hay không và shuffle đang ảnh hưởng thế nào.
Có thể hình dung luồng xử lý đơn giản như sau:
Submit
↓
Spark Driver
↓
Job
↓
Stage
↓
Task
↓
Executors
Những khái niệm này sẽ dễ hiểu hơn nhiều khi bạn tự chạy một job, quan sát quá trình thực thi và thử thay đổi cách xử lý dữ liệu.
2. Nếu đang là Fresher, nên học Spark theo thứ tự nào?
Mình nghĩ có thể bắt đầu với các API cơ bản:
- select, filter, join, groupBy, agg, window
- Đọc và ghi dữ liệu với read/write
Sau đó tìm hiểu các khái niệm cốt lõi:
- Driver, Executor, Job, Stage, Task
- Transformation, Action và Lazy Evaluation
- Partition, Shuffle, Broadcast, Data Skew và Caching
Khi đã quen, hãy tập đọc Spark UI và Execution Plan để hiểu tại sao một job chạy nhanh hoặc chậm.
Không nhất thiết phải học tất cả ngay từ đầu. Mỗi khi gặp một khái niệm mới, hãy thử nghiệm bằng một bài toán nhỏ thay vì chỉ đọc định nghĩa.
Đừng chỉ học cách viết PySpark. Hãy cố gắng hiểu Spark đang làm gì với dữ liệu của bạn.
3. Môi trường thực hành cũng quan trọng
Để học theo cách trên, bạn cần một môi trường đủ thuận tiện để chạy thử nghiệm.
Chạy Spark local là lựa chọn hợp lý khi mới bắt đầu. Nhưng nếu thường xuyên làm việc với Notebook, muốn quan sát Spark UI hoặc chia sẻ môi trường với người khác, bạn có thể cần setup thêm một số thành phần.
Tùy nhu cầu, có thể dùng Jupyter kết hợp với Spark, hoặc tìm hiểu JupyterHub nếu cần quản lý nhiều người dùng. Khi triển khai trên Kubernetes, câu chuyện còn liên quan đến container, tài nguyên, authentication và vòng đời của các kernel.
Những phần này không nhất thiết phải biết ngay khi mới học Spark. Tuy nhiên, khi làm Data Engineer và bắt đầu xây dựng môi trường xử lý dữ liệu cho team, đây cũng là những bài toán bạn có thể gặp.
4. Một project mình xây dựng từ bài toán này
Trong quá trình làm việc với Spark và xây dựng data platform, mình từng cần một môi trường Notebook thuận tiện hơn để thực hành và làm việc, đặc biệt khi có nhiều người cùng sử dụng.
Từ nhu cầu đó, mình phát triển SparkLabX, một project open-source về Apache Spark Notebook, hỗ trợ PySpark, Scala và nhiều cách triển khai khác nhau.
Nếu muốn thử SparkLabX, bạn có thể chọn một trong hai cách:
Cách 1: Đăng ký dùng thử online
Mình có một bản demo SparkLabX để mọi người có thể thực hành Apache Spark mà không cần tự setup môi trường.
Nếu muốn trải nghiệm thử, bạn hãy comment hoặc inbox email để mình cấp quyền truy cập.
Cách 2: Tự triển khai trên máy
Nếu muốn tìm hiểu sâu hơn hoặc tự xây dựng môi trường riêng, bạn có thể cài Git và Docker rồi chạy Quickstart:
Sau khi khởi động thành công, mở http://localhost:3000 trên trình duyệt và sử dụng thông tin đăng nhập được cung cấp trong quá trình chạy.
Ngoài Quickstart, project cũng hỗ trợ Docker Mode và triển khai trên Kubernetes, tùy theo nhu cầu sử dụng.
Mã nguồn: https://github.com/sparklabx/sparklabx
Mình đưa SparkLabX lên open-source để mọi người có thể tham khảo, sử dụng và đóng góp ý kiến. Project vẫn đang được phát triển từ những bài toán mình gặp trong thực tế.
Cuối cùng, mình muốn hỏi các bạn đang học Apache Spark: Phần nào khiến bạn khó khăn nhất khi mới bắt đầu - API, cách Spark thực thi job, hay tối ưu hiệu năng?
Đăng nhận xét