Full Stack Data Science

Mini-Coursework cho DSAI khoá 9 đòi hỏi mọi người sẽ phải đọc Business Brief từ business team, đọc Data Dictionary từ DE team, hiểu bài toán, hiểu dữ liệu, train ML models, đánh giá models, đánh giá business impact, xây dựng luồng drift detection để kịp thời retrain lại model (lúc này lại dùng kiến thức ở EDAI để xây dựng hạ tầng và hệ thống monitoring và retrain). Lộ trình học bên ĐH UCL cũng thiết kế kiểu combine industry và research như thế này, thế nên không những mình adapt chương trình học mà còn phương pháp giảng dạy nữa luôn :P.

Kiến thức của khoá FSDS đủ để mọi người vừa làm ML và Engineering ở production, vừa có kiến thức nền tảng vững chắc để tiếp tục nghiên cứu chuyên sâu. Khoá mới sẽ khai giảng vào giữa tháng 8, hiện đã hết ưu đãi Early Birds, tuy nhiên các đăng ký bây giờ vẫn có thể được audit khoá đang chạy (coi như mọi người sẽ được học kiến thức 2 khoá luôn).

Có xếp hạng QS World University Rankings 2027 rồi nè cả nhà, anh em tham khảo để chọn trường học Master/PhD cho kỳ sắp tới nha.

Tuy nhiên, đây cũng chỉ là một tiêu chí tham khảo thôi, mọi người nên coi thử các môn mình sẽ học và ai sẽ dạy mình nữa nhé. Ví dụ như hồi trước, mình chọn UCL là vì có nhiều môn được dạy bởi các engineer từ Google DeepMind (như môn Reinforcement Learning và General Intelligence), và chương trình MSc AI & Data Engineering ở đó kết hợp rất tốt giữa research với industry, match đúng với những gì FSDS đang định hướng giảng dạy luôn. Còn nếu mọi người muốn đi theo hướng thuần research (và ở UK) thì có thể tham khảo thêm University of Cambridge hoặc Oxford nha. Hoặc ngay tại UCL cũng có Gatsby Lab và AI Centre rất nổi tiếng về Machine Learning cơ bản và Medical AI để mọi người research sâu. Gatsby Lab cũng chính là nơi khởi đầu của Google DeepMind, và ở UK chỉ mất có 1 năm nếu mọi người học Master ;).

Anh em FSDS nếu cần tư vấn chọn trường hay chọn chương trình học thì cứ thoải mái inbox bọn mình qua Discord nhé!

Hết slots đăng ký sớm FSDS-K11 rồi nha cả nhà! Cảm ơn anh em đã ủng hộ 👀

LMCache hiện đã hỗ trợ GPUDirect Storage (GDS) thông qua cuFile, giúp mọi người có thể offload KV Cache xuống SSD và mang trở lại GPU memory một cách đơn giản hơn rất nhiều, bypass (bỏ qua) hoàn toàn CPU và system memory.

Setup với cái này nhé anh em: --gds-l1-path. Mọi người có thể đọc thêm về GDS ở bài dưới comment nhé. GPU, LLM serving optimization, cache, là những vấn đề quan trọng sẽ được discuss trong khoá Full Stack Data Science khai giảng vào giữa tháng 8 tới.

[THÔNG BÁO] CHÍNH THỨC NHẬN ĐĂNG KÝ SỚM KHÓA FULL STACK DATA SCIENCE (K11)

Nhằm chuẩn bị tốt nhất cho đợt khai giảng vào giữa tháng 8, FSDS chính thức mở cổng đăng ký sớm cho Khóa K11 với 2 học phần chuyên sâu:

Học phần 1: Data Science & AI (DSAI)
Trọng tâm: Đi sâu vào Toán học, Data Science, Modeling và Domain Knowledge.
Mục tiêu: Phục vụ nghiên cứu chuyên sâu hoặc tạo nền tảng vững chắc để tối ưu hóa mô hình trước khi đưa lên Production.

Học phần 2: Engineering for Data & AI (EDAI)
Trọng tâm: Tập trung vào các phương pháp đánh giá, thiết kế hạ tầng và triển khai các hệ thống Data & AI quy mô lớn trên môi trường Production thực tế.

🎁 ƯU ĐÃI ĐĂNG KÝ SỚM (EARLY BIRD):
+ Đăng ký lẻ từng học phần: Nhận ngay ưu đãi lên đến 25% học phí cho từng học phần.
+ Đăng ký Combo (Cả 2 học phần): Ưu đãi 25% cho học phần DSAI và giảm sâu đến 50% cho học phần EDAI.
+ Đặc quyền thêm: Được học Audit ngay khóa đang chạy trong thời gian chờ khai giảng khóa mới.

📌 Số lượng ưu đãi Early Bird có hạn để đảm bảo chất lượng hỗ trợ. Mọi người nhanh tay inbox cho bọn mình để nhận tư vấn lộ trình và giữ slot nhé!

Chi tiết giáo trình mình để dưới comment!

Bức tranh về Governance cho Agent, các công ty chắc sẽ có phòng ban này sớm, hoặc giao luôn cho phòng Data Governance (DG) nhỉ? DG chỗ mọi người triển khai tới đâu rồi?

Note: Hình mình lấy từ một seminar về Governance cho Agent.

LÀM THẾ NÀO ĐỂ LƯỢNG HÓA RỦI RO AI (AI RISK) BẰNG TELEMETRY?

Gần đây mình có tham gia một seminar rất hay về cách Quantify AI Risk để audit hoặc giải trình với các sếp lớn, thế nên mình chia sẻ ở đây để mọi người cùng coi nhé.

1. Telemetry & AI Observability: Ba trụ cột là chưa đủ?
Trong thế giới phần mềm truyền thống, Telemetry là quá trình tự động thu thập và truyền tải dữ liệu hệ thống về trung tâm để phân tích. Chúng ta đã quá quen thuộc với 3 trụ cột (3 pillars) của Observability là: Logs, Metrics, và Traces.

Tuy nhiên, khi bước sang kỷ nguyên của AI/AI Agent, chỉ bấy nhiêu đó là chưa đủ để trả lời cho câu hỏi: "Hệ thống AI này có thực sự an toàn và đáng tin cậy hay không?"

2. Sự trỗi dậy của Governance Telemetry (GT)
Để kiểm soát rủi ro AI, chúng ta cần một khái niệm nâng cao hơn: Governance Telemetry (GT). Đây là dạng telemetry được thu thập ngay tại các "thời điểm quyết định", có khả năng giải trình cao và tuân thủ nghiêm ngặt các quy chuẩn pháp lý.

Để đáp ứng các bộ khung quản trị quốc tế như EU AI Act hay NIST AI RMF, một bộ dữ liệu GT chuẩn chỉnh thường phải đảm bảo 6 tín hiệu (signals) cốt lõi sau:
+ Decision (Quyết định): Mô hình đã đưa ra kết quả gì cho đầu vào (input) cụ thể này?
+ Confidence (Độ tự tin): Mức độ chắc chắn của mô hình đối với kết quả đó là bao nhiêu?
+ Latency (Độ trễ): Thời gian xử lý một lượt suy luận (end-to-end inference) mất bao lâu?
+ Drift (Độ lệch dữ liệu): Phân phối của dữ liệu đầu vào đã thay đổi như thế nào theo thời gian so với dữ liệu huấn luyện?
+ Fairness (Tính công bằng): Kết quả đầu ra có sự thiên vị hay chênh lệch giữa các nhóm đối tượng được bảo vệ (giới tính, sắc tộc...) hay không?
+ Operational Health (Sức khỏe hệ thống): Bản thân hạ tầng kỹ thuật chạy mô hình có đang vận hành ổn định không?

(Mọi người có thể tham khảo ví dụ trực quan về một cấu trúc dữ liệu GT trong ảnh đính kèm nha).

3. Biến GT Data thành điểm số rủi ro đáng tin cậy
Làm sao để biến 6 tín hiệu trên thành điểm số rủi ro? Câu trả lời chính nằm ở Bayesian Inference.

Hiểu đơn giản, chúng ta sử dụng dữ liệu thực tế (GT data) để liên tục cập nhật belief. Mọi người hoàn toàn có thể dùng Conjugate Priors để cập nhật posterior real-time luôn.

Có 2 lưu ý cực kỳ quan trọng khi anh em triển khai chỗ này:
+ Một là, từng yếu tố trong 6 tín hiệu trên phải có một cơ chế chấm điểm (score) riêng biệt.
+ Hai là, dữ liệu trả về từ các môi trường hoặc case học máy khác nhau sẽ có mức độ nghiêm trọng khác nhau. Vì vậy, cần cân nhắc gán trọng số (weights) phù hợp cho từng độ rủi ro này để tính ra điểm số cuối cùng chính xác nhất.

4. Dịch chuyển ngôn ngữ kỹ thuật sang ngôn ngữ của các sếp (Tiền)
Các sếp lớn hoặc stakeholders thường không quá bận tâm đến Bayes, thứ họ quan tâm nhất là Tiền và Thiệt hại.

Để thuyết phục được họ, mọi người có thể nghĩ tới kết hợp Mô phỏng Monte Carlo + Loss function (được thiết kế riêng cho từng signal). Cách tiếp cận này sẽ giúp mọi người quy đổi các chỉ số kỹ thuật thành các con số tài chính trực quan như:
+ Expected Loss (Tổn thất kỳ vọng)
+ Value at Risk - VaR (Giá trị chịu rủi ro tối đa)
+ Tail Conditional Expectation (Tổn thất trong kịch bản tệ nhất)

Bingo! Bằng cách sử dụng Telemetry kết hợp Baysian Inference, mọi người đã xây dựng thành công một hệ thống đánh giá rủi ro AI toàn diện. Giờ thì hoàn toàn tự tin giải trình với các sếp, stakeholders hay các bên luật pháp về lý do tại sao AI của tôi lại đưa ra quyết định này rồi nhé!

Nếu mọi người muốn biết cách implement telemetry hiệu quả thì đừng quên đăng ký học phần EDAI bên FSDS nhé. Cả nhà sẽ được học cách thiết kế và triển khai hệ thống Data & AI một cách bài bản. Mình để giáo trình ở dưới comment như mọi khi cho mọi người tiện tham khảo.

Hai yếu tố rất quan trọng khi làm Data Science trong Marketing có thể nhiều anh em bỏ lỡ:
+ Adstock: khi người dùng thấy ads thì chưa quên nó ngay, mà sẽ còn hiệu ứng lưu giữ kỷ niệm (từ này tôi chém ra thôi, tiếng anh là memory effect). Kỉ niệm này càng kéo dài thì hiệu ứng này càng dễ tan biến, và đồng thời làm delay sales. Hiểu được yếu tố này sẽ giúp mọi người có chiến lược marketing chính xác hơn cho từng loại sản phẩm
+ Saturation: double tiền chạy ads không có nghĩa double sales, hiểu điều này giúp mọi người xác định được trình trạng bão hoà đã xảy ra chưa để quay xe sang cách phương thức chạy ads khác

Đây cũng thuộc nội dung học phần Data Science & AI (DSAI) luôn, điểm qua riêng module 1 mọi người đã có những use-case sau: customer churn, financial analytics, marketing analytics, recsys, time-series forecasting và RCA :D. Giáo trình vẫn ở comment cho anh em tham khảo.

Anh em nào thấy Claude code vẫn yếu lắm không nhỉ, mấy task đơn giản thì ok nhưng phức tạp tí thì hallucination nặng 😅

Công thức dễ hiểu để định giá CLV, để từ đó dễ dàng ra quyết định cho từng phân khúc khách hàng trong marketing analytics: champions, loyal, new, at risk, và lost.