📚 AI Encyclopedia A-Z by VietDBA Academy
KHÓA 2 – MACHINE LEARNING FOUNDATION
MODULE M18
🚀 PRODUCTION AI
Làm sao để AI phục vụ hàng triệu người dùng?
"Huấn luyện mô hình là khoa học. Vận hành AI ở quy mô lớn là kỹ nghệ."
🎯 M18.1 MỤC TIÊU
Sau module này bạn sẽ:
✅ Hiểu Production AI là gì.
✅ Hiểu Model Serving.
✅ Biết AI API hoạt động thế nào.
✅ Hiểu Load Balancing cho AI.
✅ Hiểu Auto Scaling.
✅ Biết kiến trúc AI phục vụ hàng triệu người dùng.
📚 MỤC LỤC
🎬 M18.1 Câu chuyện mở đầu 🏭 M18.2 Production AI là gì? 🧠 M18.3 Model Serving 🌐 M18.4 AI API ⚖️ M18.5 Load Balancer 📦 M18.6 Container ☸️ M18.7 Kubernetes 📈 M18.8 Auto Scaling 🎮 M18.9 GPU Scheduling 🛡️ M18.10 High Availability 🌏 M18.11 Disaster Recovery 📡 M18.12 Case Study Viễn thông 💻 M18.13 Oracle DBA 🏦 M18.14 Banking ⚠️ M18.15 Sai lầm phổ biến 💡 M18.16 Góc AI Platform Architect 🧪 M18.17 Workshop 🧠 M18.18 Mindmap 📋 M18.19 Checklist 🎨 M18.20 Infographic
🎬 M18.1 CÂU CHUYỆN MỞ ĐẦU
🍜 Quán phở nổi tiếng
Có một quán phở.
Nấu cực ngon.
Một ngày.
Có:
20 khách.
↓
Đầu bếp.
Làm được.
Một hôm.
Có.
5.000 khách.
↓
Một đầu bếp.
Không thể.
Nấu kịp.
↓
Khách.
Bỏ về.
↓
Quán.
Thất bại.
ChatGPT.
Claude.
Gemini.
Cũng vậy.
Nếu.
Chỉ có.
Một Server.
↓
Không thể.
Phục vụ.
Hàng triệu người.
🏭 M18.2 PRODUCTION AI LÀ GÌ?
Production AI là giai đoạn đưa mô hình AI vào môi trường vận hành thực tế để phục vụ người dùng hoặc hệ thống khác với các yêu cầu về:
- ⚡ Hiệu năng.
- 🔒 Bảo mật.
- 📈 Khả năng mở rộng.
- 🛡️ Độ sẵn sàng cao.
- 📊 Giám sát.
- 🔄 Cập nhật an toàn.
🧠 M18.3 MODEL SERVING
Sau khi huấn luyện.
Ta có:
model.bin
Làm sao.
Ứng dụng.
Gọi được?
↓
Model Serving.
Có nhiệm vụ:
- Nạp mô hình.
- Nhận yêu cầu.
- Thực hiện suy luận (Inference).
- Trả kết quả.
Application ↓ REST API ↓ AI Model ↓ Prediction
Một số nền tảng phổ biến:
- KServe
- NVIDIA Triton Inference Server
- BentoML
- Seldon Core
🌐 M18.4 AI API
AI.
Không chạy.
Bên trong.
Website.
AI.
Thường chạy.
Thành.
API.
Ví dụ.
Mobile App ↓ API Gateway ↓ AI API ↓ Model ↓ JSON
Nhờ đó:
Một mô hình.
Có thể phục vụ:
- Website.
- Mobile.
- Chatbot.
- CRM.
- Billing.
- Hệ thống OSS/BSS.
⚖️ M18.5 LOAD BALANCER
Một AI Server.
Có giới hạn.
Ví dụ.
100 request/giây.
Nhưng.
Có:
10.000 request/giây.
↓
Một máy.
Không đủ.
↓
Load Balancer.
Phân phối.
Users ↓ Load Balancer ↓ AI-1 AI-2 AI-3 AI-4
Các giải pháp phổ biến:
- NGINX
- HAProxy
- Envoy
- Kong Gateway
📦 M18.6 CONTAINER
Tại sao AI hiện đại.
Đều dùng.
Docker?
Vì.
Model.
Có:
- Python.
- CUDA.
- TensorRT.
- Thư viện AI.
Container giúp đóng gói toàn bộ môi trường chạy để triển khai nhất quán trên nhiều máy chủ.
☸️ M18.7 KUBERNETES
Một AI Production.
Không chạy.
Một Container.
Mà.
Hàng trăm.
Pod.
Kubernetes ↓ Pod ↓ AI ↓ GPU
Kubernetes chịu trách nhiệm:
- Khởi động Pod.
- Tự phục hồi.
- Mở rộng.
- Cân bằng tải.
📈 M18.8 AUTO SCALING
Ban đêm.
100 request.
↓
2 Pod.
Buổi sáng.
20.000 request.
↓
20 Pod.
↓
Auto Scaling.
Có thể mở rộng dựa trên:
- CPU.
- RAM.
- GPU.
- Số lượng request.
- Độ trễ.
🎮 M18.9 GPU SCHEDULING
GPU.
Là.
Tài nguyên.
Đắt nhất.
Không phải.
AI nào.
Cũng cần.
Một GPU riêng.
Các kỹ thuật thường dùng:
- Chia GPU (ví dụ MIG trên một số GPU NVIDIA hỗ trợ).
- Chia sẻ GPU giữa nhiều workload.
- Gán GPU theo mức ưu tiên.
Mục tiêu là sử dụng GPU hiệu quả nhưng vẫn đảm bảo hiệu năng.
🛡️ M18.10 HIGH AVAILABILITY
Nếu.
AI Server.
Chết.
↓
Dịch vụ.
Không được dừng.
Ví dụ.
AI-1 × ↓ Traffic ↓ AI-2 AI-3
Các thành phần cần HA:
- API Gateway.
- Kubernetes Control Plane.
- Model Serving.
- Model Registry.
- Feature Store.
🌏 M18.11 DISASTER RECOVERY
Nếu.
Data Center.
Mất điện.
↓
AI.
Phải.
Tiếp tục.
Chạy.
↓
DR Site.
Một chiến lược DR thường bao gồm:
- Sao lưu mô hình và dữ liệu cấu hình.
- Đồng bộ Model Registry.
- Đồng bộ Feature Store (nếu cần).
- Kiểm thử chuyển đổi định kỳ.
📡 M18.12 CASE STUDY VIỄN THÔNG
AI.
Phân tích.
100 triệu.
Bản ghi mạng.
Mỗi ngày.
Pipeline:
BTS ↓ Kafka ↓ Feature Store ↓ Serving ↓ Dashboard
Yêu cầu:
- Độ trễ thấp.
- Mở rộng ngang.
- Khả năng chịu lỗi.
💻 M18.13 CASE STUDY ORACLE DBA
AI hỗ trợ DBA.
Alert Log ↓ Kafka ↓ AI API ↓ Runbook Engine ↓ Chatbot DBA ↓ Dashboard
Nếu.
Model.
Lỗi.
↓
Rollback.
↓
Version trước.
↓
Không ảnh hưởng.
DBA.
🏦 M18.14 CASE STUDY NGÂN HÀNG
Fraud Detection.
Yêu cầu:
- Phản hồi trong vài trăm mili giây hoặc nhanh hơn (tùy hệ thống).
- Độ sẵn sàng cao.
- Không mất giao dịch.
- Có khả năng mở rộng khi lưu lượng tăng.
⚠️ M18.15 NHỮNG SAI LẦM PHỔ BIẾN
❌ Chỉ có một AI Server.
❌ Không có Load Balancer.
❌ Không theo dõi độ trễ.
❌ Không kiểm tra khả năng mở rộng.
❌ Không chuẩn bị kế hoạch DR.
💡 M18.16 GÓC AI PLATFORM ARCHITECT
Một AI Platform Architect sẽ quan tâm:
- 📊 Bao nhiêu request/giây?
- ⏱️ Mức độ trễ chấp nhận được?
- 💰 Chi phí GPU có hợp lý không?
- 🔄 Cách triển khai phiên bản mới không gián đoạn?
- 📈 Khi lưu lượng tăng gấp 10 lần thì hệ thống phản ứng ra sao?
Họ không chỉ tối ưu mô hình, mà còn tối ưu toàn bộ nền tảng AI.
🧪 M18.17 WORKSHOP
🟢 Lab 1
Thiết kế kiến trúc Production AI cho hệ thống phân tích Alert Log Oracle.
Bao gồm:
- API Gateway.
- Model Serving.
- Kubernetes.
- Monitoring.
- HA.
🟡 Lab 2
Một chatbot AI đang phục vụ 500 request/giây.
Doanh nghiệp dự kiến tăng lên 5.000 request/giây.
Hãy đề xuất:
- Cách mở rộng.
- Thành phần cần bổ sung.
- Chỉ số cần theo dõi.
🔴 Lab 3
Bạn là AI Platform Architect của MobiFone.
Hãy thiết kế kiến trúc AI phục vụ:
- 30 triệu thuê bao.
- Hàng triệu yêu cầu mỗi ngày.
- Triển khai trên OpenShift.
- Có DR tại trung tâm dữ liệu dự phòng.
- Có khả năng cập nhật mô hình không làm gián đoạn dịch vụ.
Giải thích lý do cho từng thành phần trong kiến trúc.
🧠 M18.18 MINDMAP
🚀 Production AI │ ┌─────────────────┼─────────────────┐ │ │ │ Model Serving AI API Load Balancer │ │ │ └─────────────────┼─────────────────┘ │ ☸️ Kubernetes │ ┌─────────────┼─────────────┐ ▼ ▼ 📈 Auto Scaling 🛡️ HA / DR │ ▼ 📊 Monitoring
📋 M18.19 CHECKLIST
- ☐ Tôi hiểu Production AI khác mô hình AI đơn lẻ.
- ☐ Tôi biết vai trò của Model Serving.
- ☐ Tôi hiểu Load Balancer và Auto Scaling.
- ☐ Tôi biết tại sao Kubernetes phù hợp với AI.
- ☐ Tôi có thể phác thảo kiến trúc Production AI cơ bản.
🎨 M18.20 INFOGRAPHIC
┌─────────────────────────────────────────────────────────────┐ │ 🚀 PRODUCTION AI │ ├─────────────────────────────────────────────────────────────┤ │ 👤 User │ │ │ │ │ ▼ │ │ 🌐 API Gateway │ │ │ │ │ ▼ │ │ ⚖️ Load Balancer │ │ │ │ │ ▼ │ │ ☸️ Kubernetes → 🧠 Model Serving │ │ │ │ │ ▼ │ │ 📊 Monitoring → 📈 Auto Scaling │ │ │ │ │ ▼ │ │ 🛡️ High Availability + Disaster Recovery │ └─────────────────────────────────────────────────────────────┘
🎯 Bước ngoặt lớn từ Module M19
Đây là nơi bộ giáo trình bắt đầu đi theo hướng mà rất ít tài liệu tiếng Việt trình bày một cách hệ thống.
Từ M19, chúng ta sẽ bước vào LLM Infrastructure – hạ tầng dành cho các mô hình ngôn ngữ lớn như GPT, Claude, Gemini, Llama và DeepSeek.
Chúng ta sẽ không chỉ học cách sử dụng LLM, mà sẽ hiểu:
- 🧠 Kiến trúc Transformer đã thay đổi AI như thế nào.
- 💬 Prompt đi qua những bước nào trước khi có câu trả lời.
- 🎮 GPU, VRAM, Tensor Parallelism và Pipeline Parallelism được dùng ra sao khi phục vụ mô hình lớn.
- 📚 Vì sao cần RAG, Vector Database và Embedding.
- 🏢 Cách xây dựng hạ tầng LLM doanh nghiệp trên Kubernetes/OpenShift để phục vụ các bài toán như trợ lý Oracle DBA, AI cho viễn thông và AI Enterprise.
Đây sẽ là cầu nối giữa Machine Learning truyền thống và kỷ nguyên Generative AI, phù hợp với mục tiêu xây dựng bộ AI Encyclopedia A–Z by VietDBA Academy dành cho AI Engineer, AI Platform Architect và AI Solution Architect.
TƯ VẤN: Click Here hoặc Hotline/Zalo 090.29.12.888
=============================
Website không chứa bất kỳ quảng cáo nào, mọi đóng góp để duy trì phát triển cho website (donation) xin vui lòng gửi về STK 90.2142.8888 - Ngân hàng Vietcombank Thăng Long - TRAN VAN BINH
=============================
Nếu bạn không muốn bị AI thay thế và tiết kiệm 3-5 NĂM trên con đường trở thành DBA chuyên nghiệp hay làm chủ Database thì hãy đăng ký ngay KHOÁ HỌC ORACLE DATABASE A-Z ENTERPRISE, được Coaching trực tiếp từ tôi với toàn bộ bí kíp thực chiến, thủ tục, quy trình của gần 20 năm kinh nghiệm (mà bạn sẽ KHÔNG THỂ tìm kiếm trên Internet/Google) từ đó giúp bạn dễ dàng quản trị mọi hệ thống Core tại Việt Nam và trên thế giới, đỗ OCP.
- CÁCH ĐĂNG KÝ: Gõ (.) hoặc để lại số điện thoại hoặc inbox https://m.me/tranvanbinh.vn hoặc Hotline/Zalo 090.29.12.888
- Chi tiết tham khảo:
https://bit.ly/oaz_w
=============================
2 khóa học online qua video giúp bạn nhanh chóng có những kiến thức nền tảng về Linux, Oracle, học mọi nơi, chỉ cần có Internet/4G:
- Oracle cơ bản: https://bit.ly/admin_1200
- Linux: https://bit.ly/linux_1200
=============================
KẾT NỐI VỚI CHUYÊN GIA TRẦN VĂN BÌNH:
📧 Mail: binhoracle@gmail.com
☎️ Mobile/Zalo: 0902912888
👨 Facebook: https://www.facebook.com/BinhOracleMaster
👨 Inbox Messenger: https://m.me/101036604657441 (profile)
👨 Fanpage: https://www.facebook.com/tranvanbinh.vn
👨 Inbox Fanpage: https://m.me/tranvanbinh.vn
👨👩 Group FB: https://www.facebook.com/groups/DBAVietNam
👨 Website: https://www.tranvanbinh.vn
👨 Blogger: https://tranvanbinhmaster.blogspot.com
🎬 Youtube: https://www.youtube.com/@binhguru
👨 Tiktok: https://www.tiktok.com/@binhguru
👨 Linkin: https://www.linkedin.com/in/binhoracle
👨 Twitter: https://twitter.com/binhguru
👨 Podcast: https://www.podbean.com/pu/pbblog-eskre-5f82d6
👨 Địa chỉ: Tòa nhà Sun Square - 21 Lê Đức Thọ - Phường Mỹ Đình 1 - Quận Nam Từ Liêm - TP.Hà Nội
=============================
cơ sở dữ liệu, cơ sở dữ liệu quốc gia, database, AI, trí tuệ nhân tạo, artificial intelligence, machine learning, deep learning, LLM, ChatGPT, DeepSeek, Grok, oracle tutorial, học oracle database, Tự học Oracle, Tài liệu Oracle 12c tiếng Việt, Hướng dẫn sử dụng Oracle Database, Oracle SQL cơ bản, Oracle SQL là gì, Khóa học Oracle Hà Nội, Học chứng chỉ Oracle ở đầu, Khóa học Oracle online,sql tutorial, khóa học pl/sql tutorial, học dba, học dba ở việt nam, khóa học dba, khóa học dba sql, tài liệu học dba oracle, Khóa học Oracle online, học oracle sql, học oracle ở đâu tphcm, học oracle bắt đầu từ đâu, học oracle ở hà nội, oracle database tutorial, oracle database 12c, oracle database là gì, oracle database 11g, oracle download, oracle database 19c/21c/23c/23ai, oracle dba tutorial, oracle tunning, sql tunning , oracle 12c, oracle multitenant, Container Databases (CDB), Pluggable Databases (PDB), oracle cloud, oracle security, oracle fga, audit_trail,oracle RAC, ASM, oracle dataguard, oracle goldengate, mview, oracle exadata, oracle oca, oracle ocp, oracle ocm , oracle weblogic, postgresql tutorial, mysql tutorial, mariadb tutorial, ms sql server tutorial, nosql, mongodb tutorial, oci, cloud, middleware tutorial, docker, k8s, micro service, hoc solaris tutorial, hoc linux tutorial, hoc aix tutorial, unix tutorial, securecrt, xshell, mobaxterm, putty
