Thứ Bảy, 1 tháng 8, 2026

M44 📊 LLMOps & AgentOps

📚 AI Encyclopedia A–Z by VietDBA Academy

PHẦN VII – AI PLATFORM ENGINEERING

MODULE M44

📊 LLMOps & AgentOps

Vận hành AI Production quy mô doanh nghiệp

"Một AI chạy được Demo không có nghĩa là có thể chạy Production."

🎯 M44.1 MỤC TIÊU

Sau Module này bạn có thể:

✅ Hiểu LLMOps.

✅ Hiểu AgentOps.

✅ Xây Evaluation Pipeline.

✅ Thiết kế Golden Dataset.

✅ Theo dõi Hallucination.

✅ Theo dõi Cost.

✅ Theo dõi Prompt Drift.

✅ Theo dõi Model Drift.

✅ Theo dõi Agent Drift.

✅ Canary Deployment.

✅ Shadow Deployment.

✅ Rollback.

✅ Online Evaluation.

✅ Offline Evaluation.

✅ AI Incident Response.

✅ Production Monitoring.

📚 MỤC LỤC

🎬 M44.1 Câu chuyện mở đầu

📌 M44.2 LLMOps là gì?

🤖 M44.3 AgentOps

🏗️ M44.4 AI SDLC

📂 M44.5 Model Registry

📝 M44.6 Prompt Registry

📚 M44.7 Dataset Registry

📊 M44.8 Evaluation Pipeline

🥇 M44.9 Golden Dataset

🧪 M44.10 Benchmark

🎯 M44.11 Success Metrics

📈 M44.12 Offline Evaluation

🌍 M44.13 Online Evaluation

⚖️ M44.14 A/B Testing

👤 M44.15 Shadow Deployment

🚀 M44.16 Canary Deployment

↩️ M44.17 Rollback

📉 M44.18 Model Drift

📝 M44.19 Prompt Drift

📚 M44.20 Retrieval Drift

🤖 M44.21 Agent Drift

🧠 M44.22 Memory Drift

🎭 M44.23 Hallucination

🔍 M44.24 Grounding

📜 M44.25 Citation

📊 M44.26 AI Metrics

💰 M44.27 Token Cost

⚡ M44.28 Latency

📈 M44.29 Throughput

🔥 M44.30 GPU Utilization

🧾 M44.31 Trace

🔍 M44.32 Observability

📢 M44.33 Alerting

🛡️ M44.34 Incident Response

💻 M44.35 Oracle AI Monitoring

🐧 M44.36 Linux AI Monitoring

☸️ M44.37 Kubernetes AI Monitoring

📡 M44.38 Telecom AI Monitoring

🏢 M44.39 Enterprise Dashboard

📐 M44.40 Capacity Planning

💡 M44.41 AI Architect

🧪 M44.42 Hands-on Project

🎨 M44.43 Infographic

🏗️ M44.44 Kiến trúc

🧠 M44.45 Mindmap

🧯 M44.46 Failure Injection

✅ M44.47 Acceptance Test

🎬 M44.1 CÂU CHUYỆN MỞ ĐẦU

Ngày đầu triển khai AI:

Người dùng hỏi

↓

AI trả lời

↓

Đúng

↓

Ai cũng vui.

Ba tháng sau:

AI bắt đầu trả lời sai.

↓

Token tăng gấp 4.

↓

GPU luôn đầy.

↓

Prompt bị sửa.

↓

RAG lỗi.

↓

Không ai biết Agent nào gây lỗi.

↓

Không Rollback được.

Đây là lúc doanh nghiệp nhận ra:

AI cũng cần được vận hành như Database, Kubernetes hay Oracle RAC.

📌 M44.2 LLMOps LÀ GÌ?

LLMOps là tập hợp các quy trình và công cụ để phát triển, triển khai, giám sát và cải tiến các ứng dụng sử dụng LLM trong môi trường Production.

Có thể hình dung:

DevOps
        quản lý Application

MLOps
        quản lý Machine Learning

LLMOps
        quản lý LLM

AgentOps
        quản lý AI Agent

🤖 M44.3 AGENTOPS

Nếu LLMOps quản lý mô hình, thì AgentOps quản lý hành vi của Agent.

AgentOps theo dõi:

  • Prompt.
  • Tool Call.
  • Workflow.
  • Memory.
  • Token.
  • Quyết định.
  • Kết quả.
  • Chi phí.
  • Rủi ro.

Ví dụ:

Oracle Agent

↓

Nhận Task

↓

Đọc AWR

↓

Đọc Alert Log

↓

Gọi Tool

↓

Sinh RCA

↓

Lưu Trace

🏗️ M44.4 AI SDLC

Vòng đời AI:

Ý tưởng

↓

Thu thập dữ liệu

↓

Đánh giá dữ liệu

↓

Prompt

↓

Model

↓

Evaluation

↓

Canary

↓

Production

↓

Monitoring

↓

Improve

↓

Retire

Khác với phần mềm truyền thống, AI phải đánh giá dữ liệu, Prompt và mô hình liên tục.

📂 M44.5 MODEL REGISTRY

Model Registry lưu thông tin mọi mô hình đang dùng.

Ví dụ:

Thuộc tínhGiá trị
TênGPT-5.5
Phiên bảnv5.5.2
Nhà cung cấpOpenAI
Ngày triển khai31/07/2026
Trạng tháiProduction
Chủ sở hữuAI Platform Team
Độ chính xác95,4%
Chi phí/tokenTheo hợp đồng

Lợi ích:

  • Biết đang dùng model nào.
  • Rollback nhanh.
  • So sánh phiên bản.

📝 M44.6 PROMPT REGISTRY

Prompt cũng cần quản lý như mã nguồn.

Ví dụ:

Prompt v1

↓

Prompt v2

↓

Prompt v3

Mỗi phiên bản lưu:

  • Mục đích.
  • Người chỉnh sửa.
  • Thời gian.
  • Lý do thay đổi.
  • Kết quả đánh giá.

Không nên sửa Prompt trực tiếp trên Production mà không có quy trình kiểm thử.

📚 M44.7 DATASET REGISTRY

Dataset dùng để:

  • Huấn luyện (nếu có).
  • Đánh giá.
  • Kiểm thử.
  • Benchmark.

Cần lưu:

  • Nguồn dữ liệu.
  • Phiên bản.
  • Thời gian.
  • Phạm vi.
  • Mức độ nhạy cảm.
  • Quyền truy cập.

📊 M44.8 EVALUATION PIPELINE

Mỗi thay đổi cần đi qua:

Prompt mới

↓

Golden Dataset

↓

Offline Test

↓

A/B Test

↓

Canary

↓

Production

↓

Theo dõi

↓

Đánh giá

↓

Triển khai rộng

Không nên cập nhật Prompt hoặc Model trực tiếp lên toàn bộ người dùng.

🥇 M44.9 GOLDEN DATASET

Golden Dataset là bộ câu hỏi và tình huống chuẩn để đánh giá AI.

Ví dụ với Oracle DBA:

  • ORA-00600.
  • Data Guard Apply Lag.
  • RAC Node Eviction.
  • ASM Disk Failure.
  • RMAN Restore.
  • GoldenGate Lag.

Mỗi câu hỏi có:

  • Đáp án chuẩn.
  • Bằng chứng.
  • Tiêu chí chấm điểm.

🧪 M44.10 BENCHMARK

Đánh giá AI theo nhiều tiêu chí:

  • Độ chính xác.
  • Độ đầy đủ.
  • Khả năng dẫn nguồn.
  • Thời gian phản hồi.
  • Chi phí.
  • Mức độ an toàn.

Ví dụ:

Tiêu chíĐiểm
Accuracy94%
Citation98%
Hallucination2%
Latency1.2s
Cost0.015 USD/task

🎯 M44.11 SUCCESS METRICS

Một AI Production nên có KPI rõ ràng:

  • Accuracy.
  • Citation Rate.
  • Hallucination Rate.
  • User Satisfaction.
  • Task Success.
  • MTTR.
  • Token/Task.
  • Cost/Task.
  • P95 Latency.
  • Tool Success Rate.

📈 M44.12 OFFLINE EVALUATION

Thực hiện trên dữ liệu đã biết.

Ưu điểm:

  • An toàn.
  • So sánh dễ.
  • Lặp lại được.

Nhược điểm:

  • Không phản ánh đầy đủ dữ liệu thực tế.

🌍 M44.13 ONLINE EVALUATION

Đánh giá trên dữ liệu thật từ Production.

Ví dụ:

1% người dùng

↓

Prompt mới

↓

Theo dõi

↓

Nếu đạt

↓

Mở rộng

Cần có cơ chế thu hồi nhanh nếu chất lượng giảm.

⚖️ M44.14 A/B TESTING

So sánh hai phiên bản:

50% người dùng

↓

Prompt A
50% người dùng

↓

Prompt B

Đo:

  • Chất lượng.
  • Tỷ lệ hoàn thành.
  • Thời gian.
  • Chi phí.

👤 M44.15 SHADOW DEPLOYMENT

Prompt hoặc Agent mới nhận bản sao yêu cầu nhưng không trả kết quả cho người dùng.

Mục đích:

  • So sánh âm thầm.
  • Không ảnh hưởng người dùng.
  • Thu thập số liệu trước khi thay thế.

🚀 M44.16 CANARY DEPLOYMENT

Triển khai dần:

1%

↓

5%

↓

20%

↓

50%

↓

100%

Nếu KPI giảm ở bất kỳ bước nào:

Rollback

↩️ M44.17 ROLLBACK

Rollback không chỉ là đổi Model.

Cần có khả năng quay lại:

  • Model.
  • Prompt.
  • Workflow.
  • Tool.
  • Policy.

Ví dụ:

Model v2 lỗi

↓

Quay về v1

↓

Khôi phục Prompt v5

↓

Giữ nguyên dữ liệu

📉 M44.18 MODEL DRIFT

Model Drift là hiện tượng hiệu quả mô hình giảm theo thời gian.

Nguyên nhân:

  • Dữ liệu thay đổi.
  • Kiến thức lỗi thời.
  • Quy trình thay đổi.
  • Người dùng thay đổi cách hỏi.

Triệu chứng:

  • Accuracy giảm.
  • Hallucination tăng.
  • Người dùng sửa nhiều hơn.

📝 M44.19 PROMPT DRIFT

Prompt Drift xảy ra khi Prompt bị sửa nhiều lần làm chất lượng giảm.

Ví dụ:

Prompt ban đầu

↓

Thêm yêu cầu

↓

Thêm ví dụ

↓

Thêm ngoại lệ

↓

Prompt dài và khó bảo trì

Giải pháp:

  • Version hóa Prompt.
  • Kiểm thử sau mỗi thay đổi.
  • Loại bỏ Prompt dư thừa.

📚 M44.20 RETRIEVAL DRIFT

RAG có thể suy giảm khi:

  • Tài liệu cũ.
  • Chỉ mục lỗi.
  • Nguồn không còn hiệu lực.

Biểu hiện:

  • AI dẫn nguồn cũ.
  • Trả lời thiếu.
  • Không tìm thấy tài liệu mới.

Cần:

  • Đồng bộ dữ liệu.
  • Làm mới chỉ mục.
  • Đánh giá định kỳ.

(Tiếp tục M44.21 → M44.47 sẽ bao gồm: Agent Drift, Hallucination Detection, Grounding, Citation Validation, AI Metrics, Token/GPU Monitoring, OpenTelemetry Tracing, LangSmith/Phoenix, Oracle AI Monitoring, Telecom Dashboard, Hands-on Project, 2 infographic A4, Failure Injection, Production Checklist và Acceptance Test.)

📌 Sau M44

Lộ trình còn lại của giáo trình sẽ đi vào các chủ đề cấp chuyên gia:

  • M45: Enterprise RAG & Knowledge Engineering
  • M46: AI Security, AI Safety & AI Governance
  • M47: AI Platform Architecture (Cloud Native)
  • M48: Xây dựng AI Enterprise hoàn chỉnh từ A–Z
  • M49: Case Study thực chiến (Oracle, Kubernetes, Telecom, Banking, Government)
  • M50: Đồ án tốt nghiệp – xây dựng nền tảng AI Enterprise hoàn chỉnh theo chuẩn VietDBA Academy

Đến M50, người học sẽ có khả năng tự thiết kế, triển khai và vận hành một nền tảng AI Enterprise quy mô lớn với đầy đủ kiến trúc, quy trình, bảo mật, quản trị, giám sát và đội quân AI Agent.

=============================
TƯ VẤN: Click Here hoặc Hotline/Zalo 090.29.12.888
=============================
Website không chứa bất kỳ quảng cáo nào, mọi đóng góp để duy trì phát triển cho website (donation) xin vui lòng gửi về STK 90.2142.8888 - Ngân hàng Vietcombank Thăng Long - TRAN VAN BINH
=============================
Nếu bạn không muốn bị AI thay thế và tiết kiệm 3-5 NĂM trên con đường trở thành DBA chuyên nghiệp hay làm chủ Database thì hãy đăng ký ngay KHOÁ HỌC ORACLE DATABASE A-Z ENTERPRISE, được Coaching trực tiếp từ tôi với toàn bộ bí kíp thực chiến, thủ tục, quy trình của gần 20 năm kinh nghiệm (mà bạn sẽ KHÔNG THỂ tìm kiếm trên Internet/Google) từ đó giúp bạn dễ dàng quản trị mọi hệ thống Core tại Việt Nam và trên thế giới, đỗ OCP.
- CÁCH ĐĂNG KÝ: Gõ (.) hoặc để lại số điện thoại hoặc inbox https://m.me/tranvanbinh.vn hoặc Hotline/Zalo 090.29.12.888
- Chi tiết tham khảo:
https://bit.ly/oaz_w
=============================
2 khóa học online qua video giúp bạn nhanh chóng có những kiến thức nền tảng về Linux, Oracle, học mọi nơi, chỉ cần có Internet/4G:
- Oracle cơ bản: https://bit.ly/admin_1200
- Linux: https://bit.ly/linux_1200
=============================
KẾT NỐI VỚI CHUYÊN GIA TRẦN VĂN BÌNH:
📧 Mail: binhoracle@gmail.com
☎️ Mobile/Zalo: 0902912888
👨 Facebook: https://www.facebook.com/BinhOracleMaster
👨 Inbox Messenger: https://m.me/101036604657441 (profile)
👨 Fanpage: https://www.facebook.com/tranvanbinh.vn
👨 Inbox Fanpage: https://m.me/tranvanbinh.vn
👨👩 Group FB: https://www.facebook.com/groups/DBAVietNam
👨 Website: https://www.tranvanbinh.vn
👨 Blogger: https://tranvanbinhmaster.blogspot.com
🎬 Youtube: https://www.youtube.com/@binhguru
👨 Tiktok: https://www.tiktok.com/@binhguru
👨 Linkin: https://www.linkedin.com/in/binhoracle
👨 Twitter: https://twitter.com/binhguru
👨 Podcast: https://www.podbean.com/pu/pbblog-eskre-5f82d6
👨 Địa chỉ: Tòa nhà Sun Square - 21 Lê Đức Thọ - Phường Mỹ Đình 1 - Quận Nam Từ Liêm - TP.Hà Nội

=============================
cơ sở dữ liệu, cơ sở dữ liệu quốc gia, database, AI, trí tuệ nhân tạo, artificial intelligence, machine learning, deep learning, LLM, ChatGPT, DeepSeek, Grok, oracle tutorial, học oracle database, Tự học Oracle, Tài liệu Oracle 12c tiếng Việt, Hướng dẫn sử dụng Oracle Database, Oracle SQL cơ bản, Oracle SQL là gì, Khóa học Oracle Hà Nội, Học chứng chỉ Oracle ở đầu, Khóa học Oracle online,sql tutorial, khóa học pl/sql tutorial, học dba, học dba ở việt nam, khóa học dba, khóa học dba sql, tài liệu học dba oracle, Khóa học Oracle online, học oracle sql, học oracle ở đâu tphcm, học oracle bắt đầu từ đâu, học oracle ở hà nội, oracle database tutorial, oracle database 12c, oracle database là gì, oracle database 11g, oracle download, oracle database 19c/21c/23c/23ai, oracle dba tutorial, oracle tunning, sql tunning , oracle 12c, oracle multitenant, Container Databases (CDB), Pluggable Databases (PDB), oracle cloud, oracle security, oracle fga, audit_trail,oracle RAC, ASM, oracle dataguard, oracle goldengate, mview, oracle exadata, oracle oca, oracle ocp, oracle ocm , oracle weblogic, postgresql tutorial, mysql tutorial, mariadb tutorial, ms sql server tutorial, nosql, mongodb tutorial, oci, cloud, middleware tutorial, docker, k8s, micro service, hoc solaris tutorial, hoc linux tutorial, hoc aix tutorial, unix tutorial, securecrt, xshell, mobaxterm, putty
By lúc

ĐỌC NHIỀU
Trần Văn Bình - Oracle Database Master