🎓 AI Tutorial A-Z by VietDBA Academy
📘 KHÓA 2 – MACHINE LEARNING FOUNDATION
MODULE M11
📈 DỮ LIỆU ĐƯỢC CHIA NHƯ THẾ NÀO ĐỂ AI HỌC?
(Train – Validation – Test)
"Không phải cứ có dữ liệu là đưa hết cho AI học."
🎬 M11.1 CÂU CHUYỆN MỞ ĐẦU
📚 Kỳ thi cuối kỳ
Hãy tưởng tượng.
Bạn có:
100 đề toán.
Bạn học.
100 đề.
Đến hôm thi.
Giáo viên.
Đưa đúng.
100 đề.
Bạn.
Được.
100 điểm.
Bạn có thực sự giỏi không?
Không chắc.
Có thể bạn chỉ thuộc lòng.
Nếu.
Giáo viên.
Ra.
100 đề khác.
Bạn chỉ được.
40 điểm.
↓
Đó mới là năng lực thật.
AI cũng vậy.
🎯 M11.2 VÌ SAO PHẢI CHIA DỮ LIỆU?
Đây là sai lầm số một của người mới.
Họ nghĩ.
Có dữ liệu ↓ Cho AI học ↓ Xong
Không.
Nếu AI học hết toàn bộ dữ liệu.
Ta sẽ không biết.
AI có:
📖 Học thật.
Hay.
📒 Học thuộc.
🧠 M11.3 KHÁI NIỆM OVERFITTING
Đây là một trong những khái niệm quan trọng nhất của Machine Learning.
📖 Ví dụ
Một học sinh.
Học thuộc.
Đề năm ngoái.
↓
Đi thi.
Đề giống.
↓
100 điểm.
Năm sau.
Đề khác.
↓
20 điểm.
↓
Học thuộc.
Không phải.
Hiểu.
AI cũng có thể rơi vào tình huống tương tự. Khi mô hình ghi nhớ quá nhiều chi tiết của dữ liệu huấn luyện mà không tổng quát hóa tốt, hiện tượng đó gọi là Overfitting.
🏗️ M11.4 BA TẬP DỮ LIỆU
DATASET │ ┌──────────────┼──────────────┐ │ │ │ TRAIN VALIDATION TEST
📘 TRAIN
Đây là dữ liệu để AI học.
Ví dụ.
80%.
🟡 VALIDATION
Đây là dữ liệu để:
Kiểm tra.
Điều chỉnh.
Trong quá trình phát triển mô hình.
Ví dụ.
10%.
🟢 TEST
Đây là dữ liệu.
AI.
Chưa từng thấy.
↓
Đánh giá cuối cùng.
Ví dụ.
10%.
🎂 M11.5 VÍ DỤ BÁNH KEM
Bạn muốn học.
Làm bánh.
Có:
100 chiếc.
🍰 80 chiếc
Dùng.
Để luyện.
↓
TRAIN.
🎂 10 chiếc
Nhờ thầy.
Nếm.
↓
VALIDATION.
🎉 10 chiếc
Mang.
Đi thi.
↓
TEST.
Nếu ngay cả bánh dùng để luyện cũng đem chấm điểm cuối cùng, bạn sẽ không biết khả năng làm bánh trong tình huống mới.
⚙️ M11.6 PIPELINE
Thu thập dữ liệu ↓ Cleaning ↓ Train ↓ Validation ↓ Điều chỉnh mô hình ↓ Test ↓ Deploy
📊 M11.7 TỶ LỆ CHIA BAO NHIÊU?
Không có một tỷ lệ đúng cho mọi trường hợp.
Một số cách chia phổ biến:
| Dữ liệu | Train | Validation | Test |
|---|---|---|---|
| Lớn | 80% | 10% | 10% |
| Rất lớn | 90% | 5% | 5% |
| Nhỏ | Có thể dùng Cross Validation | Kiểm tra linh hoạt | Đánh giá cuối |
💡 Khi dữ liệu ít, Cross Validation thường giúp tận dụng dữ liệu tốt hơn. Chúng ta sẽ học kỹ ở một module riêng.
⚠️ M11.8 UNDERFITTING vs OVERFITTING
AI │ ┌───────┴────────┐ │ │ Underfitting Overfitting
🔴 Underfitting
AI.
Học.
Chưa đủ.
↓
Sai.
Cả dữ liệu cũ.
Lẫn dữ liệu mới.
🔵 Overfitting
AI.
Học.
Quá kỹ.
↓
Nhớ.
Từng chi tiết.
↓
Gặp dữ liệu mới.
↓
Sai nhiều.
🟢 Mục tiêu
Học vừa đủ để tổng quát hóa tốt trên dữ liệu chưa từng gặp.
🏢 M11.9 CASE STUDY – VIỄN THÔNG
Bài toán:
Dự đoán thuê bao rời mạng.
Có:
10 triệu khách hàng.
Có thể chia:
- 📘 8 triệu → Train.
- 🟡 1 triệu → Validation.
- 🟢 1 triệu → Test.
Sau khi đánh giá trên tập Test, doanh nghiệp mới quyết định có triển khai mô hình hay không.
🏦 CASE STUDY – DBA
Muốn AI.
Đọc.
Alert Log.
Có:
100.000 log.
Chia:
- 80.000 log lịch sử → Train.
- 10.000 log → Validation.
- 10.000 log mới → Test.
Nếu AI chỉ xử lý tốt log cũ mà không xử lý được log mới, mô hình chưa đủ tốt để đưa vào vận hành.
⚠️ M11.10 NHỮNG SAI LẦM THƯỜNG GẶP
❌ Dùng toàn bộ dữ liệu để Train rồi báo Accuracy rất cao.
❌ Để dữ liệu Train và Test bị trùng.
❌ Điều chỉnh mô hình dựa trên tập Test nhiều lần, làm mất ý nghĩa đánh giá độc lập.
❌ Chia dữ liệu mà không xem xét thời gian đối với dữ liệu chuỗi thời gian (time series).
💡 M11.11 GÓC CHUYÊN GIA
Trong doanh nghiệp, một mô hình đạt 99% Accuracy trên dữ liệu huấn luyện không có nhiều ý nghĩa nếu hoạt động kém trên dữ liệu thực tế.
Điều quan trọng là:
- Mô hình có tổng quát hóa tốt không?
- Có ổn định theo thời gian không?
- Có tiếp tục đạt KPI sau khi triển khai không?
🧪 M11.12 MINI LAB
🟢 Lab 1
Bạn có:
- 50.000 ticket hỗ trợ.
- 5.000 ticket đã được chuyên gia phân loại.
Hãy đề xuất cách chia Train, Validation và Test. Giải thích lý do.
🟡 Lab 2
Một hệ thống Oracle có 12 tháng Alert Log.
Bạn sẽ chia dữ liệu theo thời gian hay ngẫu nhiên? Trong trường hợp nào mỗi cách phù hợp hơn?
🔴 Lab 3
Một mô hình đạt:
- Train Accuracy: 99%
- Validation Accuracy: 84%
- Test Accuracy: 82%
Hãy phân tích:
- Mô hình có dấu hiệu gì?
- Bạn sẽ thử những hướng cải thiện nào?
🧠 M11.13 MINDMAP
DATASET │ ┌──────────────┼──────────────┐ │ │ │ 📘 Train 🟡 Validation 🟢 Test │ │ │ Học Điều chỉnh Đánh giá │ ▼ Tránh Overfitting
📋 M11.14 CHECKLIST
- ☐ Tôi hiểu vai trò của Train, Validation và Test.
- ☐ Tôi phân biệt được Overfitting và Underfitting.
- ☐ Tôi biết không nên đánh giá mô hình chỉ bằng kết quả trên tập Train.
- ☐ Tôi biết cách lựa chọn tỷ lệ chia dữ liệu phù hợp với từng bài toán.
- ☐ Tôi hiểu vì sao dữ liệu Test phải độc lập.
🎨 M11.15 INFOGRAPHIC
┌────────────────────────────────────────────────────────────┐ │ 📈 TRAIN – VALIDATION – TEST │ ├────────────────────────────────────────────────────────────┤ │ 📥 Dataset │ │ │ │ │ ▼ │ │ 📘 Train (Học) │ │ │ │ │ ▼ │ │ 🟡 Validation (Điều chỉnh) │ │ │ │ │ ▼ │ │ 🟢 Test (Đánh giá cuối cùng) │ ├────────────────────────────────────────────────────────────┤ │ 🎯 Mục tiêu: Mô hình hoạt động tốt trên dữ liệu mới │ │ ⚠️ Tránh Underfitting và Overfitting │ └────────────────────────────────────────────────────────────┘
TƯ VẤN: Click Here hoặc Hotline/Zalo 090.29.12.888
=============================
Website không chứa bất kỳ quảng cáo nào, mọi đóng góp để duy trì phát triển cho website (donation) xin vui lòng gửi về STK 90.2142.8888 - Ngân hàng Vietcombank Thăng Long - TRAN VAN BINH
=============================
Nếu bạn không muốn bị AI thay thế và tiết kiệm 3-5 NĂM trên con đường trở thành DBA chuyên nghiệp hay làm chủ Database thì hãy đăng ký ngay KHOÁ HỌC ORACLE DATABASE A-Z ENTERPRISE, được Coaching trực tiếp từ tôi với toàn bộ bí kíp thực chiến, thủ tục, quy trình của gần 20 năm kinh nghiệm (mà bạn sẽ KHÔNG THỂ tìm kiếm trên Internet/Google) từ đó giúp bạn dễ dàng quản trị mọi hệ thống Core tại Việt Nam và trên thế giới, đỗ OCP.
- CÁCH ĐĂNG KÝ: Gõ (.) hoặc để lại số điện thoại hoặc inbox https://m.me/tranvanbinh.vn hoặc Hotline/Zalo 090.29.12.888
- Chi tiết tham khảo:
https://bit.ly/oaz_w
=============================
2 khóa học online qua video giúp bạn nhanh chóng có những kiến thức nền tảng về Linux, Oracle, học mọi nơi, chỉ cần có Internet/4G:
- Oracle cơ bản: https://bit.ly/admin_1200
- Linux: https://bit.ly/linux_1200
=============================
KẾT NỐI VỚI CHUYÊN GIA TRẦN VĂN BÌNH:
📧 Mail: binhoracle@gmail.com
☎️ Mobile/Zalo: 0902912888
👨 Facebook: https://www.facebook.com/BinhOracleMaster
👨 Inbox Messenger: https://m.me/101036604657441 (profile)
👨 Fanpage: https://www.facebook.com/tranvanbinh.vn
👨 Inbox Fanpage: https://m.me/tranvanbinh.vn
👨👩 Group FB: https://www.facebook.com/groups/DBAVietNam
👨 Website: https://www.tranvanbinh.vn
👨 Blogger: https://tranvanbinhmaster.blogspot.com
🎬 Youtube: https://www.youtube.com/@binhguru
👨 Tiktok: https://www.tiktok.com/@binhguru
👨 Linkin: https://www.linkedin.com/in/binhoracle
👨 Twitter: https://twitter.com/binhguru
👨 Podcast: https://www.podbean.com/pu/pbblog-eskre-5f82d6
👨 Địa chỉ: Tòa nhà Sun Square - 21 Lê Đức Thọ - Phường Mỹ Đình 1 - Quận Nam Từ Liêm - TP.Hà Nội
=============================
cơ sở dữ liệu, cơ sở dữ liệu quốc gia, database, AI, trí tuệ nhân tạo, artificial intelligence, machine learning, deep learning, LLM, ChatGPT, DeepSeek, Grok, oracle tutorial, học oracle database, Tự học Oracle, Tài liệu Oracle 12c tiếng Việt, Hướng dẫn sử dụng Oracle Database, Oracle SQL cơ bản, Oracle SQL là gì, Khóa học Oracle Hà Nội, Học chứng chỉ Oracle ở đầu, Khóa học Oracle online,sql tutorial, khóa học pl/sql tutorial, học dba, học dba ở việt nam, khóa học dba, khóa học dba sql, tài liệu học dba oracle, Khóa học Oracle online, học oracle sql, học oracle ở đâu tphcm, học oracle bắt đầu từ đâu, học oracle ở hà nội, oracle database tutorial, oracle database 12c, oracle database là gì, oracle database 11g, oracle download, oracle database 19c/21c/23c/23ai, oracle dba tutorial, oracle tunning, sql tunning , oracle 12c, oracle multitenant, Container Databases (CDB), Pluggable Databases (PDB), oracle cloud, oracle security, oracle fga, audit_trail,oracle RAC, ASM, oracle dataguard, oracle goldengate, mview, oracle exadata, oracle oca, oracle ocp, oracle ocm , oracle weblogic, postgresql tutorial, mysql tutorial, mariadb tutorial, ms sql server tutorial, nosql, mongodb tutorial, oci, cloud, middleware tutorial, docker, k8s, micro service, hoc solaris tutorial, hoc linux tutorial, hoc aix tutorial, unix tutorial, securecrt, xshell, mobaxterm, putty
