🎓 AI TUTORIAL A–Z
KHÓA 1 – AI FOUNDATION
🧹 MODULE M07
CHUẨN BỊ DỮ LIỆU CHO AI
⏱️ Thời lượng: 90 phút
🌱 Mức độ: Cơ bản
🎯 Mục tiêu: Hiểu cách chuẩn bị dữ liệu trước khi đưa vào AI, biết các bước làm sạch, chuẩn hóa, chuyển đổi dữ liệu và hiểu vì sao 80% thời gian của một dự án AI thường dành cho dữ liệu.
📖 MỤC LỤC
🎯 1. Mục tiêu
🌍 2. Câu chuyện mở đầu
🧹 3. Chuẩn bị dữ liệu là gì?
📊 4. Quy trình chuẩn bị dữ liệu
📂 5. Thu thập dữ liệu
🧼 6. Làm sạch dữ liệu
📏 7. Chuẩn hóa dữ liệu
🔄 8. Chuyển đổi dữ liệu
🗑️ 9. Xử lý dữ liệu thiếu
👥 10. Xử lý dữ liệu trùng lặp
📉 11. Xử lý dữ liệu nhiễu
⚖️ 12. Cân bằng dữ liệu
🏠 13. Ví dụ đời thường
💻 14. Ví dụ CNTT
📡 15. Ví dụ Viễn thông
🏢 16. Ví dụ Doanh nghiệp
💡 17. Góc AI Architect
👔 18. Góc CIO/CTO
🧪 19. Thực hành
❓ 20. Câu hỏi ôn tập
✅ 21. Đáp án
🎨 22. Infographic
🧠 23. Mindmap
📌 24. Tổng kết
🎯 1. MỤC TIÊU
Sau Module này bạn sẽ:
✅ Hiểu quy trình chuẩn bị dữ liệu.
✅ Biết cách làm sạch dữ liệu.
✅ Biết xử lý dữ liệu thiếu.
✅ Biết loại bỏ dữ liệu trùng.
✅ Hiểu tại sao dữ liệu sạch quan trọng hơn mô hình tốt.
🌍 2. CÂU CHUYỆN MỞ ĐẦU
Một nhà hàng nổi tiếng tuyển hai đầu bếp.
Nguyên liệu được giao đến mỗi sáng.
👨🍳 Đầu bếp A
Trước khi nấu:
Rửa rau.
Bỏ lá hỏng.
Rửa thịt.
Chọn gia vị.
Món ăn luôn ngon.
👨🍳 Đầu bếp B
Đem nguyên liệu vào nấu ngay.
Kết quả:
Có rau úa.
Có cát.
Có thịt hỏng.
Món ăn rất tệ.
AI cũng giống như vậy.
Không phải dữ liệu nào cũng có thể đưa vào AI ngay.
Dữ liệu cần được chuẩn bị.
🧹 3. CHUẨN BỊ DỮ LIỆU LÀ GÌ?
Chuẩn bị dữ liệu (Data Preparation) là quá trình:
Thu thập.
Kiểm tra.
Làm sạch.
Chuẩn hóa.
Biến đổi.
để dữ liệu sẵn sàng cho AI.
Đây là bước mất nhiều thời gian nhất.
📊 4. QUY TRÌNH CHUẨN BỊ DỮ LIỆU
Nguồn dữ liệu
│
▼
Thu thập
│
▼
Làm sạch
│
▼
Chuẩn hóa
│
▼
Biến đổi
│
▼
Kiểm tra
│
▼
Huấn luyện AI
Trong thực tế, quy trình này có thể được lặp lại nhiều lần để cải thiện chất lượng dữ liệu.
📂 5. THU THẬP DỮ LIỆU
Dữ liệu có thể đến từ:
🗄️ Oracle Database.
🐘 PostgreSQL.
📄 Excel.
📧 Email.
🌐 API.
📱 Mobile App.
📡 IoT.
🎥 Camera.
📜 Log hệ thống.
☁️ Cloud Storage.
Mỗi nguồn có định dạng và chất lượng khác nhau.
🧼 6. LÀM SẠCH DỮ LIỆU
Các công việc phổ biến:
Xóa bản ghi lỗi.
Xóa dữ liệu rỗng.
Chuẩn hóa ký tự.
Sửa định dạng ngày tháng.
Loại bỏ ký tự đặc biệt không cần thiết.
Ví dụ:
| Dữ liệu gốc | Sau khi làm sạch |
|---|---|
| " Nguyễn Văn A " | "Nguyễn Văn A" |
| "0909-123-456" | "0909123456" |
| "01/01/25" | "2025-01-01" |
📏 7. CHUẨN HÓA DỮ LIỆU
Mục tiêu là đưa dữ liệu về cùng một chuẩn.
Ví dụ:
Giới tính:
| Dữ liệu gốc | Chuẩn hóa |
|---|---|
| Nam | Nam |
| nam | Nam |
| Male | Nam |
| M | Nam |
Nếu không chuẩn hóa, AI sẽ coi đây là các giá trị khác nhau.
🔄 8. CHUYỂN ĐỔI DỮ LIỆU
Đôi khi cần chuyển dữ liệu sang dạng AI dễ xử lý hơn.
Ví dụ:
Ngày sinh:
12/05/1990
Chuyển thành:
1990-05-12
Hoặc:
Tính thêm:
Tuổi.
Nhóm tuổi.
để AI học tốt hơn.
🗑️ 9. XỬ LÝ DỮ LIỆU THIẾU
Ví dụ:
| Tên | Tuổi | Nghề |
|---|---|---|
| An | 25 | Kỹ sư |
| Bình | ? | DBA |
Có nhiều cách:
Bổ sung dữ liệu.
Ước lượng giá trị.
Xóa bản ghi (nếu phù hợp).
Đánh dấu là "không xác định".
Việc lựa chọn phụ thuộc vào mục tiêu của bài toán.
👥 10. XỬ LÝ DỮ LIỆU TRÙNG LẶP
Ví dụ:
| Mã KH | Tên |
|---|---|
| KH001 | Nguyễn Văn A |
| KH001 | Nguyễn Văn A |
Nếu không loại bỏ:
AI sẽ học sai và thống kê không chính xác.
📉 11. XỬ LÝ DỮ LIỆU NHIỄU
Ví dụ:
Cảm biến nhiệt độ:
30
31
30
250
31
30
Giá trị 250°C nhiều khả năng là lỗi.
Cần:
Xác minh.
Loại bỏ hoặc sửa.
⚖️ 12. CÂN BẰNG DỮ LIỆU
Giả sử:
99.000 ảnh mèo.
1.000 ảnh chó.
AI sẽ dễ học thiên lệch.
Giải pháp:
Thu thập thêm ảnh chó.
Chọn mẫu cân bằng.
Tăng cường dữ liệu (Data Augmentation).
🏠 13. VÍ DỤ ĐỜI THƯỜNG
Bạn muốn nấu cơm.
Bạn sẽ:
Nhặt sạn.
Vo gạo.
Đong nước.
Không ai đổ nguyên bao gạo vào nồi rồi bật bếp.
Chuẩn bị dữ liệu cũng giống như chuẩn bị nguyên liệu trước khi nấu.
💻 14. VÍ DỤ CNTT
Oracle DBA
Muốn AI phân tích AWR.
Trước tiên cần:
Kiểm tra Snapshot đầy đủ.
Đồng bộ múi giờ.
Loại bỏ bản ghi lỗi.
Chuẩn hóa định dạng.
Nếu không, AI có thể kết luận sai về hiệu năng.
Linux
Log từ nhiều máy chủ:
Khác múi giờ.
Khác định dạng.
Thiếu hostname.
Cần chuẩn hóa trước khi AI phân tích.
📡 15. VÍ DỤ VIỄN THÔNG
AI dự báo nghẽn mạng.
Nguồn dữ liệu:
KPI BTS.
Alarm.
Lưu lượng.
Nhật ký cấu hình.
Nếu KPI của một số trạm bị thiếu hoặc sai thời gian:
→ AI dự báo sẽ không chính xác.
🏢 16. VÍ DỤ DOANH NGHIỆP
Doanh nghiệp có dữ liệu khách hàng từ:
CRM.
Website.
Ứng dụng di động.
Call Center.
Một khách hàng có thể xuất hiện nhiều lần với tên khác nhau.
Ví dụ:
Nguyễn Văn A
Nguyen Van A
NGUYỄN VĂN A
Cần chuẩn hóa để AI hiểu đây là cùng một người.
💡 17. GÓC AI ARCHITECT
Một dự án AI thành công thường dành:
Khoảng 20% thời gian cho mô hình.
Khoảng 80% thời gian cho dữ liệu.
Đầu tư vào Data Quality, Data Governance và Data Pipeline sẽ mang lại hiệu quả bền vững hơn là chỉ thay đổi mô hình AI.
👔 18. GÓC CIO/CTO
Trước khi triển khai AI, hãy đánh giá:
Chất lượng dữ liệu hiện tại.
Quy trình thu thập dữ liệu.
Cơ chế kiểm soát dữ liệu.
Khả năng chia sẻ dữ liệu giữa các phòng ban.
AI sẽ phát huy hiệu quả khi dữ liệu được quản trị tốt.
🧪 19. THỰC HÀNH
Bài 1
Lấy một file Excel có khoảng 100 dòng.
Tìm:
Dòng trùng.
Ô trống.
Định dạng ngày không thống nhất.
Làm sạch dữ liệu.
Bài 2
Lấy một file log Linux.
Chuẩn hóa:
Thời gian.
Hostname.
Mức độ log.
Bài 3
Lập sơ đồ nguồn dữ liệu của đơn vị bạn.
Ví dụ:
Oracle
│
PostgreSQL
│
Excel
│
API
│
Data Lake
│
AI
❓ 20. CÂU HỎI ÔN TẬP
Chuẩn bị dữ liệu gồm những bước nào?
Vì sao cần làm sạch dữ liệu?
Dữ liệu thiếu có thể xử lý bằng những cách nào?
Dữ liệu trùng lặp ảnh hưởng gì đến AI?
Vì sao nhiều dự án AI dành phần lớn thời gian cho dữ liệu?
✅ 21. ĐÁP ÁN GỢI Ý
Thu thập, làm sạch, chuẩn hóa, chuyển đổi và kiểm tra.
Để loại bỏ lỗi, tăng chất lượng dữ liệu và giúp AI học chính xác hơn.
Bổ sung, ước lượng, loại bỏ hoặc đánh dấu là thiếu.
Làm sai thống kê, gây thiên lệch và giảm độ chính xác của mô hình.
Vì dữ liệu quyết định chất lượng kết quả của AI.
🎨 22. INFOGRAPHIC TÓM TẮT
🧹 CHUẨN BỊ DỮ LIỆU
📂 Thu thập
│
▼
🧼 Làm sạch
│
▼
📏 Chuẩn hóa
│
▼
🔄 Chuyển đổi
│
▼
✅ Kiểm tra
│
▼
🤖 Huấn luyện AI
🧠 23. MINDMAP
🧹 DATA PREPARATION
│
┌───────────────────┼────────────────────┐
▼ ▼ ▼
📂 Thu thập 🧼 Làm sạch 📏 Chuẩn hóa
│
┌───────────────┼───────────────┐
▼ ▼ ▼
🗑️ Thiếu 👥 Trùng lặp 📉 Nhiễu
│
▼
🤖 AI Training
📌 24. TỔNG KẾT
✅ Chuẩn bị dữ liệu là bước quan trọng nhất trước khi huấn luyện AI.
✅ Dữ liệu sạch, đầy đủ và nhất quán giúp AI học nhanh và chính xác hơn.
✅ Chất lượng dữ liệu quyết định chất lượng của mô hình AI.
✅ Một quy trình chuẩn bị dữ liệu tốt là nền tảng của mọi dự án AI thành công.
🔜 Module tiếp theo: 🏷️ M08 – Gắn nhãn dữ liệu (Data Labeling)
Đây là module giúp bạn hiểu cách "dạy" AI bằng cách gắn nhãn dữ liệu, các loại nhãn phổ biến (Classification, Object Detection, Segmentation...), các công cụ gắn nhãn và những lỗi thường gặp khiến mô hình học sai.
TƯ VẤN: Click Here hoặc Hotline/Zalo 090.29.12.888
=============================
Website không chứa bất kỳ quảng cáo nào, mọi đóng góp để duy trì phát triển cho website (donation) xin vui lòng gửi về STK 90.2142.8888 - Ngân hàng Vietcombank Thăng Long - TRAN VAN BINH
=============================
Nếu bạn không muốn bị AI thay thế và tiết kiệm 3-5 NĂM trên con đường trở thành DBA chuyên nghiệp hay làm chủ Database thì hãy đăng ký ngay KHOÁ HỌC ORACLE DATABASE A-Z ENTERPRISE, được Coaching trực tiếp từ tôi với toàn bộ bí kíp thực chiến, thủ tục, quy trình của gần 20 năm kinh nghiệm (mà bạn sẽ KHÔNG THỂ tìm kiếm trên Internet/Google) từ đó giúp bạn dễ dàng quản trị mọi hệ thống Core tại Việt Nam và trên thế giới, đỗ OCP.
- CÁCH ĐĂNG KÝ: Gõ (.) hoặc để lại số điện thoại hoặc inbox https://m.me/tranvanbinh.vn hoặc Hotline/Zalo 090.29.12.888
- Chi tiết tham khảo:
https://bit.ly/oaz_w
=============================
2 khóa học online qua video giúp bạn nhanh chóng có những kiến thức nền tảng về Linux, Oracle, học mọi nơi, chỉ cần có Internet/4G:
- Oracle cơ bản: https://bit.ly/admin_1200
- Linux: https://bit.ly/linux_1200
=============================
KẾT NỐI VỚI CHUYÊN GIA TRẦN VĂN BÌNH:
📧 Mail: binhoracle@gmail.com
☎️ Mobile/Zalo: 0902912888
👨 Facebook: https://www.facebook.com/BinhOracleMaster
👨 Inbox Messenger: https://m.me/101036604657441 (profile)
👨 Fanpage: https://www.facebook.com/tranvanbinh.vn
👨 Inbox Fanpage: https://m.me/tranvanbinh.vn
👨👩 Group FB: https://www.facebook.com/groups/DBAVietNam
👨 Website: https://www.tranvanbinh.vn
👨 Blogger: https://tranvanbinhmaster.blogspot.com
🎬 Youtube: https://www.youtube.com/@binhguru
👨 Tiktok: https://www.tiktok.com/@binhguru
👨 Linkin: https://www.linkedin.com/in/binhoracle
👨 Twitter: https://twitter.com/binhguru
👨 Podcast: https://www.podbean.com/pu/pbblog-eskre-5f82d6
👨 Địa chỉ: Tòa nhà Sun Square - 21 Lê Đức Thọ - Phường Mỹ Đình 1 - Quận Nam Từ Liêm - TP.Hà Nội
=============================
cơ sở dữ liệu, cơ sở dữ liệu quốc gia, database, AI, trí tuệ nhân tạo, artificial intelligence, machine learning, deep learning, LLM, ChatGPT, DeepSeek, Grok, oracle tutorial, học oracle database, Tự học Oracle, Tài liệu Oracle 12c tiếng Việt, Hướng dẫn sử dụng Oracle Database, Oracle SQL cơ bản, Oracle SQL là gì, Khóa học Oracle Hà Nội, Học chứng chỉ Oracle ở đầu, Khóa học Oracle online,sql tutorial, khóa học pl/sql tutorial, học dba, học dba ở việt nam, khóa học dba, khóa học dba sql, tài liệu học dba oracle, Khóa học Oracle online, học oracle sql, học oracle ở đâu tphcm, học oracle bắt đầu từ đâu, học oracle ở hà nội, oracle database tutorial, oracle database 12c, oracle database là gì, oracle database 11g, oracle download, oracle database 19c/21c/23c/23ai, oracle dba tutorial, oracle tunning, sql tunning , oracle 12c, oracle multitenant, Container Databases (CDB), Pluggable Databases (PDB), oracle cloud, oracle security, oracle fga, audit_trail,oracle RAC, ASM, oracle dataguard, oracle goldengate, mview, oracle exadata, oracle oca, oracle ocp, oracle ocm , oracle weblogic, postgresql tutorial, mysql tutorial, mariadb tutorial, ms sql server tutorial, nosql, mongodb tutorial, oci, cloud, middleware tutorial, docker, k8s, micro service, hoc solaris tutorial, hoc linux tutorial, hoc aix tutorial, unix tutorial, securecrt, xshell, mobaxterm, putty