TRẦN VĂN BÌNH MASTER: 16.Chuyển dữ liệu, Migration Database PostgreSQL

Thứ Bảy, 31 tháng 5, 2025

16.Chuyển dữ liệu, Migration Database PostgreSQL

✅ 1. Mục tiêu của migration

Chuyển hệ thống từ DB cũ sang PostgreSQL (Oracle, MySQL, MSSQL…)
Di chuyển từ PostgreSQL server cũ sang server mới
Chuyển giữa các phiên bản PostgreSQL (nâng cấp)
Chia nhỏ / gộp DB giữa môi trường test – UAT – prod

📘 2. Các phương pháp Migration chính

Phương pháp	Khi nào dùng	Công cụ
Logical Dump/Restore	Dễ triển khai, di chuyển qua mạng	`pg_dump`, `pg_restore`, `psql`
Physical Copy	Cùng version PostgreSQL	`rsync`, `pg_basebackup`
FDW (Foreign Data Wrapper)	Kéo dữ liệu trực tiếp từ DB khác	`postgres_fdw`, `oracle_fdw`
Migration từ RDBMS khác	Chuyển từ Oracle, MySQL, MSSQL	`ora2pg`, `pgloader`, ETL tool

🛠️ 3. Migration giữa 2 PostgreSQL bằng `pg_dump`

📌 Bước 1: Backup

bash
pg_dump -U postgres -F c -f /backup/mydb.backup mydb

📌 Bước 2: Copy file sang server mới

bash
scp /backup/mydb.backup postgres@192.168.1.100:/backup/

📌 Bước 3: Restore

bash
createdb -U postgres mydb_new
pg_restore -U postgres -d mydb_new /backup/mydb.backup

🔄 4. Migration từng bảng/schema

bash
pg_dump -U postgres -t customers -F p -f customers.sql mydb
psql -U postgres -d newdb -f customers.sql

Hữu ích khi bạn chỉ muốn migrate 1 phần dữ liệu

📦 5. Migration qua mạng (pipe trực tiếp)

bash
pg_dump -U postgres -h old_host mydb | psql -U postgres -h new_host newdb

Tiết kiệm dung lượng đĩa, nhưng cần kết nối mạng ổn định

🔁 6. Dùng `pg_basebackup` để clone physical cluster

bash
pg_basebackup -h primary_host -U replicator -D /data/new_pg -Fp -Xs -P

Phù hợp khi cần đồng bộ toàn bộ hệ thống (standby, DR)

🌉 7. Dùng Foreign Data Wrapper (FDW)

Truy vấn và import dữ liệu từ PostgreSQL khác:

sql
CREATE EXTENSION postgres_fdw;
CREATE SERVER remote_pg FOREIGN DATA WRAPPER postgres_fdw OPTIONS (host '192.168.1.10', dbname 'legacy');
CREATE USER MAPPING FOR CURRENT_USER SERVER remote_pg OPTIONS (user 'replicator', password '123456');
IMPORT FOREIGN SCHEMA public FROM SERVER remote_pg INTO foreign_import;

🔁 8. Migration từ hệ quản trị khác

DB nguồn	Công cụ	Ghi chú
Oracle	`ora2pg`	Phân tích, tạo schema + dữ liệu
MySQL	`pgloader`, `mysql_fdw`	Tự động mapping kiểu dữ liệu
MSSQL	`pgloader`, ETL tools	Qua CSV hoặc ODBC
CSV	`COPY`, `\copy`	Tải dữ liệu lớn nhanh

🧪 9. Kiểm tra sau khi migration

Mục cần kiểm tra	Câu lệnh
Đếm dòng	`SELECT count(*) FROM table;`
Kiểu dữ liệu	`\d table`
Index	`\di`
Function	`\df`
Khóa ngoại	`\d+ table`

🧠 10. Best Practices khi migration

Gợi ý	Mục đích
So sánh checksum dữ liệu	Đảm bảo integrity
Chạy song song bằng `-j`	Nhanh hơn (với `pg_restore`)
Log từng bước + ghi lỗi	Audit rõ ràng
Dừng dịch vụ ghi mới khi migrate	Tránh lệch dữ liệu
Backup trước khi import	Phòng rủi ro

✅ Kết luận

Migration PostgreSQL rất linh hoạt, nhiều lựa chọn:
- pg_dump → đơn giản, an toàn
- pg_basebackup → clone hệ thống
- FDW, pgloader, ora2pg → chuyển hệ khác về PostgreSQL
Quan trọng nhất là:
- Đúng dữ liệu
- Đúng quyền
- Đúng cấu trúc
- Test restore

=============================
Website không chứa bất kỳ quảng cáo nào, mọi đóng góp để duy trì phát triển cho website (donation) xin vui lòng gửi về STK 90.2142.8888 - Ngân hàng Vietcombank Thăng Long - TRAN VAN BINH
=============================
Nếu bạn không muốn bị AI thay thế và tiết kiệm 3-5 NĂM trên con đường trở thành DBA chuyên nghiệp hay làm chủ Database thì hãy đăng ký ngay KHOÁ HỌC ORACLE DATABASE A-Z ENTERPRISE, được Coaching trực tiếp từ tôi với toàn bộ bí kíp thực chiến, thủ tục, quy trình của gần 20 năm kinh nghiệm (mà bạn sẽ KHÔNG THỂ tìm kiếm trên Internet/Google) từ đó giúp bạn dễ dàng quản trị mọi hệ thống Core tại Việt Nam và trên thế giới, đỗ OCP.
- CÁCH ĐĂNG KÝ: Gõ (.) hoặc để lại số điện thoại hoặc inbox https://m.me/tranvanbinh.vn hoặc Hotline/Zalo 090.29.12.888
- Chi tiết tham khảo:
https://bit.ly/oaz_w
=============================
2 khóa học online qua video giúp bạn nhanh chóng có những kiến thức nền tảng về Linux, Oracle, học mọi nơi, chỉ cần có Internet/4G:
- Oracle cơ bản: https://bit.ly/admin_1200
- Linux: https://bit.ly/linux_1200
=============================
KẾT NỐI VỚI CHUYÊN GIA TRẦN VĂN BÌNH:
📧 Mail: binhoracle@gmail.com
☎️ Mobile/Zalo: 0902912888
👨 Facebook: https://www.facebook.com/BinhOracleMaster
👨 Inbox Messenger: https://m.me/101036604657441 (profile)
👨 Fanpage: https://www.facebook.com/tranvanbinh.vn
👨 Inbox Fanpage: https://m.me/tranvanbinh.vn
👨👩 Group FB: https://www.facebook.com/groups/DBAVietNam
👨 Website: https://www.tranvanbinh.vn
👨 Blogger: https://tranvanbinhmaster.blogspot.com
🎬 Youtube: https://www.youtube.com/@binhguru
👨 Tiktok: https://www.tiktok.com/@binhguru
👨 Linkin: https://www.linkedin.com/in/binhoracle
👨 Twitter: https://twitter.com/binhguru
👨 Podcast: https://www.podbean.com/pu/pbblog-eskre-5f82d6
👨 Địa chỉ: Tòa nhà Sun Square - 21 Lê Đức Thọ - Phường Mỹ Đình 1 - Quận Nam Từ Liêm - TP.Hà Nội

=============================
AI, trí tuệ nhân tạo, artificial intelligence, machine learning, deep learning, LLM, ChatGPT, DeepSeek, Grok, oracle tutorial, học oracle database, Tự học Oracle, Tài liệu Oracle 12c tiếng Việt, Hướng dẫn sử dụng Oracle Database, Oracle SQL cơ bản, Oracle SQL là gì, Khóa học Oracle Hà Nội, Học chứng chỉ Oracle ở đầu, Khóa học Oracle online,sql tutorial, khóa học pl/sql tutorial, học dba, học dba ở việt nam, khóa học dba, khóa học dba sql, tài liệu học dba oracle, Khóa học Oracle online, học oracle sql, học oracle ở đâu tphcm, học oracle bắt đầu từ đâu, học oracle ở hà nội, oracle database tutorial, oracle database 12c, oracle database là gì, oracle database 11g, oracle download, oracle database 19c, oracle dba tutorial, oracle tunning, sql tunning , oracle 12c, oracle multitenant, Container Databases (CDB), Pluggable Databases (PDB), oracle cloud, oracle security, oracle fga, audit_trail,oracle RAC, ASM, oracle dataguard, oracle goldengate, mview, oracle exadata, oracle oca, oracle ocp, oracle ocm , oracle weblogic, postgresql tutorial, mysql tutorial, mariadb tutorial, ms sql server tutorial, nosql, mongodb tutorial, oci, cloud, middleware tutorial, hoc solaris tutorial, hoc linux tutorial, hoc aix tutorial, unix tutorial, securecrt, xshell, mobaxterm, putty