请教下 mysql 大量数据每日备份问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 3306 天前的主题，其中的信息可能已经有所发展或是发生改变。

一般大量数据，比如数百 g 都是怎么做每日备份的呢？ Xtrabackup 导出有点搞不动啊，需要的时间太久了，又一直占着磁盘 io ，压力太大了

第 1 条附言 · 2016-10-13 09:10:19 +08:00

其实我还是比较好奇更大的公司，比如百度阿里他们的数据应该更多吧，他们做不做离线备份呢？又是怎么做的呢？

xtrabackup

MySQL

导出

磁盘

18 条回复 • 2019-09-20 17:22:48 +08:00

TaMud

2016-10-12 14:56:42 +08:00

一天产生几百 g 数据？
那你可以做个主从服务，从服备份

Infernalzero

2016-10-12 15:03:31 +08:00

直接 mysqldump 或者设延时库，单纯的主从备份没用的，你 master 删了 slave 也删了啊

liyj144

2016-10-12 15:12:02 +08:00

1. 拆库拆表，多进程（按库）备份。 500G 的数据，普通磁盘几个小时就备份完了。 2. 磁盘上 SSD 会更快，备份完也可以快速跟主库同步。更何况备份是在备机上的， io 高一些影响也不大。

kanchi240

2016-10-12 16:01:09 +08:00

Xtrabackup 不是支持增量备份的吗。。“ Xtrabackup 导出有点搞不动”是什么意思？

pc10201

2016-10-12 16:11:21 +08:00

主从同步，用从库备份，一般是周备，但保留并备份最近 7 天的日志

ElmerZhang

2016-10-12 17:30:33 +08:00

专门有个不提供线上服务的从库做备份。
最简单粗暴的备份方法：停实例， rsync 走。
如果不要求保留每天的备份，可以直接搞个延时从库。

guyskk

2016-10-12 22:51:30 +08:00 via Android

数据放到 LVM 磁盘上，通过磁盘快照做备份。也许可行。

msg7086

2016-10-13 03:10:51 +08:00

主从，随便拿了个 SSD-cached VPS 做的，一个月几欧元的样子。

sujin190

2016-10-13 09:06:42 +08:00

@pc10201 binlog 日志么？

sujin190

2016-10-13 09:08:02 +08:00

@ElmerZhang 大量数据 rsync 快还是 copy 快，同一台机器上的两块磁盘

sujin190

2016-10-13 09:08:45 +08:00

@guyskk 这是一个方法不过得停服务吧

guyskk

2016-10-13 09:44:16 +08:00 via Android

@sujin190 扇贝网是这么做的，之前看过他们发的一篇文章上说了。 V 站上能搜到。

noahzh

2016-10-13 11:15:01 +08:00

一个专用备份从库，每天用 mysqldump 备份，然后 lz4 压缩，同时也备份 master binlog

zqcolor

2016-10-13 11:57:07 +08:00

主从服务，从服备份, 同时也备份 master binlog

+1

ElmerZhang

2016-10-14 13:14:09 +08:00

@sujin190 增量的话 rsync 快，全量的话 cp 快。
还有一个方案是备库跑在 lvm 卷上，直接打快照

ElmerZhang

2016-10-14 13:31:01 +08:00

五年前我还调研过一个叫 NILFS 的日志型文件系统，当时还不成熟，现在不知道发展怎么样了，楼主可以看一下。

yghack

2016-10-14 14:45:24 +08:00

分库分表
主从 + 从库只读 + 从库备份
顺便拆分 binlog
备份 binlog

Legendzhan

2019-09-20 17:22:48 +08:00