服务器之间迁移大文件

SegmentFault 发布于2019-08-08 15:36 / 2279人阅读

摘要：删除那些中没有的文件。对备份的文件在传输时进行压缩处理。指定排除不需要传输的文件模式。精简输出模式。

Last-Modified: 2019年6月3日15:01:20

背景

最近公司有一台服务器从 ucloud 迁移到华为云, 一坨MongoDB数据库需要迁移.

为什么使用 rsync:

大文件传输就不要想着ftp了: 服务器A -> 本地 -> 服务器B

scp传输超大文件, 万一遇到网络断开就得哭了

小提示:

记得在源服务器那边买个临时带宽包, 以免浪费时间

传输前准备

# 打包压缩的文件
zip -r archive.zip ./*

# 可选: 将压缩包拆分成1G一个的小文件
# -d 使用数字后缀, 而不是字母后缀
split -b 1G -d archive.zip archive_split

# split 对应的合并命令
cat archive_split* > new_archive.zip

rsync 传输

rsync 文档

# 传输文件
# -P,----partial     断点续传(保留那些因故没有完全传输的文件，以便加快随后的再次传输)
# -e                 以ssh方式进行数据传输, ssh -p2222 指定连接2222端口
# --progress         显示传输进度
# --bwlimit            限速, 字节/秒
# -r,--recursive     对子目录以递归模式处理
# -c, --checksum     打开校验开关，强制对文件传输进行校验。
# --delete             删除那些DST中SRC没有的文件。
# -z, --compress     对备份的文件在传输时进行压缩处理。
# --exclude=PATTERN 指定排除不需要传输的文件模式。
# --include=PATTERN 指定不排除而需要传输的文件模式。
# -v, --verbose 详细模式输出。
# -q, --quiet 精简输出模式。
# -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

rsync -P -e "ssh -p2222" --progress --bwlimit=1024 root@xx.xx.xx.xx:/data/transfer/archive.zip /data/archive.zip

解释一下上面执行命令的参数:

-P 支持断点续传, 网络传输中网络断开是很可能发生的

-e "ssh -p2222" 指定ssh传输方式, SRC的ssh端口非默认的22端口

--progress 显示进度, 方便肉眼观察

由于传输的是zip压缩包, 因此未加上 -z 参数.

私有云超融合服务器 rds之间数据迁移阿里云服务器之间迁移数据 oss之间的数据迁移服务器之间倒文件

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/63928.html

“怎么做好云迁移”? 深蓝云海资深架构师给你答案

摘要：基于云迁移的三个阶段细分为八个主要步骤，评估阶段主要包括项目启动现状梳理以及应用系统关联关系分析三个步骤，设计阶段包括云架构优化设计和云迁移方案设计，实施阶段包括目标架构迁移演练及实施和试运行三个步骤。在云计算市场规模不断扩大的大背景下，云迁移的需求越来越大且面临挑战。云迁移不是一个迁移软件工具，而是一种服务。前IBM资深架构师姜亚杰从云迁移的三个阶段、四个维度到八个步骤的方法，简述...

kk_miles 2019-06-21 16:47 评论0 收藏0
孔明说天有不测风云，我说无灾备不上云

摘要：题记三国时赤壁鏖战，孔明说，天有不测风云，欲破曹公，宜用火攻，万事俱备，只欠东风。现在公共云混战，我想说，无灾备不上云，保护数据，未雨绸缪，带了雨伞，还需雨衣。题记：三国时赤壁鏖战，孔明说，天有不测风云，欲破曹公，宜用火攻，万事俱备，只欠东风。现在公共云混战，我想说，无灾备不上云，保护数据，未雨绸缪，带了雨伞，还需雨衣。未雨绸缪，到底是带雨伞还是雨衣呢？时代在变，人的追求也在变。随着公共云对...

stormgens 2019-04-30 17:33 评论0 收藏0
UCloud 数据传输服务 UDTS，一键解决数据迁移难题

摘要：在安全可靠性方面，在公有云平台上进行数据迁移不仅支持外网的迁移，还提供内网的数据迁移。于是提供了迁移时重命名的功能，可以针对数据库也可以针对表，这样就帮助这类用户解决了数据整合的难题。背景数据库作为核心数据的重要存储，很多时候都会面临数据迁移的需求，例如：业务从本地迁移上云、数据中心故障需要切换至灾备中心、混合云或多云部署下的数据同步、流量突增导致数据库性能瓶颈需要拆分…… 而...

张率功 2019-12-27 11:54 评论0 收藏0
【客户案例】智能驾驶行业如何上云？

摘要：产品新功能发布阿里云发布对象存储支持默认加密功能对象存储在客户端和服务器端具备全面的安全加密能力。针对小鹏汽车的一系列需求，阿里云为其打造业界首个定制车载闪电立方深度学习解决方案。【最新动态】表格存储TableStore全新升级，打造统一的在线数据存储平台！表格存储 TableStore 是阿里云面向海量结构化和半结构化数据自研的 Serverless NoSQL 数据库，被广泛用于社...

kaka 2019-04-24 19:42 评论0 收藏0
凌晨1点突发致命生产事故，人工多线程来破局！

摘要：留下几个人监控数据，其他人就散了，等迁移完成后再进行后续工作。突发事故凌晨的夜晚比较困，当我点起第三根烟的时候，负责迁移的这位程序员，急匆匆的跑过来找我了。这个事可大了如果在上午之前不搞定这个事情，那就完全是重大事故了。有一个读者问我：你认为一个程序员具备什么样的能力，才算得上是厉害的程序员？我答：拥有解决问题的能力的程序员。这个回答貌似有点抽象，不要紧看下面的文章你会慢慢有所了...

dendoink 2019-08-19 10:18 评论0 收藏0