资讯专栏INFORMATION COLUMN

一致性比对工具 对象存储 US3

ernest.wang / 2451人阅读

摘要:一致性比对工具一致性比对工具一致性比对工具本篇目录工具使用工具使用文件内容解析文件内容解析工具使用工具使用工具使用下载对应的工具包解压工具包,进入目录,执行以下命令为工具附加可执行权限使用拉

一致性比对工具

本篇目录

工具使用checkData 文件内容解析

工具使用

下载对应的check工具包:
linux64     http://fail-check.cn-bj.ufileos.com/check-client-linux64.zip
mac        http://fail-check.cn-bj.ufileos.com/check-client-mac.zip 
解压工具包,进入目录,执行以下命令为工具附加可执行权限:
chmod +x chmod.sh
./chmod.sh
使用./get_file_list.sh拉取有问题的文件列表
./get_file_list.sh <要校验的bucket名字> <要校验的本地文件目录> <要校验的us3目录>
执行以上命令产生下列文件:
checkData.txt         :存放四种可疑文件列表
invalid_content.txt : 存放etag不一致或size不一致的文件列表
local_not_exists.txt: 存放相对us3目录,本地不存在的文件列表
new_files.txt        : 存放相对本地目录,us3不存在的文件列表
//checkData.txt中四种情况区分
[1]表示us3文件不存在
[2]表示本地文件不存在
[3]表示文件大小不一致
[4]表示etag不一致
如果需要重新上传etag以及size不一致的批量文件,执行以下命令
./upload_invalid_content.sh <要上传的bucket>
如果需要上传us3缺少的文件,执行以下命令
./upload_new_files.sh <要上传的bucket>
上传完成后重新校验
./check.sh <要校验的bucket名字> <要校验的本地文件目录> <要校验的us3目录>

checkData 文件内容解析

us3文件不存在
[1],us3 file does not exist,本地文件名,us3文件名
本地文件不存在
[2],local file does not exist,us3文件名
文件大小不一致
[3],inconsistent file size,本地文件名,文件大小,us3文件名,文件大小
etag不一致
[4],inconsistent etag,本地文件名,文件etag,us3文件名,文件etag

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/126653.html

相关文章

  • 常用工具 对象存储 US3

    摘要:产品底层升级后,推出工具,便于用户对存储空间文件进行管理操作,操作方式更灵活。文件挂载工具文件系统挂载工具可帮助用户在环境下以协议方式挂载文件目录,对文件对象进行操作。一致性比对工具一致性比对工具用于比对用户本地与存储空间中的文件是否一致。 常用工具本篇目录管理工具其他工具除使用 US3 管理控制台之外,您还可以通过 US3 提供的各类常用工具对 US3 存储空间及空间内的文件对象进行管理,...

    ernest.wang 评论0 收藏196
  • 跨云迁移过程中的数据同步及致性校验实践(一)

    摘要:通过对一些客户的跨云迁移过程进行总结,发现普遍存在的挑战有三点数据完整性和一致性挑战。简而言之,跨云迁移过程中的数据一致性主要就集中在存量数据的迁移如何保证一致。前言随着互联网业务发展对容灾以及对访问加速、多供应商成本控制等需求的产生,互联网公司的多云部署和跨云迁移逐渐成为刚需,而在此过程中,最困扰运维和研发人员的就是数据的迁移和同步。俗语说 上屋搬下屋,搬洒一箩谷 ,在业务的迁移过程中一旦...

    Tecode 评论0 收藏0
  • 概览 对象存储 US3

    摘要:概览概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通服务开始使用控制台指南存储空间日志管理文件管理生命周期静态网站托管域名管理镜像回源跨区域复制跨域设置数据分析防盗链统计报 概览产品简介产品概述功能概览产品优势使用限制存储类型地域和域名计量计费产品价格计费规则欠费处理计费案例快速上手开通 US3 服务开始使用 US3控制台指南...

    ernest.wang 评论0 收藏2651
  • 工具简介 对象存储 US3

    摘要:工具简介工具简介工具简介本篇目录概述概述版本和运行环境版本和运行环境主要功能主要功能使用限制使用限制概述概述概述是一个在系统环境中,将的存储空间挂载到本地挂载点的工具,挂载成功后,您可以像操作本地文件一样操作存储空间中的文件。 工具简介本篇目录概述版本和运行环境主要功能使用限制概述US3FS是一个在Linux/Windows系统环境中,将US3的存储空间(Bucket)挂载到本地挂载点的工具...

    ernest.wang 评论0 收藏892
  • UCloud优刻得推出自研存储引擎US3 持续降低用户存储成本

    摘要:本次大会上,优刻得基于自研的全新存储底层架构推出新一代对象存储产品。推出新一代自研存储引擎,持续降低存储成本优刻得在今年月推出了元月的归档存储产品,打破了存储领域降本的边界。伴随着5G、大数据的广泛应用,带来了数据量的爆炸式增长。根据IDC预测,2025年全球数据总量将达到惊人的175ZB。数据存储在未来的数字化时代将面临更多挑战:每秒钟存储数据写入性能、数据云端存储可靠性、数据存储成本增高...

    Tecode 评论0 收藏0
  • 对象存储 性能数据与分析 US3

    摘要:缺陷虽然目前确实能给基于存储的大数据方案带来进一步性能提高,但目前的设计还是有不少缺陷,主要在体现在几个方面单点架构使得可靠性降低。性能数据与分析本篇目录测试环境测试数据us3vmds基于Go语言开发,自带了Go的profile功能,通过以下命令,可以在指定地址开启Go的运行时性能分析HTTP服务:➜ bin ✗ us3vmds pprof --open 127.0.0.1 8081 ➜ ...

    ernest.wang 评论0 收藏140

发表评论

0条评论

ernest.wang

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<