资讯专栏INFORMATION COLUMN

【巨杉数据库Sequoiadb】sdbimprt工具数据导入性能如何

clasnake / 3095人阅读

摘要:导入工具支持多线程导入。同时,也可以同时在多个机器上同时使用导入工具一起工作。基本上,导入工具很容易就能将千兆网卡打满。该用户关心的场景我们无法准确估计导入需要多长时间。实际情况需要根据用户的设备等情况决定。

【问题描述】
sdbimprt工具数据导入性能如何,能否提供性能测试报告?
广东省农信运维人员比较关心以下情况:
如:3年的数据有1000w条记录,每条记录约100kb,导入的集合是多维分区表,范围切分以时间作为切分字段,一年一个集合,hash切分则以"_id"切分,将1000W的数据导入到该集合中需要多长的时间?

【问题回复】

导入工具在多个局点都有使用,目前(v3.0.1)还没有人反映过性能存在问题。

导入工具支持多线程导入。同时,也可以同时在多个机器上同时使用导入工具一起工作。基本上,导入工具很容易就能将千兆网卡(128M/s)打满。

该用户关心的场景我们无法准确估计导入需要多长时间。如果能把千兆网网卡打满,估计时间为1000w*100KB/128M=781.25s。实际情况需要根据用户的设备等情况决定。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/49409.html

相关文章

  • 巨杉数据Sequoiadbsdbimprt工具数据导入性能如何

    摘要:导入工具支持多线程导入。同时,也可以同时在多个机器上同时使用导入工具一起工作。基本上,导入工具很容易就能将千兆网卡打满。该用户关心的场景我们无法准确估计导入需要多长时间。实际情况需要根据用户的设备等情况决定。 【问题描述】 sdbimprt工具数据导入性能如何,能否提供性能测试报告? 广东省农信运维人员比较关心以下情况: 如:3年的数据有1000w条记录,每条记录约100kb,导入的集...

    xuweijian 评论0 收藏0
  • 巨杉数据Sequoiadb】使用sdbimprt导入工具如何将两个不同结构的csv文件按条件整

    摘要:问题描述两个类型关系型数据库的文件,比如说产品表和分类表,现在这两个文件不是我们能控制的,只有两个文件,需要自己去整合,那么使用导入工具,如何将这两个不同结构的文件能按条件整合导入到的一个表中呢解决办法先使用导入工具将两个文件导入到的表中, 【问题描述】 两个类型关系型数据库的csv文件,比如说产品表和分类表,现在这两个文件不是我们能控制的,只有两个文件,需要自己去整合, 那么使用sd...

    jeffrey_up 评论0 收藏0
  • 巨杉数据Sequoiadbsdbimprt导入工具是否支持导入"DD-MON-YY&

    摘要:问题详细描述使用可以导入例如这种格式的日期吗解决办法目前,的导入工具暂不支持这种日期格式。在下可以使用工具将导入文件如中格式的数据改为支持导入的格式的数据。将替换好的文件再次导入数据库即可。 【问题详细描述】 使用sdbimprt可以导入例如03-JAN-16这种DD-MON-YY格式的日期吗? 【解决办法】 目前(v3.0.1),SequoiaDB的导入工具暂不支持 --times...

    2bdenny 评论0 收藏0
  • 巨杉数据Sequoiadbsdbimprt导入工具是否支持导入"DD-MON-YY&

    摘要:问题详细描述使用可以导入例如这种格式的日期吗解决办法目前,的导入工具暂不支持这种日期格式。在下可以使用工具将导入文件如中格式的数据改为支持导入的格式的数据。将替换好的文件再次导入数据库即可。 【问题详细描述】 使用sdbimprt可以导入例如03-JAN-16这种DD-MON-YY格式的日期吗? 【解决办法】 目前(v3.0.1),SequoiaDB的导入工具暂不支持 --times...

    魏明 评论0 收藏0
  • 巨杉数据Sequoiadb如何互相转换DateTime和TimeStamp类型

    摘要:更新匹配字段类型为的所有记录,遍历每一条记录,获取原始记录字段的值,更新字段类型为,字段的值为原始值拼接后的格式的值,如资料操作更新匹配符。 记录中分别包含DateTime和TimeStamp两种数据类型,这两种类型如何互相转换? 【解决办法】 【方法1】批量转换建议使用导入导出工具,操作方法如下: 1.使用 sdbexprt 导出工具指定匹配条件,导出指定字段类型的记录 如导出...

    ispring 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<