摘要：场景生成用户的测试数据。将用户数据插入数据库。但是当数据量非常大，比如，时，就会发现。但是如果插入时间过长，浏览器接收不到服务器的回馈信息，他就直接报错误超时，同时程序停止运行。在这种情况下，可以用的方式用脚本执行，即可完美解决。
场景：生成100w用户的测试数据。
首先是生成用户数据。将100w用户数据插入数据库。
这里一般有两种做法：
一是：批量插入。但是这种会有问题，写程序测试的时候，发现不了。因为5k数据好像都可以批量插入的。但是当数据量非常大，比如10w，100w时，就会发现。内存不够用了。
二是：分批插入（比如，2k条一次，因为单条插入速度太慢了），一般phper 在测试时，都是通过浏览器访问方法，从而执行程序。但是如果插入时间过长，浏览器接收不到服务器的回馈信息，他就直接报504错误(超时)，同时程序停止运行。
在这种情况下，可以用CLI的方式用脚本执行php，即可完美解决。
下面是CI 框架的运行方式，相信其他框架也应该可以。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/26005.html
摘要：阅读原文如何高效导出百万级数据在一个具有统计功能的系统中，导出功能几乎是一定的，如何导出导出的数据有多少如何高效的导出简介什么是就不用介绍了，这里主要说明不同版本下每个下的行列限制。 阅读原文：POI如何高效导出百万级Excel数据？ 在一个具有统计功能的系统中，导出excel功能几乎是一定的，如何导出excel？导出的数据有多少？如何高效的导出？ Excel简介什么是excel就不用...
摘要：获取消息队列中的脚本，拼接，批量入库。批量入库脚本天级统计脚本总结相对于其他复杂的方式处理高并发，这个解决方案简单有效通过缓存抗压，批量入库解决数据库瓶颈，离线计算解决统计数据，通过定期清理保证库的大小。 需求背景：有个调用统计日志存储和统计需求，要求存储到mysql中；存储数据高峰能达到日均千万，瓶颈在于直接入库并发太高，可能会把mysql干垮。 问题分析 思考：应用网站架构的衍化过...
摘要：获取消息队列中的脚本，拼接，批量入库。批量入库脚本天级统计脚本总结相对于其他复杂的方式处理高并发，这个解决方案简单有效通过缓存抗压，批量入库解决数据库瓶颈，离线计算解决统计数据，通过定期清理保证库的大小。 需求背景：有个调用统计日志存储和统计需求，要求存储到mysql中；存储数据高峰能达到日均千万，瓶颈在于直接入库并发太高，可能会把mysql干垮。 问题分析 思考：应用网站架构的衍化过...
摘要：获取消息队列中的脚本，拼接，批量入库。批量入库脚本天级统计脚本总结相对于其他复杂的方式处理高并发，这个解决方案简单有效通过缓存抗压，批量入库解决数据库瓶颈，离线计算解决统计数据，通过定期清理保证库的大小。 需求背景：有个调用统计日志存储和统计需求，要求存储到mysql中；存储数据高峰能达到日均千万，瓶颈在于直接入库并发太高，可能会把mysql干垮。 问题分析 思考：应用网站架构的衍化过...
其实我们本篇文章主要讲述的就是需要将采集的数据积累下来，变成企业的数字资产。 积累数据最好的方式就是把数据存入数据库，低码工具除了有可视化编程的便利外，不仅如此还有提供了线上的文档型数据库。文档数据库相比传统数据库，文档数据库的返回结构是JSON格式，直接就可以在前端进行渲染。关系型数据库还得通过代码进行转译。 我们现在还讲另外一个方面是文档数据库的类型更丰富，有附件、富文本、自动编号、数...
阅读 1231·2023-04-25 15:50
阅读 1078·2021-09-22 15:49
阅读 2678·2021-09-22 15:06
阅读 3257·2019-08-30 15:54
阅读 2148·2019-08-29 11:33
阅读 2159·2019-08-27 14:27
阅读 1347·2019-08-27 14:19
阅读 1988·2019-08-23 17:56
