由导出CSV文件格式错误的小结

hizengzeng 发布于2019-08-01 13:58 / 2150人阅读

摘要：目前导出方式占用内存较大。比如有些状态字段，数据库存的就是数字或只占一个字节，完全换成中文状态的话，可能达个字节甚至更多。若是必须要用中文形式。中文乱码解决的话，其实也很简单，函数，将转为编码，在中打开就不会错了

问题描述：
目前、一般情况下，在web开发过程中，使用导入导出报表的情形很多。我们先说导出。项目数据量多导出行数较多，50万行左右，选择的是csv方式导出。针对以下应用场景，导出过程有几点需要注意的的地方。
(测试使用环境、php7.1,mysql5.7.22,mysql5.5.53,mac自带numbers 6.0版本，Windows系统 Excel2007版)

应用场景：
1、用户只习惯用Excel处理数据，csv导出但是用excel打开。
2、无论导入导出，用户均对数据表格格式没有要求（边框、底纹、对齐等），仅对数据格式有基本要求（数字、文本、浮点数等）。
3、后端对xls/xlsx大文件的导入性能较差。（目前php导出excel方式占用内存较大。大数据导出很可能就是内存溢出）

导出注意点：
1、导出数据庞大，尽可能少用汉字。比如有些状态字段，数据库存的就是数字或只占一个字节，完全换成中文状态的话，可能达6个字节甚至更多。效率受影响。若是必须要用中文形式。尽可能精简。

2、其他常见问题。先看一组图：

这是初始要导出的数据

这是csv格式展示，这是我们想要的结果。

这是windows系统excel2007版本打开的样子。
仔细观察，我们发现了几个问题：zifunumebr字段前导0都没了。number字段有个长整型变成了科学计数法。zifu字段中文汉字变成了乱码。最后一行zifu、fudian字段在excel中显示的时候合并了。
这里解决方法其实也很简单。就是在插入字段后面加一个制表符 “t”,注意，不能使用单引号。这样一来除了中文乱码不能解决，其他类型字段都能解决。中文乱码解决的话，其实也很简单，iconv函数，将urf-8转为GBK编码，在Excel中打开就不会错了

服务器托管云服务器 php导出csv文件 js读取csv文件数据格式 js导出数据格式文件怎么打开 js导出数据csv

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/49099.html

由导出CSV文件格式错误的小结

摘要：目前导出方式占用内存较大。比如有些状态字段，数据库存的就是数字或只占一个字节，完全换成中文状态的话，可能达个字节甚至更多。若是必须要用中文形式。中文乱码解决的话，其实也很简单，函数，将转为编码，在中打开就不会错了问题描述：目前、一般情况下，在web开发过程中，使用导入导出报表的情形很多。我们先说导出。项目数据量多导出行数较多，50万行左右，选择的是csv方式导出。针对以下应用场景，导...

Taonce 2019-07-01 12:49 评论0 收藏0
由导出数据到csv引出的Blob相关

摘要：直接通过构造函数进行创建。构造函数是一个对象，可以包含下面两个属性类型类型未知返回空字符串决定的数据格式数据中的如何被转换，可以取值为不变默认或者按操作系统转换方法返回一个新的对象，包含了源对象中指定范围内的数据。 front-end 前段时间项目中有个需求，将数据导出为csv。最近闲下来，整理下相关知识点。 What is Blob 一个 Blob对象表示一个不可变的, 原始数据的类...

MockingBird 2019-08-21 16:20 评论0 收藏0
mongodb 备份、还原、导入、导出简单操作

摘要：还原导出的表数据部分字段的表数据导入还原文件一、 mongodump备份数据库 1.一般常用的备份命令格式 mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径如果想导出所有数据库，可以去掉-d 2.导出数据库[root@local ~]# mongodump -h 127.0.0.1 --port 30216 -d t...

KitorinZero 2019-06-26 17:05 评论0 收藏0
量化交易之股票数据的获取——同花顺软件

摘要：将另存为格式时，文件将工作表中的单元格所显示的文本和数值以逗号分离进行保存。方法此处使用模块的函数读取文件，函数以字典形式返回，字典的键则是这个单元格的标题即列头，每一个单元格内容放在字典的值内。前言数据是进行量化交易的基础和关键，目前国内做量化产品的金融机构大部分是从券商获取高频实时行情数据的，另外很多金融网站也提供了数据接口，可以调用接口方式获取，也可以用爬虫的方式获取。文本讲...

Chaz 2019-07-30 15:17 评论0 收藏0
如何将 JSON, Text, XML, CSV 数据文件导入 MySQL

摘要：举个例子，要处理的文件或者文件是以作为分隔符的，每行有这么三个数据域，那么首先我们需要在数据库中创建这个表创建成功以后就可以导入了。文/freenik 将外部数据导入(import)数据库是在数据库应用中一个很常见的需求。其实这就是在数据的管理和操作中的ETL (Extract, transform, load)的L (Load)部分，也就是说，将特定结构(structure)或者格...

elliott_hu 2019-08-06 13:52 评论0 收藏0