UTF8与UTF8+BOM的区别
2018, Nov 27
一个带标签,一个没有标签。
BOM是Byte Order Mark(定义字节顺序),因为在网络传输中分两种顺序:大头和小头。
由于兼容性,带BOM的utf-8在一些browser中显示为乱码。
网上搜索了关于Byte Order Mark的信息: 在UCS 编码中有一个叫做”ZERO WIDTH NO-BREAK SPACE”的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建
议我们在传输字节流前,先传输字符”ZERO WIDTH NO-BREAK SPACE”。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这
个字节流是Little- Endian的。因此字符”ZERO WIDTH NO-BREAK SPACE”又被称作BOM。 UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符”ZERO WIDTH NO-BREAK SPACE”的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF
开头的字节流,就知道这是UTF-8编码了。 Windows就是使用BOM来标记文本文件的编码方式的。
带BOM的UTF-8,所有PHP无法识别,直接将EF BB BF输出,在charset=”utf-8”的页面中是空白,在GB2312的页面中的输出的就是稀有汉字:锘匡豢
使用json2csv将json转成csv时,excel打开文件乱码,因为nodejs仅支持utf8而不是utf8 + BOM,当然json2csv提供了withBom这个api解决这个问题
utf8
var fileName = "public/data_export/" + dateStr + ".csv"
let JSON2CSVPARSER = require('json2csv').Parser
let fields = [{
label: '需求名称',
value: 'title'
},{
label: '版本',
value: 'version'
},{
label: '业务',
value: 'biz'
},{
label: '状态',
value: 'project_status'
}]
let opts = { fields }
let csv = new JSON2CSVPARSER(opts).parse(todoList)
utf8 + BOM
var fileName = "public/data_export/" + dateStr + ".csv"
let JSON2CSVPARSER = require('json2csv').Parser
let fields = [{
label: '需求名称',
value: 'title'
},{
label: '版本',
value: 'version'
},{
label: '业务',
value: 'biz'
},{
label: '状态',
value: 'project_status'
}]
let opts = { fields }
const transformOpts = { withBOM: true }
let csv = new JSON2CSVPARSER(opts, transformOpts).parse(todoList)