UTF8与UTF8+BOM的区别

2018, Nov 27    

一个带标签,一个没有标签。

BOM是Byte Order Mark(定义字节顺序),因为在网络传输中分两种顺序:大头和小头。

由于兼容性,带BOM的utf-8在一些browser中显示为乱码。

网上搜索了关于Byte Order Mark的信息: 在UCS 编码中有一个叫做”ZERO WIDTH NO-BREAK SPACE”的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建

议我们在传输字节流前,先传输字符”ZERO WIDTH NO-BREAK SPACE”。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这

个字节流是Little- Endian的。因此字符”ZERO WIDTH NO-BREAK SPACE”又被称作BOM。 UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符”ZERO WIDTH NO-BREAK SPACE”的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF

开头的字节流,就知道这是UTF-8编码了。 Windows就是使用BOM来标记文本文件的编码方式的。

带BOM的UTF-8,所有PHP无法识别,直接将EF BB BF输出,在charset=”utf-8”的页面中是空白,在GB2312的页面中的输出的就是稀有汉字:锘匡豢

使用json2csv将json转成csv时,excel打开文件乱码,因为nodejs仅支持utf8而不是utf8 + BOM,当然json2csv提供了withBom这个api解决这个问题

utf8

var fileName = "public/data_export/" + dateStr + ".csv"
            let  JSON2CSVPARSER  = require('json2csv').Parser
            let fields = [{
                label: '需求名称',
                value: 'title'
            },{
                label: '版本',
                value: 'version'
            },{
                label: '业务',
                value: 'biz'
            },{
            	label: '状态',
				value: 'project_status'
			}]
			let opts = { fields }
      let csv = new JSON2CSVPARSER(opts).parse(todoList)

utf8 + BOM

var fileName = "public/data_export/" + dateStr + ".csv"
            let  JSON2CSVPARSER  = require('json2csv').Parser
            let fields = [{
                label: '需求名称',
                value: 'title'
            },{
                label: '版本',
                value: 'version'
            },{
                label: '业务',
                value: 'biz'
            },{
            	label: '状态',
				value: 'project_status'
			}]
			let opts = { fields }
      const transformOpts = { withBOM: true }
      let csv = new JSON2CSVPARSER(opts, transformOpts).parse(todoList)