ERROR: invalid byte sequence for encoding “UTF8”: 0x00 可能是Oracle的表字段中存在chr(0) 字符

1.问题描述

最近在做Oracle到Postgresql表数据的同步，采用的是ETL表输入表输出组件，其中几张表同步时总是报如下错误：
ERROR Batch entry 0 INSERT INTO table_name (column_name) VALUES ( values) was aborted: ERROR: invalid byte sequence for encoding “UTF8”: 0x00 Call getNextException to see other errors in the batch.

2.结论

字段中存在 chr(0) 字符，oracle中 chr(0) 表示的是字符串的结束符，
而pg中可能不支持这种字符。

3.解决方法

使用 replace([column_name],chr(0),null)

---

4.解决过程

起初以为是oracle的中文数据是gbk字符，pg库不支持，在百度上找了个oracle字符集转换函数convert()，试了一下，还是报同样的错误。

于是我试着从其他角度解决问题，我试着在pg库中，执行错误日志中的INSERT INTO语句，发现执行成功。

我在oracle库中找到了这条数据，发现其中有个字段数据看起来有些不一样。

正常情况下，plsql结果集中NULL值，是黄底空白显示，而这个字段是白底空白显示
说明该字段中有记录数据，而非NULL值。

我试着执行以下sql：

select ascii(PAYMENT_MODE_CD)from [table_name];select [column_name],case when [column_name] = '' then 1when [column_name] = ' ' then 2when [column_name] is null then 3endfrom [table_name];

但结果都不符合以上条件

于是我试着对其转义：

select ascii([column_name])from [table_name];

结果为0，对应ASCII编码表中的 NUL (NULL)

似乎是 chr(0)，但解释为空字符，在这里有些说不通

同事提醒我可能是换行符，于是：

select [column_name],case [column_name] when chr(10) then 10when chr(13) then 13when chr(32) then 32endfrom [table_name];

结果依然不符合以上条件

于是：

select [column_name],case [column_name]when chr(0) then 0when chr(1) then 1when chr(2) then 2when chr(3) then 3when chr(4) then 4when chr(5) then 5when chr(6) then 6when chr(7) then 7when chr(8) then 8when chr(9) then 9when chr(10) then 10when chr(11) then 11when chr(12) then 12when chr(13) then 13when chr(14) then 14when chr(15) then 15when chr(16) then 16when chr(17) then 17when chr(18) then 18when chr(19) then 19when chr(20) then 20when chr(21) then 21when chr(22) then 22when chr(23) then 23when chr(24) then 24when chr(25) then 25when chr(26) then 26when chr(27) then 27when chr(28) then 28when chr(29) then 29when chr(30) then 30when chr(31) then 31when chr(32) then 32when chr(33) then 33when chr(34) then 34when chr(35) then 35when chr(36) then 36when chr(37) then 37when chr(38) then 38when chr(39) then 39when chr(40) then 40when chr(41) then 41when chr(42) then 42when chr(43) then 43when chr(44) then 44when chr(45) then 45when chr(46) then 46when chr(47) then 47endfrom [table_name];

结果居然还是chr(0)

最终找到一篇帖子chr(0)的陷阱：
在oracle里面chr(0)表示的是字符串的结束符