Oracle的pipelined函数实现高性能大数据处理
时间：2022-03-10 17:20
在plsql开发中，会涉及到一些大数据量表的数据处理，如将某记录数超亿的表的记录经过处理转换插入到另外一张或几张表。常规的操作方法固然可以实现，但时间、磁盘IO、redo日志等等都非常大。Oracle
提供了一种高级函数，可以将这种数据处理的性能提升到极限。这种函数称为管道函数。在实际项目中，管道函数会和表函数、数据流函数（即表函数和CURSOR结合）、数据集合、并行度一起使用，达到大数据处理的性能顶峰。下面是一个例子，将表t_ss_normal的记录插入到表t_target中，插入过程中有部分转换操作。我分成四个方法来实现这个数据处理操作。
第一个方法，也是最常规的方法，代码如下：
在测试过程中，我测试200W记录的操作，时间从24秒降到到8秒，重做日志也降低更多。
在此数据处理操作中，涉及到集合(collection)、表函数、管道函数、流函数、bulk
collect、游标等知识点。
Oracle的pipelined函数实现高性能大数据处理,布布扣,bubuko.com
