python流式Pipeline串联处理数据流程

最近需要清洗一批数据，涉及到好几个流程，以前的方式是所有数据处理完一步后再进行下一步，这种方式也能很好的完成需求。

最近发现了一个python的PipeLine库 fastcore  

里面有个pipeline模块，正好满足我的需求

from fastcore.transform import Pipeline

通过以上方式的改写，处理流程改为了串联，一个词同步方法1 2 3 4 处理完后输出最终结果，每一个词都经过了这自定义的4个步骤处理，感觉这种

处理方式类似面向切面编程AOP,一个请求经过多个AOP处理后又回到了主管道，输出最终结果

参考 https://zhuanlan.zhihu.com/p/359299883?ivk_sa=1024320u

来源：https://www.cnblogs.com/fly-kaka/p/15979517.html
本站部分图文来源于网络，如有侵权请联系删除。