批量/离线推理架构主要用于按照预先设定的调度,对一批数据进行预测分析,以下从数据处理流程、组件构成、优势与挑战等方面介绍:
数据处理流程
- 数据收集与存储:从各种数据源(如数据库、文件系统、日志文件等)收集待处理的数据,并存储在数据仓库或分布式文件系统中,如Hadoop分布式文件系统(HDFS)。这些数据可以是历史积累的,也可以是在特定时间段内收集的。
- 数据预处理:对收集到的数据进行清洗、转换和特征工程等预处理操作。例如,处理缺失值、异常值,将数据进行归一化、编码等转换,提取或构造有助于模型预测的特征。
- 模型加载:将已经训练好的机器学习或深度学习模型加载到推理环境中。这些模型可以是在大规...