现代互联网企业、金融行业、电信行业甚至传动行业通过OLTP(联机事务处理)的业务系统积累了海量的企业资料,需要企业应用能够在关键任务中进行批量处理操作业务逻辑。
通常情况下,此类业务不需要人工参与就能够自动高效地进行复杂资料处理与分析。例如定期对大批量资料进行业务处理(如银行对账和利率的调整 、或跨数据库/系统的资料同步)
或者是把从内部和外部系统中获取到的资料进行处理后集成到其他的系统中去,这类工作被称为"批处理"
批处理---工作在面对复杂的业务以及海量的资料处理时,无需人工干预,仅需要定期读入批量资料,然后完成相应业务处理并进行归档操作。
批处理的工作特点：
1.自动执行--根据系统设定的工作步骤自动完成
2.资料量大--少则百万,多则千万甚至上亿
3.定时执行--每天/每周每月执行
批处理流程:
1.读资料--资料可能来自档案、数据库或讯息伫列等；
2.处理资料--处理读取的资料并形成输出的结果；
3.写资料--将输出结果写入档案、数据库、讯息伫列等。
一个典型的批处理场景：
系统A从数据库获取资料,进过业务处理后,
汇出系统B所需要的资料到档案中,系统B读取档案资料,
进过业务处理后,最后存放在数据库中,
通常情况下该批处理动作在每天晚上12点至2点执行。
