实现方式

采用任务调度中心(如:xxl-job, saturn等)+ Java定时任务的方式,清理的时候可以通过动态配置要清理的表及数据范围,以实现灵活地进行历史数据地清除或者转移。

历史数据清理配置参数说明

参数 说明 默认值 备注
saveHistory 是否保存至历史表 否 设为true,会按预设的格式新建或者匹配到已存在的历史数据表,并将清理的数据转移到该历史数据表中。
dataSource 数据源 指定待清理数据所在的数据源标识
tableName 待清理数据表名 指定要清理那张表的数据
fieldName 时间索引字段名 指定按照那个字段来按时间范围进行清理,该字段必须是DATETIME类型并且已经创建了索引
keepDays 保留最近几天的数据 指定要保留几天的数据,在此之前的数据会被清理掉
batchSize 批量删除记录数 3000 清理的数据量大时,通过分批的方式进行删除,每批删除的数量
extraConditions 额外查询条件 用于限制待清理表的数据范围
historyTablePrefix 历史数据表名前缀 指定保存历史数据的表名前缀
historyTableDateTimePattern 历史数据表名日期时间格式 yyyyMMdd 指定保存历史数据表名中的日期时间格式
historyTableSuffix 历史数据表名后缀 指定保存历史数据的表名后缀

示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
history:
data:
props:
- saveHistory: true
dataSource: primary
tableName: tt_sample
fieldName: created_time
keepDays: 15
batchSize: 1000
extraConditions: created_by='123456'
historyTablePrefix: th
historyTableDateTimePattern: yyyyMMdd
historyTableSuffix: bak

对应的处理过程:

  1. 切换至 primary 数据源

  2. 将清理参数转换成查找数据 sql 如下:

    1
    2
    -- 假设执行清理的日期为 2021-04-28
    select id from tt_sample where created_time <= '2021-04-13 23:59:59.999999999' and (created_by='123456') order by id asc;
  3. 当不需要保存删除的数据到历史表时,直接根据步骤2查询出来的 id 删除数据

  4. 当需要保存删除的数据到历史表时,即 saveHistroy 为 true

    • 按配置获取相应的历史数据表名,示例的表名为 th_tt_sample_20210428_bak
    • 当上述的历史数据表不存在时,按原表 tt_sample 的表结构的新增该表
    • 根据步骤2中查出的 id 将数据复制到 th_tt_sample_20210428_bak 表中
    • 根据步骤2查询出来的 id 删除数据