本文介绍了使用Kettle实现增量数据同步的方法。通过获取目标库test中表的最大更新时间作为变量在源数据库cs中筛选出更新时间大于该变量的记录进行同步更新。关键步骤包括1)设置变量转换获取最大更新时间2)配置变量作用域推荐Valid in the root job3)在表输入步骤中使用变量筛选数据4)注意SQL中变量引用的正确使用方式。该方法有效实现了基于时间戳的增量同步避免了全量更新的资源消耗。增量前提目标库 test 和源数据库 cs 都有时间字段YWK_GXSJ更新时间。增量原理通过获取test库的最大时间作为变量然后根据此时间变量进行查询筛选后再更新完整作业新建转换查询test数据库表设置变量字段选择是为了让日期格式更加规范点击获取字段选择变量活动类型。绝大多数情况选择Valid in the root job不行就选Valid in the Java Virtual MachineValid in the Java Virtual Machine (JVM):变量被设计为在JVM中全局可见例如作为类的静态字段那么它们可以在整个JVM实例中被访问。注意这种做法并不常见且可能引入难以维护的复杂性。Valid in the parent job:当变量被设置为在父作业中有效时它可以在该父作业及其调用的任何子转换或子作业中被访问。这意味着如果您在父作业中定义了一个变量并且在一个子转换或子作业中需要访问这个变量那么您应该将该变量的作用域设置为“在父作业中有效”。Valid in the grand-parent job:类似地当变量被设置为在祖父级作业中有效时它可以在该祖父作业、其子作业即父作业以及这些子作业调用的任何子转换或子作业中被访问。这种作用域适用于需要跨越多级作业层次结构传递数据的场景。Valid in the root job:当变量被设置为在根作业中有效时它可以在整个作业树中被访问无论这些作业是如何嵌套的。这是最广泛的作用域适用于需要在整个作业流程中共享的数据。点击确定后会有个警告无视即可再新建个转换进行获取变量手动填写名称和变量类型和格式要和数据表的对应。点击预览可以查看获取的变量表输入中使用变量对数据进行筛选只有更新时间大于变量的才进行输入SELECT * FROM T_YW_PWDW_CBDB_copy1 WHERE YWK_GXSJ${MAX_GXSJ}注意SQL中引号使用不当会报错1.数值类型可以直接使用2.字符串/日期类型必须加单引号3.检查点记得在“表输入”等步骤中勾选 “替换SQL语句里的变量” 选项插入/更新就和平常一样配置即可更新字段那变量字段记得删除执行成功