Redis 数据集成

这是 Redis 数据集成 (RDI) 的第一个通用可用版本。

RDI 的目的是帮助 Redis 客户将 Redis Enterprise 与来自其基于慢速磁盘的数据库的实时数据同步，以便：

• 满足读取查询所需的速度和规模，并提供出色且可预测的用户体验。
• 在构建管道和编码数据转换时节省资源和时间。
• 通过节省昂贵的数据库读取副本的费用来降低总体拥有成本。

RDI 目前支持两种场景：

• 提取场景：RDI 使用变更数据捕获(CDC) 工具将应用程序的主数据库镜像到 Redis。RDI将数据库模型和类型转换为 Redis 模型和类型。当应用程序数据库的性能和可扩展性不足以满足读取查询时，此场景非常有用。RDI 可帮助您将所有读取查询卸载到 Redis。

  笔记：

  Redis 数据库或CRDB（主动主动复制）目标 支持 Ingest 。
  

• 后写场景（预览）：RDI 将 Redis 中的数据更改应用于一个或多个下游数据存储。RDI 可以将 Redis 类型和模型映射并转换为下游类型和模型。当应用程序需要对某些查询进行快速写入和读取，但必须将数据提供给需要不同模型中的数据以供其他用途的其他下游服务时，此场景非常有用。

  笔记：

  CRDB（主动主动复制）不支持 后写
  

请参阅 Ingest 架构指南 和 Write-behind 架构指南 以了解更多信息。

支持的来源（摄取）

RDI 使用Debezium Server连接器支持以下数据库源：

支持的目标（后写）

特征

RDI 是一款具有丰富功能的企业级产品。

弹性、高可用性和数据传输保证

• 至少一次保证，端到端
• 传输中的数据被复制到分片副本
• 数据持久性（参见Redis AOF）
• 防止连锁故障的背压机制
• 失败时重新连接并重试写入

开发人员工具和数据转换

• 声明性数据过滤、映射和转换
• 转换中支持 SQL 和JMESPath表达式
• 附加的 JMESPath 自定义函数，简化转换表达式
• 转换作业验证
• 零停机管道重新配置
• 硬故障路由至死信队列流进行故障排除
• 追踪工具

操作员工具和生命周期管理

• 具有内置帮助和验证的 CLI
• 使用 CLI 安装
• RDI 零停机升级
• 健康和数据来源状态工具
• 使用Prometheus和Grafana进行监控