redis 数据同步 redis-migrate-tool 速度测试


此篇是关于 redis-migrate-tool测试报告

时间 2021.11.18
单机测试
Centos 7
redis 5
内网环境,无延迟状态。
本次测试的工具是 redis-migrate-tool 版本为 0.1.0
两台服务器
192.168.41.101
192.168.41.102

结论: 无论是单向(在所在同步工具上操作)还是双向数据同步,新增删除数据的话是没问题,
但是如果出现删除数据的话双向同步会造成数据异常,详情见测试过程。若有不当地方,欢迎指正。

测试内容单向传输速度

仅101 开启同步程序

1.首先测试 101 新增数据同步到102 的速度

101 编写脚本 批量生成key 的数据 1-10000 条
在啊啊啊啊啊述

首先检查下数据都为空。
在这里插入图片描述
开始在101 服务器运行插入脚本
在这里插入图片描述
脚本运行完毕 101 ,102 数据 正常同步完毕。
在这里插入图片描述

结论:单向新增数据无问题

2.首先测试 101 删除数据同步到102 的速度

此时101 和102 的数据key各为 1w条
在101 执行删除key 的脚本,查看 102 的速度
在这里插入图片描述
首先检查下数据都为1w。
在这里插入图片描述
开始在101 服务器运行删除脚本
脚本运行完毕 101 ,102 数据 正常同步完毕。
在这里插入图片描述
结论:单向删除数据无问题

测试内容双向传输速度

仅101,102 同时 开启同步程序
101 配置文件

首先测试分别在101 和102 set 一个数值,查看正常同步
在这里插入图片描述
删除查看是否正常(这个地方测试了很多次,有时候正常有时候不正常,未找到原因,删除完毕后过一段时间数据就自动还原了不正常。)
101 删除正常
在这里插入图片描述
102 删除异常
在这里插入图片描述
101 删除正常
在这里插入图片描述

3.首先测试 101 ,102新增数据互相同步的速度,同时运行两个脚本。

101 插入 1-10000
102 插入 10001 -20000
在这里插入图片描述
在这里插入图片描述
数 据 同 步 正 常 \color{green}{数据同步正常}

4.测试 101删除数据互相同步的速度

101 删除脚本运行完毕
在这里插入图片描述
101 查 看 结 果 , 多 次 运 行 会 出 现 多 个 结 果 数 据 异 常 \color{red}{101 查看结果 ,多次运行会出现多个结果数据异常}101
在这里插入图片描述
在这里插入图片描述

102 查看结果
在这里插入图片描述
这个地方怀疑 101 的数据删除完毕后,没有及时同步到102 ,102 还存在数据直接同步到101 里面去了出现死循环。

5.测试 101,102删除数据互相同步的速度,两个脚本同时运行。

101 还存在数据
在这里插入图片描述
102 也存在数据
在这里插入图片描述
两台服务器都只删除了一部分数据,但是脚本已经跑完了,又出现死循环的状况。

怀疑是数据量过多导致,测试 1000key 删除的情况

数据全部清空,重新生成1000 数据测试。经测试数据还是一样只被删除了一半,在删除数据还没有同步的情况下,又同步了新的数据。

测试100 key 删除的情况 ,结果一样。
结论,两侧不能同时删除数据,否则会出现数据不一致的情况。

6.测试 101 删除数据互相同步的速度,1个脚本运行。

结论,一侧大量删除100key,也会出现数据不一致的情况。


版权声明:本文为ko_oi原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。