logo

xbsura

第 168 号会员,加入于 4 年前


xbsura最近创建的主题


2 MongoDB的选举过程
MongoDBxbsura • 3 年前 • 最后回复来自 Hisoka-J
3 tokumx对oplog的修改
TokuMXxbsura • 3 年前 • 最后回复来自 ccj
4 mongdb数据迁移方案
MongoDBxbsura • 3 年前 • 最后回复来自 xbsura
xbsura 创建的更多主题

xbsura最近回复了


回复了 ccj 创建的主题: 一种MongoDB分片集群迁移的方案 3 年前

@ccj 36T,几百亿条数据,全部机器更换,业务无感知. api还是有存在的必要.

回复了 xbsura 创建的主题: mongdb数据迁移方案 3 年前

@ccj 线上使用的是2.2系列的版本,自己改动的比较多,估计还要过段时间才能升级。

回复了 xbsura 创建的主题: tokumx对oplog的修改 3 年前

有尾部查询,两个问题: 我们迁移数据在dump时保留了时间戳,dump/restore经历几个小时,之后再去查几个小时之前的时间点,耗时太久,改成按_id查询之后又不能指定同步某一时间点之后的数据. 日常使用中确实出现了很多oplog同步查询很慢的日志记录,慢的可以到几秒,目前单机写入并不大,每秒只有几百条,以后不知道会不会有问题。 按照oplog的ts查询,每次查询会造成15%左右的cpu idel下降,问题在于,在cpu下降经历一段时间之后,会出现数据库完全不可访问的现象,不知道原因,日志没有任何异常。

回复了 xbsura 创建的主题: mongdb数据迁移方案 3 年前

数据同步是没用过mongosync吧。。。 不开源不敢用啊。 万一你不是安全写入丢数据怎么处理,之前测试过不安全写入有万分之一左右的数据错误。 oplog同步单线程使用安全写入怕速度不够,这边我们自己的脚本单线程只有单mongod不到1000条的速度,单条600B左右,没有源集群的写入更新速度大,追不上。

回复了 ccj 创建的主题: MongoDB数据同步工具mongosync介绍及下载 3 年前

有没有考虑多线程乱序应用oplog,单线程安全写入同步速度太低了,会不会跟不上?

开源嘛哥哥。

回复了 ccj 创建的主题: MongoDB数据同步工具mongosync介绍及下载 3 年前

tokumx不支持带有oplog_replay时尾部查找,extent查找的优化,ts格式的变化,ops的格式变化,这个同步有没有兼容。

开源嘛哥哥。

回复了 ccj 创建的主题: MongoDB数据同步工具mongosync介绍及下载 3 年前

是否安全写入?测试看速度貌似不是安全写入,不安全写入是否会发生数据丢失,怎么处理的?同步oplog是否采用读出oplog再向目标集群应用的方式?

开源嘛哥哥。

xbsura 创建的更多回复