第234章 进展1
重生后我只做正確选择 作者:佚名
第234章 进展1
鹏城的七月,天像是倒扣的陶罐子,把溽热燜在里头。
推开窗户,空气稠得能攥出水,白晃晃的日头还没爬上来,楼群间已浮起嗡嗡的空调声。
那些方盒子外机列在水泥墙上,活似蜂巢里躁动的工蜂,昼夜不息地吐著热浪。
木棉叶子蒙了层釉光,油亮亮地发蔫。
榕树的气根垂成帘幕,悬在街角纹丝不动,倒叫人想起戏台子上的老生髯口。
水泥地浮著汗碱,柏油路晒得发软,踩上去黏答答的,像是踩著块晒化的梘水粽。
鹏城坂田华兴总部d区数据中心的玻璃幕墙映著晚霞,將整个走廊染成橘红色。
陈默的办公室门敞开著,林雨晴抱著一摞文件站在门口,看著里面围坐在会议桌旁的几个人“惯例加班”。
“冯工,这是上周压测的日誌分析。” 苏琳將平板电脑推过桌面,屏幕上跳动著密密麻麻的数据流,“分布式事务模块的吞吐量卡在8万tps,和oracle的差距还是超过 20%。”
冯亦如的手指在桌沿敲出急促的节奏,金丝眼镜都快要滑到鼻翼:“锁衝突的问题还没解决?上周不是说优化了锁粒度?”
坐在他对面的钟耀祖闻言撇了撇嘴,心想妈的你倒是说得简单,你行你上。
嘴上却还是老实说道:“传统两阶段提交协议在跨节点事务里就是绕不过的坎儿。我和顾南舟试过引入paxos算法,但一致性校验的延迟又上来了。”
会议室的空调发出轻微的嗡鸣,而顾南舟正盯著墙上的架构图发呆。
旋即突然开口:“有没有可能重构事务日誌的存储结构?比如用lsm树替代b+树?”
“胡闹!” 徐璐猛地抬头,作为运维负责人的她最在意资料库的稳定性,听见“重构”两个字她下意识就是反对,“lsm树的写放大问题怎么解决?我们现在的i/o瓶颈已经够严重了。”
钟耀祖和顾南舟交换了个眼神,前者往前倾了倾身子:“徐总,我们做过模擬,结合分层压缩策略,写放大能控制在3倍以內。而且苏琳他们开发的动態缓衝算法,刚好能配合这个结构。”
记住我们101看书网
苏琳连忙点头,调出另一张图表:“这是上周在测试环境跑的数据,虽然单次写入延迟增加了15%,但批量处理效率提升了40%。”
徐璐看完后默不出声,而一旁的冯亦如看完后则同样迟迟没有说话。
陈默靠在办公椅上,看著这两个目前公司最资深的资料库专家陷入挣扎,倒是没想到连苏琳也“叛变了”。
从2015年10月高斯资料库项目优先级重新提到最高等级以来,陈默就用了华兴惯用的集中攻关方式来重点攻克这个项目。
典型的“压强式投入”和“军团作战”模式,通过资源聚焦、跨团队协同、快速叠代等方式,突破自研分布式资料库的核心技术难题。
隨著每过一段时间就有“大牛”进入团队,这样的技术爭论几乎每天都在发生。
冯亦如带著老团队坚守传统想法,而钟耀祖、顾南舟这些天才少年则不断提出激进的改进方案。
“这样吧,” 陈默突然开口,“两边都別爭了。老冯,你带苏琳他们继续优化现有方案,重点解决锁衝突。耀祖,你们组用lsm树做个实验性分支,下周在蓉城数据中心做压力测试。”
钟耀祖刚要开口,陈默抬手打断:“我知道你想说资源,但现在整个数据中心20%的算力都给了你们。要是这次压测再不过,別说我没给机会。”
会议室的气氛稍微缓和了些,林雨晴適时递上几份文件:“陈总,这是王启明那边的进度。他带著韩清和从sap挖来的团队,把erp和高斯资料库的接口適配推进了30%。”
陈默当然还记得韩清,魔都交大招来的妹子,天才少年之一,算法方向特別有天赋。
还在他回忆的时候却听见了徐璐有些闷闷的声音,“但兼容性测试又发现新问题。”。
她还没开口,边上的刘洋作为资料库运维团队负责人的头號马仔从角落开了口,“財务模块的跨国结算逻辑和高斯的事务隔离级別不兼容,上周模擬断网场景,出现了三笔数据不一致。”
陈默揉了揉太阳穴,目光落在墙上的倒计时牌,距离集团要求的 “渡河计划” 第一期验收还有90天。
从去年10月郑总亲自站台开始,华兴在高斯资料库上的投入已经超过3个亿。
抽调了包括冯亦如、钟耀祖在內的300多名骨干,更不用说从全球挖来的天才少年们。
“大家先去吃饭,吃完晚饭去实验室看看。” 陈默起身对林雨晴说道,“今晚把系统运维的胡笳和应用支持的徐双龙也叫上,跨团队碰一碰。”
位於坂田的华兴中央实验室,空调开得格外冷。
陈默和林雨晴一同走进机房,看到娜塔莎正趴在地上检查伺服器线缆,叶蓁蓁戴著降噪耳机盯著屏幕,手指在键盘上飞快敲击。
“顾神,来瓶默总的牛马提神水?” 钟耀祖扔过去一罐功能性饮料,却被顾南舟接住后放在一边。
“別闹,” 顾南舟头也不抬,“刚发现锁超时机制和应用层的重试逻辑有衝突,每次重试都会触发锁升级,导致死锁概率增加2%。”
胡笳此刻抱著笔记本电脑坐在角落,听到这话立刻抬头:“我们应用系统那边收到反馈,物流系统的订单锁经常卡死。是不是和这个有关?”
徐双龙点头补充:“对,还好是测试环境,不然电话估计都会被打爆了。”
冯亦如调出监控画面,红色预警闪烁:“看,这就是锁竞爭最激烈的节点。仓储、物流、財务三个模块同时调用库存数据,传统的行级锁根本扛不住。”
钟耀祖突然站到白板前,用马克笔划出架构图:“问题出在锁颗粒度太细。如果改成表级锁结合乐观锁,至少能减少70%的锁竞爭。”
“但乐观锁在高並发下的重试成本更高!” 冯亦如反驳,“而且和我们现有的事务日誌结构不兼容。”
陈默看著白板上密密麻麻交错的线条,只感觉脑瓜子疼。
去年在黄二姐大排档和冯亦如那会儿高斯资料库还在低谷,如今却像个正在蜕变的蛹,每一步都伴隨著剧痛。
“这样,” 陈默敲了敲白板,“再新增一套测试环境,耀祖的方案在新测试环境跑,老冯你安排苏琳做兼容性验证。胡笳,你带应用团队整理出三个高频锁竞爭的业务场景,明天中午前给我。”
他转身看向徐璐:“运维这边准备好应急预案,別让他们把所有1比1的测试环境都给我搞掛嘍。”
集中攻关的日子过得很快。
“把空调开到16度!”
苏琳扯著嘶哑的嗓子拍打机房玻璃门时,冯亦如正在数据中心大门外啃麵包吃。
这是2016年7月22日凌晨三点,鹏城坂田d区b3机房。
第234章 进展1
鹏城的七月,天像是倒扣的陶罐子,把溽热燜在里头。
推开窗户,空气稠得能攥出水,白晃晃的日头还没爬上来,楼群间已浮起嗡嗡的空调声。
那些方盒子外机列在水泥墙上,活似蜂巢里躁动的工蜂,昼夜不息地吐著热浪。
木棉叶子蒙了层釉光,油亮亮地发蔫。
榕树的气根垂成帘幕,悬在街角纹丝不动,倒叫人想起戏台子上的老生髯口。
水泥地浮著汗碱,柏油路晒得发软,踩上去黏答答的,像是踩著块晒化的梘水粽。
鹏城坂田华兴总部d区数据中心的玻璃幕墙映著晚霞,將整个走廊染成橘红色。
陈默的办公室门敞开著,林雨晴抱著一摞文件站在门口,看著里面围坐在会议桌旁的几个人“惯例加班”。
“冯工,这是上周压测的日誌分析。” 苏琳將平板电脑推过桌面,屏幕上跳动著密密麻麻的数据流,“分布式事务模块的吞吐量卡在8万tps,和oracle的差距还是超过 20%。”
冯亦如的手指在桌沿敲出急促的节奏,金丝眼镜都快要滑到鼻翼:“锁衝突的问题还没解决?上周不是说优化了锁粒度?”
坐在他对面的钟耀祖闻言撇了撇嘴,心想妈的你倒是说得简单,你行你上。
嘴上却还是老实说道:“传统两阶段提交协议在跨节点事务里就是绕不过的坎儿。我和顾南舟试过引入paxos算法,但一致性校验的延迟又上来了。”
会议室的空调发出轻微的嗡鸣,而顾南舟正盯著墙上的架构图发呆。
旋即突然开口:“有没有可能重构事务日誌的存储结构?比如用lsm树替代b+树?”
“胡闹!” 徐璐猛地抬头,作为运维负责人的她最在意资料库的稳定性,听见“重构”两个字她下意识就是反对,“lsm树的写放大问题怎么解决?我们现在的i/o瓶颈已经够严重了。”
钟耀祖和顾南舟交换了个眼神,前者往前倾了倾身子:“徐总,我们做过模擬,结合分层压缩策略,写放大能控制在3倍以內。而且苏琳他们开发的动態缓衝算法,刚好能配合这个结构。”
记住我们101看书网
苏琳连忙点头,调出另一张图表:“这是上周在测试环境跑的数据,虽然单次写入延迟增加了15%,但批量处理效率提升了40%。”
徐璐看完后默不出声,而一旁的冯亦如看完后则同样迟迟没有说话。
陈默靠在办公椅上,看著这两个目前公司最资深的资料库专家陷入挣扎,倒是没想到连苏琳也“叛变了”。
从2015年10月高斯资料库项目优先级重新提到最高等级以来,陈默就用了华兴惯用的集中攻关方式来重点攻克这个项目。
典型的“压强式投入”和“军团作战”模式,通过资源聚焦、跨团队协同、快速叠代等方式,突破自研分布式资料库的核心技术难题。
隨著每过一段时间就有“大牛”进入团队,这样的技术爭论几乎每天都在发生。
冯亦如带著老团队坚守传统想法,而钟耀祖、顾南舟这些天才少年则不断提出激进的改进方案。
“这样吧,” 陈默突然开口,“两边都別爭了。老冯,你带苏琳他们继续优化现有方案,重点解决锁衝突。耀祖,你们组用lsm树做个实验性分支,下周在蓉城数据中心做压力测试。”
钟耀祖刚要开口,陈默抬手打断:“我知道你想说资源,但现在整个数据中心20%的算力都给了你们。要是这次压测再不过,別说我没给机会。”
会议室的气氛稍微缓和了些,林雨晴適时递上几份文件:“陈总,这是王启明那边的进度。他带著韩清和从sap挖来的团队,把erp和高斯资料库的接口適配推进了30%。”
陈默当然还记得韩清,魔都交大招来的妹子,天才少年之一,算法方向特別有天赋。
还在他回忆的时候却听见了徐璐有些闷闷的声音,“但兼容性测试又发现新问题。”。
她还没开口,边上的刘洋作为资料库运维团队负责人的头號马仔从角落开了口,“財务模块的跨国结算逻辑和高斯的事务隔离级別不兼容,上周模擬断网场景,出现了三笔数据不一致。”
陈默揉了揉太阳穴,目光落在墙上的倒计时牌,距离集团要求的 “渡河计划” 第一期验收还有90天。
从去年10月郑总亲自站台开始,华兴在高斯资料库上的投入已经超过3个亿。
抽调了包括冯亦如、钟耀祖在內的300多名骨干,更不用说从全球挖来的天才少年们。
“大家先去吃饭,吃完晚饭去实验室看看。” 陈默起身对林雨晴说道,“今晚把系统运维的胡笳和应用支持的徐双龙也叫上,跨团队碰一碰。”
位於坂田的华兴中央实验室,空调开得格外冷。
陈默和林雨晴一同走进机房,看到娜塔莎正趴在地上检查伺服器线缆,叶蓁蓁戴著降噪耳机盯著屏幕,手指在键盘上飞快敲击。
“顾神,来瓶默总的牛马提神水?” 钟耀祖扔过去一罐功能性饮料,却被顾南舟接住后放在一边。
“別闹,” 顾南舟头也不抬,“刚发现锁超时机制和应用层的重试逻辑有衝突,每次重试都会触发锁升级,导致死锁概率增加2%。”
胡笳此刻抱著笔记本电脑坐在角落,听到这话立刻抬头:“我们应用系统那边收到反馈,物流系统的订单锁经常卡死。是不是和这个有关?”
徐双龙点头补充:“对,还好是测试环境,不然电话估计都会被打爆了。”
冯亦如调出监控画面,红色预警闪烁:“看,这就是锁竞爭最激烈的节点。仓储、物流、財务三个模块同时调用库存数据,传统的行级锁根本扛不住。”
钟耀祖突然站到白板前,用马克笔划出架构图:“问题出在锁颗粒度太细。如果改成表级锁结合乐观锁,至少能减少70%的锁竞爭。”
“但乐观锁在高並发下的重试成本更高!” 冯亦如反驳,“而且和我们现有的事务日誌结构不兼容。”
陈默看著白板上密密麻麻交错的线条,只感觉脑瓜子疼。
去年在黄二姐大排档和冯亦如那会儿高斯资料库还在低谷,如今却像个正在蜕变的蛹,每一步都伴隨著剧痛。
“这样,” 陈默敲了敲白板,“再新增一套测试环境,耀祖的方案在新测试环境跑,老冯你安排苏琳做兼容性验证。胡笳,你带应用团队整理出三个高频锁竞爭的业务场景,明天中午前给我。”
他转身看向徐璐:“运维这边准备好应急预案,別让他们把所有1比1的测试环境都给我搞掛嘍。”
集中攻关的日子过得很快。
“把空调开到16度!”
苏琳扯著嘶哑的嗓子拍打机房玻璃门时,冯亦如正在数据中心大门外啃麵包吃。
这是2016年7月22日凌晨三点,鹏城坂田d区b3机房。