华为EMC开发故事连载2:你可能不会想到,华为还有一群这么“雷人”的人
追击雷电的人
熊膺
1998年,整个夏天,我和两个同事每天都在“救火”。
由于雷雨多发,华为的设备遭雷击损坏严重,先是传输产品,紧接着是交换机和接入设备,一坏就是一大片。没有专门的防雷团队,作为临时抽调的救火队员,我们每天都被突发状况搞得措手不及。一次紧急外出测试,我匆忙返回宿舍取行李,司机在楼外按着喇叭拼命催,我一不留神,“嘭”一下,整个人撞在了宿舍的玻璃门上。鼻梁撞破,连眼镜都撞碎一块。
来到测试现场,捧着被烧坏的单板,我更是欲哭无泪。搞不清楚防雷的设计、标准,根本是两眼一抹黑,漏洞堵了这一个,堵不住下一个啊!当时的我满心委屈,心里直犯嘀咕:为啥咱们的防雷这么落后?
现在回头再看当时的场景,实在有些滑稽,却很真实。从怕雷、躲雷到主动追雷、引雷,这一路我们经历了很多不可思议的故事。
研发人里最会开叉车的
1999年之前,由于在设计上缺乏考虑,各种设备的直流电源口防雷能力薄弱,成为雷打的“重灾区”。我们根据经验在直流口安上了防雷器,暂时止住了问题的爆发,然而,要想治本,必须成立专门的防雷团队,在产品设计阶段就把防雷性能考虑进去。有一些“鼻青脸肿”的经验的我也成为了团队的一员。
第一次开会,偌大的会议里就坐了寥寥几个人,大家面面相觑:就我们几个新兵,能补齐华为几大产品线的防雷问题?好在不久后,华为电气几位颇有防雷经验的专家也加盟进来,我们终于拉起了一支像样的作战部队。
手上相关资料很少,更没有线上课程,我们只能利用空隙时间啃书充电,补理论、找案例,遇到不懂的,赶紧请教过来支援的专家,专家也解决不了,就再啃书……我们还请到了国内通信防雷的领军人物刘吉克。这可是一线 “大牛”,在防雷标准上有绝对的话语权,我们迫切地想要抓住每一根“可能救命的稻草”,培训的资料、笔记,都当做武功秘籍一样翻来覆去地研究,就这样把华为设备各个端口的防雷规格定了下来。
培训过后,我们8个核心组成员都被分配了一个重点产品,涉及无线、交换、接入网……8个产品同时攻关。大家开始了各种防雷电路形式的尝试,在不同类型的端口上,按照不同电路设计搭配防雷器件。可这些防雷电路的效果怎么样,还得测试来说话。这个时候,我们突然意识到,公司没有专门模拟雷击的仪器,我们的方案到哪测试去?
既无巧妇也无米,找到仪器才是当务之急!问了一圈业内人士,我们打听到广州有我们要的仪器,但要把实验的大机柜搬到测试现场。货柜车白天限行,我们只有等到凌晨才能跟车进入广州。那段时间,经常都可以看到一群大老爷们儿,三更半夜拉上几百公斤的大机柜,带着烙铁、电缆等一堆测试工具浩浩荡荡进城的大场面。运到广州后,机柜太沉,还得出动叉车,把大机柜连拖带拽到实验室,几个月下来,作为司机的我,练就了一身的绝技,被同事们誉为“研发人里最会开叉车的”。
产线上的“拼命三郎”
到了实验室,我们凭着经验鼓捣的方案,一测试就暴露了问题:预先准备的几个电路方案对通信端口的保护效果都不好!这个结果本在意料之中,我们的参考资料不是为通信设备而写的,肯定会有偏差,必须一边测试,一边探索适合公司产品的电路。
就拿电路方案验证来说,我们原本按照估计,只在防雷电路上装了一个防雷器件,可模拟雷击一“打”,不行,根本扛不住。好在我们有准备,立马又加上了一个防雷器件,满怀信心地一测——又瘫了!什么情况?这下我真着急了。现场解决不了,就要再回到深圳重新准备,一来一去这周就报废了。我想着,一定要搞出点名堂。好在防护电路都是自己手搭的,我仔细检查,发现它没有电感(用来配合防雷器件提高防雷性能的部件),于是,三两下将工具铺开,把电缆里面的粗铜丝抽出来,现场绕制了一个电感,这么一来,防雷效果明显改善。这个方法果然有效,我有点兴奋,不过它软软的像个毛毛虫,一移动就在板子上面晃,暂时也只能先这么凑合着用,到正式交付生产时再来改善。
说起交付生产,更是一把辛酸泪。由于华为很多设备没有考虑防雷,单板上没有预留位置,我们只能把防雷电路组装进一个盒子里,组装成防雷器,出具指导书,让技术服务工程师现场安装到设备上去。此时已经是2000年的2月份,离雷雨季节只有2个月左右的时间了,可是防雷器还在产线上没有组装出来。
有一天,我们正在开会,老大陈敦利接到产品线电话,说发货日期已经定了,可是你们的防雷器怎么还不见踪影?当场急得一拍桌子:“叫车!我们自己上!”我一下愣住了:“我们怎么个上法?”还没反应过来,我就和两个同事一起被老大拉到深圳的厂房。
没有人比我们更了解防雷器,完全不需要培训,我们立马上岗。坐在流水线上,把焊接好的防雷电路安进盒子里,这活没有技术含量,可是我们一群搞研发的,忙活了半天,好不容易装起来一个,旁边的工人们早就组装好四五个了。抬头看看陈敦利,正认真地组装着,比谁都干得更起劲,连饭也顾不上吃。厂商看着我们的样子,无比震惊:你们工程师都自己出马了,简直是拼命三郎啊!可三四天下来,我们的成效并不明显,胳膊和手倒是疼得不行,不过,我们亲自上阵让厂商感到了压力,安排了更多的工人来加班,紧赶慢赶,总算赶上了进度。
这些防雷器被运送到一线后,和设备组装在一起,取得了切实效果,防雷攻关产品的雷击损坏显著减少。
一场“一对多”的PK
吃过“打补丁”的苦,我们不再满足于救火、补漏,希望能介入产品开发的前端,从攻关的角色转变为支撑日常的产品防雷设计。人员的底子还是我们几个人,每个人分配了不同的产品线去支撑,但与其说支撑,不如说是PK。对于我们的诉求,产品线都表示欢迎,但到底能不能做到?我们也要向产品线证明自己的防雷能力。
我刚接手无线的防雷工作不久,一个已经安装了防雷器的新产品就被雷打坏了,产品线领导连连皱眉:“你们不是严格测试过了吗?怎么还是没用?先把防雷器做好再来谈介入前端设计吧!”
到了现场检查,我发现防雷器的放置位置完全不对,接地的方案也不合理,防雷器当然无法有效发挥作用。然而我的解释并没有赢得产品线的信任:“你们有什么证据吗?按照你的意见调整,知道对产品的工程方案影响有多大吗?”
问题没解决成,我灰头土脸地回来了,但是这么着也不是办法,不是对比产生美吗?我就想着把不同配置的防雷效果拿出来,给产品线看看到底我说的对不对!我详细分析了防雷电路产生作用的原理,经过了数次的删改和优化,还找了其他专业的人,看看他们有没有“阅读障碍”。拿着40多页的文档,无线产品线的工程师很快被我说服了:“哟!还真那么回事儿!”他们立即和我们一起说服产品线的领导,为防雷调整产品工程方案。
然而,PK还没有结束。在具体执行方案过程中,我们与产品的硬件、结构等团队也不打不成交。拿结构来说,我反复强调:防雷器必须要安在机柜里面,放在单板的旁边才能起作用,但结构团队一脸不理解:“放进去就行了,那里就那么点空间,放不下!”“可是不放在这个位置,防雷效果很差。”“那你拿出证据来!”没办法,我又吭哧吭哧回到实验室,把防雷器安装在不同位置所呈现的不同测试效果绘制出来,给结构工程师一一讲解,才说服了他们。在方案落地的整个过程中,像这样的PK随时都在发生。
最终,按照规范安装的防雷器,扛住了整个雷雨季节的考验,雷击损坏率下降到几乎为零,防雷团队的技术能力终于得到了各个产品线的认同。
防雷大忌也敢碰?
进入分布式基站时代,RRU(远端射频单元)被安装在铁塔上,可以降低信号衰减,降低建网成本,但这对小型化提出了挑战。射频、电源等都铆着劲要把自己的产品“挤”到RRU里。然而,我们的防雷电路体积太大,给小型化的进程拖了后腿。在一次评审会上,RRU的架构师直言不讳:“大家的电路都是挤公交,你们防雷电路还舒舒服服躺在宽敞的奔驰车里”。
我们根本没法反驳:防雷器使用的器件多年都没有突破,如何做到小型化呢?大家反复头脑风暴,一个一个分析所有可能的器件小型化的可行性,前后规划设计了7套方案。可是最终都以失败告终。
设想不断推翻,方案止步不前,真的到了极限?“要不试一下用Gxx器件?”王庆海提出。用这个器件能实现比传统器件小一半的电路方案,但却有一个致命的危险:一般的防雷器件完成了对雷击过电压的响应之后会自动断开,保护RRU的同时自身也不损坏,但GXX器件的特性是承受所有雷击能量来掩护其他设备、电路,电压调整存在很大技术难度,设置得过高,达不到防雷效果;过低,可能会错误响应直流电源,误伤自己,导致RRU损坏。更抓狂的是,这个电压在不同雷击情况下还是在不断变化的。
厂家听到我们这一“雷人”想法,几乎都是敷衍了事:“我们先回去研究一下……”,有的厂家直接说我们异想天开:“你们这就是在电源线路上玩火!”可是,这是所有“不可能”中可行性最高的,如果这条路也走不通,那我们的小型化也许真的到了头。
或许是一种多年来的技术直觉,我总是觉得天无绝人之路,决定放手一搏,穷尽不同雷击的所有波形,把不同情况下的最合适电压“试”出来。作为团队里面的“老人”,尽管自己心里打鼓,却不敢流露分毫,不然下面的年轻人岂不是更没信心?一边扛着,一边鼓励更年轻的专家“后浪迟早要将我们前浪拍死在沙滩上的,大家加把劲让这一天来得更早一些。”
我们开始不断地自我修正。先是器件论证、然后仿真、再是设计、最后打样,为了找到那个临界点,每次验证一个电性能参数,我们要用电压一伏、一伏地去测算……每次调整,都要重新优化设计,更改电路,重新打样,推倒重来。这样操作下来,每一轮设计打样都得持续两三个月时间。
在这个过程中,测试验证伴随始终。每一轮需要涵盖的器件多达五六十个,每个器件模拟雷击不下10次,数据记录多达2000多组……几个月测试下来,我们的耳朵都是嗡嗡的,人也晕乎乎的,通常一个大量级雷击后,翁鸣声一直持续到我晚上睡觉。
每一轮都是带着希望、然后失望,重燃希望、到再度失望,我们在这个循环往复的过程里挣扎了很长时间。终于,在已经经历了6轮设计打样和测试后,幸运女神垂青我们,满足各种条件的最佳方案被我们“试”出来了!
那一刻,我捧着手里的数据,喉咙仿佛堵住了一样,吐不出来一个字,我在心里想了很多遍的欢呼、狂喜场面一个都没有出现……我们的防雷器体积下降到原来的一半,又一次甩开了对手,做出了业界从没有人敢想的事情。
捉住真实的雷电
欣喜过后,我们吃惊地发现自己被逼进入了“无人区”。这个时候,靠经验来设置防雷规格再也行不通了,只有捕捉到真实的雷电,获得关于雷电的最精确数据,我们才能检验仿真模型是否合理、仿真结果是否准确,把防雷器做到更极致。
可怎么才能“捉到”真实的雷电呢?“火箭引雷!”队伍里有人提了大胆的想法。全球都只有三四个机构在搞,要么是气象,要么是国防,ICT行业更是从未提过,但它获得数据精度最高,这对我们来说太有诱惑力了!
2010年,我们和广东气象局一拍即合,正式开始火箭引雷。拖着电源柜、电池柜,几个人挤在货车驾驶舱里,我们一路颠簸到中国气象科学研究院的野外雷电探测基地。
调试火箭引雷实验设备
搭建人工引雷环境
平时总担心雷击打坏设备,一旦去引雷,才发现没雷的天气永远比有雷的天气多;得到消息还在路上拼命赶,雷云已经跑掉了……一天之内要在基地和发射点之间来回N次。有时候好不容易等到适合的天气,可雨势太大,试验铁塔有被闪电直接击中的危险,我们无法上塔安装测试电池,也只能懊丧返回。
眼看着雷雨季就要过去,可老天不赏脸,一直都是晴热天气。9月3日小雨,我像往常一样早上6点就时刻准备着,大家目不转睛地盯着雷达和电场图,蹲守到8点,都一直没有适合引雷的条件,突然,卫星云图上看到一团云层即将路过引雷基地,气科院的研究员说:“准备出发!”我们又一次气势汹汹地“杀”到基地,暴雨中,我们10个人挤在几平米的“火箭监控室”蹲守,吃着混着雨水的冷饭,心情在希望和失望之间起伏不定。
晚上9点,我们已经持续蹲守十多个小时了。大家盯着雷达和电场图,紧张得直拽头发,看着云层中电场强度不断增加,心情越来越激动。“准备发射,3, 2,1,点火!”火箭如利剑出鞘窜向云层,紧接着几道光芒刺眼的闪电击到铁塔上,我们被震撼到说不出话,不知谁先喊了起来,大家才回过神来,我们终于捕获到了闪电,成功将雷引到了我们的通讯铁塔上,获取了极其宝贵的原始数据。
我曾经多次在电视里看到火箭发射成功时科技工作者们的狂喜,而在那一刻,我也深深地感觉到了这种巨大的幸福。
“追雷”十八年,我们从研究防雷产品,一步步走到研究雷电本身,如今,无论是滂沱大雨、还是电闪雷鸣,人们都不再受雷电因素困扰,能随时随地打电话给远方的亲人,与大洋彼岸的伙伴视频聊天……这些平常生活背后,是我们团队十余年的不甘心、不认输和不断尝试。处在这青春将逝的时刻,回望来路,无怨无悔。
真心希望我们EMC人这样的好故事能多一点。 看到這樣的故事真的是激勵人心!
感謝你們無私的奉獻,造就人類的進步! 非常好的文章。
页:
[1]