十亿级数据读写毫秒级时延 浪潮领衔打造智慧交通大数据解决方案

2020-10-23    海讯社

北京2020年10月23日 /海讯社/ -- 随着城市化进程加快,经济和社会活动日益频繁,城市交通在人、车、路、环境等方面面临资源失衡、行车难、停车难、拥堵频发等问题,亟需城市交通管理者找到适合的疏解方案。

作为智慧交通领域先行者,浪潮合作伙伴易华录以数据湖为主体,发展大交通,致力于为客户提供智慧大数据解决方案,建设城市数字经济基础设施,努力降低全社会长期保存数据的能耗和成本,构建数字孪生城市,实现数字永生。


智慧交通系统面临海量数据快速读写挑战

在智慧交通大数据业务中,智慧交通系统对各类违法车辆进行实时监控抓拍,快速智能识别各种违法行为,并第一时间通知一线民警对违法车辆进行拦截以及现场处罚,能够有效监督和消除车辆违法行为,净化交通环境。

在易华录智慧交通业务中,广泛使用Redis集群缓存配置下发及中间结果数据,系统对于Redis读写并发性、实时性以及数据持久化要求都较高。Redis是一个高效的key-value内存数据库,基于其高并发下较高的数据查询效率,是易华录智慧交通大数据平台中不可缺少的组件。

图一 智慧交通业务架构


图一为典型的智慧交通业务,系统采集海量的设备、下级平台及视频结构化产生的车辆及人像特征数据,经ETL清洗转换,借助Spark流计算框架,与Redis中缓存的黑白名单数据按照空间、时间及其它逻辑规则,进行比对产生各类告警数据。该业务场景下面临的主要挑战为:

  • 作为流计算的支撑外部数据源,Redis集群中缓存大量的黑白名单配置数据及中间计算结果,单位时间读写并发数较高,该操作需要低延时,其中缓存数据规模在数十亿级别,客户要求读写时延在毫秒级;

  • Redis中缓存了业务计数等中间计算结果,这些数据通常以分钟/小时粒度周期性同步至关系型及MPP数据库中,因此缓存数据需持久化到硬盘中,防止因集群故障、断电等异常情况,导致数据无法恢复。同时,因为涉及到交管核心业务,当系统异常情况产生后,迫切需要快速恢复集群,并确保异常前后数据一致性,其中数据持久化存储和性能是一个亟需解决的问题。

智慧交通大数据解决方案实现高吞吐率、低延时、高耐用

浪潮与易华录联合推出Redis解决方案,以易华录交通大数据平台为高效数据处理平台,面向城市数据湖、新型智慧城市业务、政府及企业用户提供更高效、更低成本的智慧交通大数据解决方案。

相较于传统DRAM方案,新方案提供了行业领先的高吞吐率、低延时、高服务质量和超高的耐用性,新增内存扩展打破服务器内存容量限制而优化,单机内存容量可以扩展1.5TB,较之前的单机内存容量大幅提升200%。

同时,易华录还实施了多种调优方案。首先在数据读取场景中,通过采用非一致内存访问节点绑定的方式(NUMA进程绑定),避免内存在进行数据存取时,在不同的NUMA节点间切换,以实现更好的读写性能。

其次,新设计的Redis服务获得秒级的故障恢复速度,与之前分钟级的恢复速度相比,提升达几十倍之多。而且还能帮助易华录交通大数据平台的TCO 降低30%。


测试结果显示新方案吞吐能力可提升200倍

为了验证新方案的应用优势,浪潮与易华录共同围绕Redis数据库的常规操作以及用户最关心的业务性能指标进行了测试。测试使用了benchmark工具,选取SET、GET等10余条Redis数据库常用命令,全面覆盖Redis五种数据结构,每个操作执行 32次并发,共640万次的性能测试。测试结果显示新方案在总吞吐能力和延迟上相较于传统的DRAM方案性能有100~200倍的性能提升。

该方案能够有效支撑城市数据湖中海量数据采集、加工、治理、建模各环节对Redis持久化、高效读写等共性需求,与易华录城市大脑、葫芦APP、交通大脑等核心业务存在广泛的契合点,帮助易华录解决智慧交通大数据平台系统中面临的Redis难题。


海外发稿:https://easybase.cc/

海外新闻发布:https://haixunpr.org/

全球新闻发布:https://haixunpr.com/

免责声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,亦不负任何法律责任。 本站所有资源全部收集于互联网,分享目的仅供大家学习与参考,如有版权或知识产权侵犯等,请给我们留言。

最新

  • 用心缔造 纯乳鲜香 辉山淳轩亮相2024HOTELEX上海展

    2024年3月27日-3月30日,第三十二届上海国际酒店及餐饮业博览会(以下简称HOTELEX)在国家会展中心(浦西·虹桥)盛大举办,越秀乳业旗下B2B专业品牌辉山淳轩Senscious于本次博览会惊艳亮相,越秀辉山党委书记、总经理韩春辉出席大会。
  • 嘉禾兴产润滑油获得奔驰最新一代机油标准认证

    近日,嘉禾兴产公司出品的 MIZUHO 御用 1 号 0W-20 全合成发动机油获得奔驰 MB229.72 标准认证,这表明嘉禾兴产润滑油的品质已经处于世界一流水平。 为了保证产品的品质一直处于顶尖水平,奔驰对所需的零部件都制定了严格的标准,机油同样也不例外。 只有严格的标准要求,产品的质量才能精益求精,卓尔不群。
  • 娇兰臻彩宝石唇膏 金碧落樱

    娇兰臻彩宝石唇膏 金碧落樱
  • 法国娇兰金钻焕彩凝露系列 99%精粹焕颜* 黄金入妆

    *指法国娇兰金钻焕彩凝露系列。数据来源于第三方实验室,指焕活护肤基础配方的含量占比估为 99%,不包括配方中的“金”。数据仅供参考,实际效果因人而异
  • IWC万国表宣布演员王阳出任品牌挚友

    2024年3月26日,北京 —— 瑞士制表名家沙夫豪森IWC万国表正式宣布知名演员王阳出任品牌挚友。双方基于对各自专业领域的热忱和不懈追求,以工程精神,携手共赴分秒背后的非凡技艺。今后,王阳将以IWC万国表品牌挚友的身份,让更多高级制表爱好者感受源自沙夫豪森的精湛工艺和卓越时计。
  • 辉山零蔗糖酸奶荣获iSEE美味奖2星殊荣,诠释健康美味新风尚

    3月20日,食品饮料行业权威领先奖项iSEE全球美味奖公布,辉山零蔗糖酸奶(分享装·原味)从全球4000+参奖案例中脱颖而出,斩获iSEE全球美味奖2星奖章。
  • 辉山零蔗糖酸奶摘星iSEE全球美味奖,营养美味征服世界味蕾

    辉山零蔗糖酸奶摘星iSEE全球美味奖,营养美味征服世界味蕾
  • 光彩熠熠·非凡力量 法国都彭赋力女性谱写璀璨篇章

    三月春盛,感受盎然气息,一同见证“她”力量。法国都彭以礼赞之作,承载多元、雅致、独立和智慧,通过独具匠心的设计与百年传承的工艺,助力时代女性以自信而优雅的姿态演绎人生舞台,向每一位勇敢追梦的女性致敬。
  • 法国娇兰 艺术沙龙 全新香精系列

    娇兰香水独树一帜的奥秘:娇兰香基Guerlinade。历经五代调香师匠心传承的香氛艺术精髓,由娇兰钟爱的六种原料精心调和而成:香草、玫瑰、香柠檬、鸢尾、零陵香豆和茉莉,成就娇兰无可比拟的标志性嗅觉印记。自品牌创立以来,这一缕神秘的香气便成为了娇兰香水的标志。
  • 离婚的十大误区(广州侦探)

    近些年,离婚率持续攀升,而这其中,不少男女对婚姻法及相关司法解释存在或多或少原则性的误区,而这

友情链接

Back to top
©版权 2009-2020 武威新闻   WuweiNews.com.cn   联系我们   SiteMap