十亿级数据读写毫秒级时延 浪潮领衔打造智慧交通大数据解决方案

2020-10-23    海讯社

北京2020年10月23日 /海讯社/ -- 随着城市化进程加快,经济和社会活动日益频繁,城市交通在人、车、路、环境等方面面临资源失衡、行车难、停车难、拥堵频发等问题,亟需城市交通管理者找到适合的疏解方案。

作为智慧交通领域先行者,浪潮合作伙伴易华录以数据湖为主体,发展大交通,致力于为客户提供智慧大数据解决方案,建设城市数字经济基础设施,努力降低全社会长期保存数据的能耗和成本,构建数字孪生城市,实现数字永生。


智慧交通系统面临海量数据快速读写挑战

在智慧交通大数据业务中,智慧交通系统对各类违法车辆进行实时监控抓拍,快速智能识别各种违法行为,并第一时间通知一线民警对违法车辆进行拦截以及现场处罚,能够有效监督和消除车辆违法行为,净化交通环境。

在易华录智慧交通业务中,广泛使用Redis集群缓存配置下发及中间结果数据,系统对于Redis读写并发性、实时性以及数据持久化要求都较高。Redis是一个高效的key-value内存数据库,基于其高并发下较高的数据查询效率,是易华录智慧交通大数据平台中不可缺少的组件。

图一 智慧交通业务架构


图一为典型的智慧交通业务,系统采集海量的设备、下级平台及视频结构化产生的车辆及人像特征数据,经ETL清洗转换,借助Spark流计算框架,与Redis中缓存的黑白名单数据按照空间、时间及其它逻辑规则,进行比对产生各类告警数据。该业务场景下面临的主要挑战为:

  • 作为流计算的支撑外部数据源,Redis集群中缓存大量的黑白名单配置数据及中间计算结果,单位时间读写并发数较高,该操作需要低延时,其中缓存数据规模在数十亿级别,客户要求读写时延在毫秒级;

  • Redis中缓存了业务计数等中间计算结果,这些数据通常以分钟/小时粒度周期性同步至关系型及MPP数据库中,因此缓存数据需持久化到硬盘中,防止因集群故障、断电等异常情况,导致数据无法恢复。同时,因为涉及到交管核心业务,当系统异常情况产生后,迫切需要快速恢复集群,并确保异常前后数据一致性,其中数据持久化存储和性能是一个亟需解决的问题。

智慧交通大数据解决方案实现高吞吐率、低延时、高耐用

浪潮与易华录联合推出Redis解决方案,以易华录交通大数据平台为高效数据处理平台,面向城市数据湖、新型智慧城市业务、政府及企业用户提供更高效、更低成本的智慧交通大数据解决方案。

相较于传统DRAM方案,新方案提供了行业领先的高吞吐率、低延时、高服务质量和超高的耐用性,新增内存扩展打破服务器内存容量限制而优化,单机内存容量可以扩展1.5TB,较之前的单机内存容量大幅提升200%。

同时,易华录还实施了多种调优方案。首先在数据读取场景中,通过采用非一致内存访问节点绑定的方式(NUMA进程绑定),避免内存在进行数据存取时,在不同的NUMA节点间切换,以实现更好的读写性能。

其次,新设计的Redis服务获得秒级的故障恢复速度,与之前分钟级的恢复速度相比,提升达几十倍之多。而且还能帮助易华录交通大数据平台的TCO 降低30%。


测试结果显示新方案吞吐能力可提升200倍

为了验证新方案的应用优势,浪潮与易华录共同围绕Redis数据库的常规操作以及用户最关心的业务性能指标进行了测试。测试使用了benchmark工具,选取SET、GET等10余条Redis数据库常用命令,全面覆盖Redis五种数据结构,每个操作执行 32次并发,共640万次的性能测试。测试结果显示新方案在总吞吐能力和延迟上相较于传统的DRAM方案性能有100~200倍的性能提升。

该方案能够有效支撑城市数据湖中海量数据采集、加工、治理、建模各环节对Redis持久化、高效读写等共性需求,与易华录城市大脑、葫芦APP、交通大脑等核心业务存在广泛的契合点,帮助易华录解决智慧交通大数据平台系统中面临的Redis难题。


海外发稿:https://easybase.cc/

海外新闻发布:https://haixunpr.org/

全球新闻发布:https://haixunpr.com/

免责声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,亦不负任何法律责任。 本站所有资源全部收集于互联网,分享目的仅供大家学习与参考,如有版权或知识产权侵犯等,请给我们留言。

最新

  • 永利“华章新绎—非遗灵感系列快闪”隆重启幕

    2025年4月1日,澳门 —— 永利始终致力于推动中国文化的传承与创新,并积极参与全球范围内蓬勃发展的“非遗”(中国非物质文化遗产)保护与弘扬。
  • 九九维康:专业“两案”破解养老困局,开启精准养生新时代

    在中国,60岁以上老年人群已超2.8亿,慢性病患病率高达75%,高血压、糖尿病、心脑血管疾病成为困扰老年人的“隐形杀手”。然而,传统的健康管理模式往往停留在“病了再治”的被动阶段,缺乏专业的长期健康管理,包括慢病管理和未病健康管理。
  • 大地魂酒业2025春糖会战绩可喜可贺! 匠心非遗铸就品牌护城河

    春山可望,共赴征程。4月8日,大地魂酒业在绵竹麓棠温泉酒店举行"春糖战役庆功踏青之旅",全体员工齐聚非遗文化腹地,在氤氲温泉与青山碧水间,庆贺第108届全国糖酒商品交易会斩获大量订单的辉煌战绩,以文化浸润与团队熔铸开启高质量发展新篇章。
  • 国有资本联合民营经济 安泰优选携手孝宇乐龄打造产融结合新范式

    2025年3月5日,一场意义深远的战略合作签约仪式在北京隆重举行,见证了国有资本与民营经济在新时代背景下深度融合的历史性时刻。孝宇乐龄(北京)科技有限公司与天津市安泰优选产业集群携手,共同开启了新时代融合发展的新篇章。
  • 淼医堂:以中医智慧点亮皮肤顽疾患者的希望之光

    在中国,皮肤顽疾如同一张无形的网,悄然笼罩着无数人的生活。牛皮癣患者忍受着鳞屑纷飞与红斑灼痛;湿疹带来的瘙痒如同千万只蚂蚁在皮下啃噬;皮炎反复发作,让皮肤屏障脆弱如纸......这些疾病不仅摧残着患者的身体,更消磨着他们的尊严与希望。然而传统治疗往往依赖激素,虽能短暂缓解症状,却埋下了依赖性与副作用的隐患。当“治标难治本”成为常态,患者们开始渴望一种既能根除病灶、又无后顾之忧的疗法——淼医堂的出现,恰似一束穿透阴霾的光。
  • 创新驱动品类革命:蜜知道以“黑科技”重塑蜂蜜轻饮行业格局

    随着健康消费浪潮的兴起,中国轻饮市场正经历结构性变革。据《2024中国饮品消费白皮书》显示,68%的消费者将“成分天然”列为饮品选择的首要标准,而蜂蜜水市场却陷入同质化竞争困局。
  • 诗丽堂又添省级新荣誉丨六名美容师被授予“甘肃省技术标兵”!

    近日,由甘肃省总工会、甘肃省人力资源和社会保障厅、甘肃省工业和信息化厅、甘肃省科学技术厅、甘肃省人民政府国有资产监督管理委员会对2024年甘肃省百万职工劳动和技能竞赛获奖单位和个人进行通报表扬,美丽一生集团旗下诗丽堂6名美容师荣获“甘肃省技术标兵”称号!2025年4月6日,“甘肃省技术标兵”(美容美发行业)在甘肃国际会展中心美博会主会场接受颁奖。
  • 初心如炬,闪耀前行丨 诗丽堂荣获“2025 福布斯中国美业卓越品牌TOP 100”

    二月三月正春风,一路繁花伴“诗”行。2025年3月18日,诗丽堂品牌来到了26岁生日之际,美丽一生集团在四川丽妍工坊星光大道广场举行“重温初心 再启新程”诗丽堂26周年企业文化主题教育学习活动后,又于3月30日,在成都举办了诗丽堂26周年庆暨2024金穗奖颁奖盛典。
  • 儿童过敏营养科学发展高峰论坛落幕,活莱维新品发布引领行业创新

    近日,由儿童过敏防治与免疫调理领军企业HOLLYWISE活莱维主办的“整合医学·儿童过敏营养科学发展高峰论坛暨儿童过敏干预营养医学实践班(第一期)”在南京凯宾斯基酒店隆重举行。会议汇聚了儿科医学、营养学、免疫学、中医调理等领域知名专家、学者及行业代表,围绕儿童过敏疾病的预防、识别、干预及营养医学应用展开深度探讨,并同步启动多项行业合作与创新项目,为儿童过敏防治领域注入新动能。

友情链接

Back to top
      联系我们   SiteMap