交通布控卡口大数据解决方案

方案摘要

缉查布控卡口系统是安装在公路任意断面上,包括城市出入主要道路口、收费站、省际公路和市际公路等处。它依托物联网和云计算技术,通过统一的车辆通行稽查布控管理平台,实现对省或市范围内任一车辆历史通行数据的精确查询、比对以及在GIS地图上的行驶轨迹回放,实现车辆图片的集中存储和深度应用,最大限度的满足公安各警种、各部门作战需求。为快速纠正交通违章行为、快速侦破交通事故逃逸和机动车盗抢等提供重要的技术手段和证据,对城市交通的平安运行和提高交通管理的快速反应能力有着十分重要的意义。

业务挑战

在缉查布控卡口系统实际建设中,面临以下几个挑战:

1、前端卡口采集和生成的过车文本和图片数据需要高并发、高吞吐量写入后端存储和处理平台。一般一个城市建设的卡口数量在上百个,在传输带宽满足的条件下,需要后端存储和处理平台能够支撑Gbps以上规模实时并发数据写入。

2、交通信息实时查询和分析处理要求性高。卡口过车记录属于结构化数据,记录量级一般在百亿级规模,传统关系型数据库在此数据量级下无法满足海量数据高效检索和分析的性能要求。

3、城市道路交通状况复杂,交通流负载波动大,要求数据处理平台具备良好的延展性。传统关系型数据库和磁盘阵列横向扩展能力差,系统扩容时对业务应用会产生影响,无法做到自动负载均衡和在线热扩容。

4、系统需要具备高可用性、高稳定性。缉查布控卡口系统是面向政府、社会和公众提供交通服务,为出行者提供安全、畅通、高品质的行程服务,保障交通运输的高安全、高时效和高准确性,势必要求相关IT系统需具有高可用性和高稳定性。

方案描述

为了应对海量文本和图片数据存储和分析处理挑战,系统技术路线选择采用云计算和大数据处理相关技术。下图为缉查布控卡口系统架构,通过构建海量数据分布式存储和处理支撑平台,提供数据高吞吐并发写入和多用户并发高效检索。

前端工控机通过消息队列接收前端卡口采集文本和图片,转发给海量数据支撑平台。 其中,文本数据实时转发,以满足实时分析应用要求。 图片数据根据网络带宽情况可非实时转发,并在本地缓存。
海量数据支撑平台采用分布式数据库存储全量文本数据,通过分布式文件对象存储对图片数据进行在线存储,通过分布式文件系统对图片数据进行归档存储,通过分布式内存数据库,实现对违法车辆黑名单的实时比对。友友分布式存储解决方案支持在同一台服务器上同时构建分布式数据库、分布式对象系统、分布式文件系统和分布式内存数据库,实现对文本和图片数据的统一存储,相关数据存储在服务器本地硬盘,无需外挂磁盘阵列。友友分布式存储系统提供对文本和图片统一访问和管理,面向应用提供类SQL数据访问接口,方便应用的开发。
海量数据支撑平台通过分布式任务调度和执行环境构建分布式计算集群,通过Hadoop MapReduce实现海量数据数据挖掘分析。通过基于内存数据库的流式计算框架实现对数据的实时处理。

方案价值

• 高性能。通过多线程机制,提升数据写入和读取的性能。在百亿文本记录量级下,可实现秒级查询响应。在同等数据量级下,查询性能较传统关系型数据库解决方案快几十倍。

• 高可靠性。海量数据支撑平台采用无中心化设计,没有任何单点存在,保证整个平台的高可靠性。

• 高可用性。海量数据支撑平台采用内部自动数据备份技术,当存储服务器发生故障时,能够自动进行故障数据的迁移和恢复,并实现数据的完整性校验,不影响整体系统正常运行和使用。

• 扩展性好。随着系统存储量的增加,通过添加相关存储硬件及软件许可即可完成扩容,无需进行其他开发。随着数据存储总量增加,系统的存储和查询性能需要保证近线性变化,系统总吞吐能力近线性增加。

• 高性价比。解决方案造价只有传统关系型数据和磁盘阵列解决方案的几分之一。

使用产品