免费论文：基于特征提取的海量地面公交数据处理平台的设计与实现

随着智能交通（ITS）领域的飞速发展，人们的出行方式愈发多样化，公共交通成为了城市中客流的主要承载者，也是智能城市重要的一部分。为了进一步提高公共交通出行的智能化和便捷化，需要对日常交通数据进行详细的记录和深入的分析。海量交通数据的产生，必然要求能够应对庞大数据量的数据管理及检索机制与之相适应。从海量数据存储和处理的角度考虑，传统的关系型数据库虽然能够在一定数据量的基础上维持数据操作稳定，但随着数据量的爆炸式增长，在存储量上也不能够无限扩展；从海量空间数据快速检索的角度来度量，目前流行的R树、基于网格的索引和B+树等结构对全局的区域进行平均划分，在对象分布区域化、对象分布密度不均的应用场景中，这种划分方式会索引大量的空闲区域以及密度差异很大的划分区域，造成空间的浪费和查询性能的低下。因此，本文在高效的海量数据分布式处理机制之上，从公交数据的应用需求出发，将数据本身所具有的时、空特征融合到数据检索模型和数据存储结构的设计之中，结合R树和网格计算的优势，提出了基于区域划分的海量数据快速检索模型。并将公交数据模型化处理，提供了查询窗口可伸缩的区域化分布式数据检索策略。这两大核心模块共同构成了集数据录入、数据检索、数据基于特征的模型化处理和数据存储这几大功能于一体的基于特征提取的海量地面公交数据处理平台。本文取得的主要成果如下：1） 构建适用于地面公交GPS数据特征的海量数据处理平台。搭建Hadoop集群，配置HBase分布式数据库以及相关子项目。以Hadoop架构为基础，构建分布式的海量数据处理平台，提供数据分布式录入和检索的接口，针对数据的时、空特征提供可伸缩的基于区域划分的数据检索功能。2） 基于特征区域的空间数据索引树模型。将全市公交站点按照位置进行空间聚类，形成以站点簇表示的特征区域，再将站点簇按照中心位置进行迭代聚类，经过层层聚类后将整个城市公交区域用索引树表示，树中每一个节点覆盖特定的区域，越上层的节点覆盖的面积越大，将海量公交数据按照其所在的特征区域进行数据格式重组。3） 基于特征区域的海量数据分布式检索。应用基于特征区域划分的索引树模型，提出了查询区域面积具有可伸缩特征的查询窗口机制，为防止窗口偏移，实现了窗口自动伸展的机制，用来支撑不同区域粒度的数据检索的应用。本文不仅用大量、真实的公交GPS数据验证模型的正确性与高效性，而且对平台的分布式海量数据处理的效率提升做了测试验证，量化测试指标，证明平台的实用性。

来源：半壳优胜育转载请保留出处和链接！

本文链接：http://www.87cpy.com/261100.html