一、业务对象的扩充T树索引机制的研究(论文文献综述)
李翔[1](2021)在《支持复合条件查询的位置信息检索系统的设计与实现》文中认为位置信息检索系统能够对空间中地理实体的空间几何拓扑信息和实体的属性信息等进行特定数据分析、处理和结果反馈。现有的位置信息检索系统普遍缺乏进行多个复合条件查询的能力。现有系统通常采用单一数据源作为空间查询基础,数据丰富度不足以支撑复合条件查询。此外,空间数据复杂的时空特性、多维性和海量数据等特点,增加了系统开发和维护难度,使得复合条件查询往往只应用于特定领域以减少系统复杂度。更主要的,复合条件查询涉及大量复杂的空间计算,当复合条件和空间数据量增多时,现有空间索引无法从全局视角对查询进行优化,导致系统性能达不到使用要求。因此,研究一种性能优异且能够满足广泛查询需求的支持复合条件查询的位置信息检索系统是必要的。本文的主要设计与实现工作如下:(1)本文设计出一种能够满足多种行业需求的复合条件查询规则,使用地理实体自身的属性进行筛选,并利用与空间中其他地理实体的空间拓扑关系和数量关系进行限制。对于查询性能考虑,针对不同数据特点,灵活设置数据索引和存储方式。其次,将复合条件查询进行步骤分解,并运用动态调整机制,使后续步骤的执行策略能够根据前续结果灵活调整,以减少查询整体执行时间。特别的,空间关系计算阶段根据前续结果有三种不同的计算策略,能够最大程度的减少空间计算的总次数,弥补了现有空间索引的不足。最后,以30万条POI数据为基础,针对不同阶段的优化工作进行了性能比较,复合条件查询性能有了极大的提升,验证了设计的有效性。(2)以上述复合条件查询为核心,通过中间件和多种软件框架实现了位置信息检索系统,涵盖组件化前端、数据ETL任务及管理、复合条件查询、用户及权限管理、其他地图相关功能等。其中,针对地理数据爬取,设计并实现了 GeoThreadPool线程池,能够自动对爬取区域进行分解并能根据数据源的请求接口特点,灵活调整数据爬取的线程数量和爬取频率。最后对系统在功能及性能方面进行了测试,测试结果验证了功能的有效性和可靠性,能够满足系统设计需求。
陈鹏[2](2021)在《基于HSSVM与卷积神经网络的船舶避碰知识库研究》文中认为为了保障船舶航行安全,船舶智能避碰决策是船舶自动避碰、预防甚至避免船舶事故发生的关键。船舶智能避碰决策不仅有助于提高船舶航行的安全性,减少人为因素的影响、节约人力物力成本,对世界的航运业的发展具有重要意义,是船舶安全航行领域的重点研究方向。船舶避碰知识库是完成船舶智能避碰决策的关键数据基础。以往船舶避碰知识库以经验数据存储、规则学习、知识推理为主,实现避碰轨迹知识库、三元组图数据库存储、图像特征融合知识库的研究为数不多,这也是本文的核心研究内容。本文以船舶航行AIS历史数据为基础,研究如何利用船舶运动轨迹采用支持向量机算法自动完成船舶避碰数据分类,建立简洁版船舶避碰知识库;在此基础上,针对海量新增AIS数据,融合轨迹运动标注特征、TCPA(Time of the Closest Point of Approach)/DCPA(Distance of the Closest Point of Approach)标注特征,利用卷积神经网络深度学习算法进行船舶轨迹匹配,实现大规模海量AIS数据的船舶避碰知识库构建,从交通安全角度研究船舶避让的规律和方法,从而为船舶智能避碰提供数据支撑。本文的主要工作包括:(1)AIS船舶轨迹数据预处理技术研究。针对海量AIS轨迹数据,首先采用基于时间片倒排索引的方式进行时间戳过滤,然后采用基于R树索引的空间范围搜索完成船舶会遇数据提取。针对AIS数据的冗余性,提出加入船舶行驶中的加速、减速、转向数据点、动态行为点的动态D-P算法,即在经典D-P算法基础上加入状态驻点,避免压缩过程丢失关键数据点。针对数据补全问题,在分析一阶差商二阶差商基础上,对船舶直线采用拉格朗日双线性插值,对船舶曲线运动采用拉格朗日二次插值,完成两船轨迹对齐需求。针对避碰模式识别中用到的TCPA/DCPA标定计算问题,定义一种简洁高效的计算方法,以平面向量运算理论、相对运动几何分析计算目标船的空间碰撞危险测度DCPA和时间碰撞危险测度TCPA,得到两船TCPA/DCPA标注结果。(2)提出一种结合加权kNN算法和超球支持向量机算法的分类决策方法研究,该方法用于船舶会遇数据分类决策。为了加快二次规划求解的速度,计算中心距离比率确定样本权值,训练时首先选取对结果超球贡献大的样本。同时为了实现算法参数寻优计算,引入多线程技术、遗传算法+SMO加速求解。对每一个测试样本,其类别判定取决于该点与每个分类超球的位置关系。对复杂相交区域的数据分类,引入kNN采用近似性度量选取相交区域训练数据集中与测试样本最近邻点的类别作为测试样本的类别,进而提高算法的泛化能力。对船舶会遇数据进行分类测试,实验结果表明新的算法效率较高,分类效果较好。根据避碰过程模式,提取整个避碰过程的轨迹序列数据,构建船舶避碰知识库。(3)基于CNN的船舶避碰轨迹匹配算法研究,用于解决海量新增AIS数据的船舶避碰知识库构建。新增AIS数据经插值、时间对齐处理后拼接在一起,组成融合特征作为基于卷积神经网络轨迹匹配网络的输入数据。以HSSVM训练得到的避碰知识为基础,设计不同的卷积核函数实现卷积操作,通过卷积层、池化层和激活函数层将原始输入数据映射到隐层特征空间,再通过全连接层则对前面的特征加权求和,将分布式特征表示映射到样本标记空间。按交叉熵损失训练深度学习网络,调优CNN网络参数,得到船舶避碰数据分类匹配结果,从而完成大规模数据的避碰模式知识库构建,并给出了船舶避碰图像知识库和船舶避碰特征知识库的应用。论文提出的方法克服了原有避碰知识库研究的一些局限性,扩展了知识存储、知识表示、知识融合的实际应用范例。
张宽[3](2020)在《大数据环境下的轨迹数据查询优化技术研究》文中认为轨迹数据是指通过对移动对象运动过程的采样所形成的具有时空特征的数据信息。随着位置采集技术的不断发展和采集设备的大量部署,产生了越来越多的移动对象轨迹数据。这些轨迹数据可以用来交通规划,城市规划,兴趣推荐等,具有广泛的意义和重要的价值。如果希望使用轨迹数据进行数据分析和应用,快速高效的查询是必不可少的,而查询的效率通常与数据存储方式和索引结构有关。而存储方式和索引结构,与数据本身的质量息息相关。数据质量的好坏又与原始数据和数据预处理有关。进行数据分析,原始数据无法再进行优化,但细致的数据预处理能够使后续的分析工作更加快速和有效。因此,本文对轨迹分段、轨迹查询、轨迹索引三方面进行了详细的研究工作,设计并实现了分段算法,索引结构与查询算法。具体有如下三方面:1.结合轨迹数据的时空特性,提出了一种基于动态阈值的定点轨迹数据行程识别方法。首先,该方法采用聚类方法确定与阈值相关的时空多粒度参数;其次,根据参数对历史记录进行统计,计算参数对应阈值,最后,利用时空相关参数获取对应阈值,对轨迹进行分段,进而实现行程识别。基于真实的城市交通卡口数据的实验结果表明,使用时空相关的动态阈值方法对定点轨迹数据进行行程识别在准确率和覆盖率上都要优于传统基于固定和单一阈值的方法。2.给出了面向三类典型轨迹数据查询的时空索引结构。首先,根据传统轨迹查询类型归纳了点查询和范围查询两类轨迹查询,其次根据轨迹分段结果,新提出一类轨迹段查询;由于不同索引方式下的查询表现存在差异,进而本文分别为点查询、范围查询和轨迹段查询三类查询给出了R树索引、Z3索引、Z3+索引三种不同的索引结构,使在进行轨迹查询时,可以采用合适的索引结构,从而实现轨迹数据查询效率的提升。3.设计并实现了大数据环境下的轨迹数据查询和管理原型系统。本文选择了Hadoop作为轨迹数据存储和查询的基本环境,选择Hbase做为存储原始轨迹和规范轨迹的数据库,基于Geomesa的开源框架进行开发,实现了三类典型查询以及对应索引构建。同时,基于该系统在相关真实轨迹数据集上实验,验证了本文工作相对于传统工作在轨迹分段、轨迹查询方面都具有更好的性能,也表明了本文工作的有效性和适用性。
李瑞远[4](2020)在《大规模轨迹数据的分布式管理与分析》文中研究说明随着互联网技术的普及和定位技术的不断发展,越来越多的轨迹数据在连续不断地产生。这些轨迹数据蕴含着丰富的信息,能够用于许多城市应用,例如:违章停车检测、车流分析预测、空气质量分析以及可达区域分析等。为充分利用这些轨迹数据,我们首先需要对这些轨迹数据进行有效的管理。然而,由于轨迹数据量通常非常大、更新频率很高、内在结构复杂、查询模式独特,要高效管理轨迹数据非常困难。传统的关系型数据库,例如My SQL Spatial、Post GIS、Oracle Spatial等,为支持时空数据(包括轨迹数据)的管理做了一些优化,然而它们通常会面临着扩展性不足的问题,即当轨迹数据量大于1T时,系统通常难以应对。一些分布式大数据系统例如Spark、Hadoop、HBase等能够存储和处理超大规模的数据,然而这些系统没有内建的时空索引,因此无法高效地支持时空轨迹的查询和分析。一些研究工作基于分布式大数据组件构建了轨迹数据管理系统,但是大部分的这些系统只提供非常有限的轨迹分析函数,无法满足复杂的上层应用;此外,对于轨迹存储它们没有专门做一些优化,因此可能存在效率问题;更进一步,这些系统使用门槛较高,业务开发人员通常需要查阅很多用户手册,编写大量代码。为便捷、高效地管理海量轨迹数据,构建海量轨迹数据与上层应用的桥梁,本文基于开源的时空索引组件Geo Mesa,构建了一个完备的基于NoSQL的分布式轨迹数据管理和分析系统,称为Traj Mesa。Traj Mesa具有扩展性好、效率高、支持多种轨迹查询、允许轨迹更新、使用便捷等特点。主要研究内容和创新点总结如下:(1)设计并实现了多种分布式轨迹预处理操作,包括轨迹噪声过滤、轨迹驻留点检测、轨迹分段、轨迹地图匹配。这些预处理操作不仅在很多应用场景都非常重要,而且对本文后续的轨迹存储索引的设计也很必要。通过分布式的实现,Traj Mesa能够更快地实现更大规模的轨迹预处理操作。(2)设计了一种新的基于NoSQL的轨迹底层存储机制。传统的方法将每个GPS点存储为一条记录,难以对轨迹数据进行压缩,也无法表示整条轨迹的信息,导致无法高效支持许多轨迹查询。本文将一条轨迹的所有GPS点存储在一起,更加有利于轨迹压缩,减少磁盘空间占用的同时,加快查询存储效率。将轨迹的所有GPS点存储在一起,每条记录就包含了轨迹的所有信息,更加方便多种轨迹查询。实验表明,新的存储方式相对于传统的存储方式,存储空间大小减少了80%,索引时间减少了88%,查询效率提高了1?2个数量级。(3)为支持不同的轨迹查询,设计了多种查询优化算法。针对NoSQL不适合存储时间段的问题,设计了一种新的时间段索引方法XZT,可以在毫秒级别支持上TB数据量级的ID时间范围查询。针对轨迹MBR无法精确表示轨迹位置,以及现有XZ2索引不精确的问题,提出了一种轨迹签名方法和XZ2+索引,让轨迹空间范围查询性能提高4%?20%左右。针对相似轨迹查询,提出了MBR剪枝、起止点下界剪枝、签名下界剪枝策略,在本文的实验环境中,Traj Mesa相似轨迹查询比Dita轨迹管理系统快2?3个数量级。针对k邻近查询,提出了区域剪枝、MBR下界剪枝、签名下界剪枝策略,在本文的实验中,Traj Mesa相较于Dita和DFT方法在小数据量情况下,k邻近查询效率提高了50%,在大数据量的情况下,k邻近查询效率提高了1?2个数量级。此外,Traj Mesa比Dita和DFT的扩展性更强,能够轻松处理大规模(大于1T)的轨迹数据,而Dita和DFT在本文的环境中,当数据量大于70GB时,抛出内存异常错误。提出了一种基于后缀树索引的路径时间范围查询方案,相较于倒排索引方法,本文提出的方法树高度为3时有近30%的效率提升。(4)设计并实现了一套完整的轨迹SQL引擎。为了让Traj Mesa更好地支持上层应用,提高系统的易用性,Traj Mesa定义了多种SQL语句类型,对于每种类型,实现了解析器、优化器和执行器。在Traj Mesa中,所有的功能都可以通过一句简单的SQL语句实现,这减少了Traj Mesa的使用门槛。正因为Traj Mesa的高效性、可扩展性和易用性,许多基于Traj Mesa的应用均已在实际生产环境中部署。(5)实现了一个基于Traj Mesa的轨迹分析应用案例。该案例首次使用轨迹拼接技术找到城市中任何一个地点一段时间内能够到达的区域。通过良好的索引设计,能够在毫秒级别快速响应可达区域范围查询请求。相较于静态路网扩张的方法,本文提出的方法能够实时捕捉当前的交通状况信息。相较于车速评估算法,本文提出的方法覆盖度更高。
区晨希[5](2020)在《基于MongoDB的海量机载激光点云实时在线组织与管理的研究》文中认为随着近年来无人机(Unmanned Aerial Vehicle,UAV)技术和激光雷达技术(Light Detection and Ranging,Li DAR)的快速发展,机载激光扫描技术也日趋成熟,在地形测绘、海岸带监测、自然灾害评估、道路施工勘测等领域得到广泛应用。机载激光点云数据的获取成本也随之越来越低,点云规模的海量化已经成为常态。然而,对于海量机载激光点云实时在线组织与管理的研究还处于起步阶段。现有对激光点云数据的研究要么侧重于静态点云管理,要么侧重于点云建模,对真实采集场景下范围动态变化的海量点云支持不足,且无法满足扫描区域在线监测、飞机路径规划等应用需要实时在线提取点云数据的需求。针对以上问题,本文以激光点云数据索引设计、存储系统选择和存取优化为切入点,重点探索海量机载激光点云实时存取技术,并设计海量机载激光点云实时在线管理系统。主要研究内容和创新点如下:(1)提出适用于海量机载激光点云实时采集场景的内外存双层索引技术。内存层次使用扩张式网格划分空间,并利用Morton编码把三维的网格编号转换成一维Morton码。外存层次使用B树或者哈希索引,对内存层次的一维Morton码建立索引,形成内外存双层索引,提升内外存数据动态调度的效率。(2)选择非关系型数据库Mongo DB作为海量机载激光点云的存储系统,提出无序无验证批量插入、内外存双层索引、不定长面向对象的BSON文档结构、感兴趣区域ROI(Region of Interest)部分更新和ROI预读等优化方法提升海量机载激光点云的存取效率。(3)规划Mongo DB分布式集群架构,搭建高可用、易扩展的Mongo DB分布式集群。结合海量机载激光点云的特点,选择内存层次生成的一维Morton码作为片键,使用哈希分片策略对集群集合进行分片,并对集群进行容灾和负载平衡测试。(4)设计海量机载激光点云实时在线管理系统,分析数据存储链路和数据提取链路,设计系统软件架构,通过数据存储、数据提取、激光点云坐标计算、UDP传输、索引生成和实时监测等模块的分析、实现和优化,完成系统的搭建。其中实时监测模块使用Qt与Open GL开发,用于实时监测感兴趣区域ROI内的点云采集情况。基于上述的研究内容和创新点,本文进行了多组对比实验,验证了本文提出的索引结构、存储系统和存取优化的有效性,并测试了海量机载激光点云在线管理系统的性能。结果显示,本文设计的系统具备实时在线组织与管理海量机载激光点云、实时在线监测区域扫描情况的能力。
刘常磊[6](2020)在《海量图片存储技术的研究》文中进行了进一步梳理随着互联网的飞速发展,各种信息资源快速增长,各行各业每时每刻都会产生海量的信息。而作为信息源之一的图片,具有传输方便、蕴含信息丰富、给人感觉直观等优点,其数量呈指数式增长。如大众熟知的淘宝、京东、微博等网站的图片存储数量已经达到PB级别,并且还在不断增长。面对增长如此迅速的图片资源,传统的文件存储架构和检索技术逐渐暴露出它们的缺点,无法满足当前海量图片资源的存储空间和处理时间的需求。因此,寻找一种能够满足并发访问的,高效的图片存储技术成为很多信息系统中亟待解决的问题。本文分析比较了当前国内外比较有代表性的海量图片存储方案,选择基于对象存储结构来解决上述难题。本文通过对海量图片数据的存储特性的分析,以及对对象存储结构的研究,提出一种基于对象存储结构的海量图片存储框架MISF。该框架以对象存储结构为核心,底层使用分布式架构保证了物理层次的高容量和高吞吐率,利用虚拟化技术将底层文件系统的树形层级结构隐藏,映射为扁平化的存储空间。并且采用新型的数据组织结构,将图片数据紧凑的组织在一起,并且为其生成内部索引文件以供客户端快速访问。本文主要从以下三个方面展开研究:第一,通过对对象存储结构的组织和特性进行研究,提出一种基于对象存储结构的海量图片对象存储模型。该模型底层采用分布式架构,为高容量和高性能提供物理架构的支持,同时整个系统模型将控制通路与数据通路分离,提高系统吞吐率。并且使用虚拟化技术将底层分布式架构和文件层级结构隐藏,虚拟为扁平结构的存储空间,使得用户可以更加友好、快速的获取到图片数据。第二,通过对B+树数据结构的分析研究,采用基于B+树的按需加载索引策略,既解决了海量图片数据的元数据管理问题,又为底层虚拟化提供了技术支持。同时,合理设计图片对象的UID,使得同类图片的物理存储地址尽可能靠近,从而提高了查询效率。第三,通过对当前比较典型的几种缓存置换策略的研究,设计了一种自定义价值模型的缓存置换策略,该策略充分考虑到海量图片对象的空间局部性和时间局部性、长期流行度和短期流行度,能够提高缓存命中率,提升系统查询速度。本文根据所研究的海量图片数据存储框架设计了原型系统,并且对原型进行实验分析,验证了原型系统的可用性和高效性,说明了存储框架的可行性和有效性。
侯博[7](2020)在《海量动目标数据管理与应用技术研究与实现》文中研究说明运动目标数据是地理空间数据与流式数据的一个交集,其既拥有地理空间数据:空间、属性、时间三大特征,也拥有流式数据:快速、大量、连续到达的特点。在解决动目标数据管理问题时,需要完善的数据模型与存储方式。在存储方面,数据模型选择不当会导致存储冗余、碎片化问题,极大降低存储效率。在数据实时分析方面,数据处理的时延指标与准确率十分重要,时间延迟与错误率高会使分析处理价值下降。针对动目标数据模型的问题,论文对国内外数据管理进行相应的研究分析,提出一种基于三维剖分模型与动目标数据模型(MOST)结合的数据存储模型,该模型对原有二维H树进行改进,加入高度维,得到动目标经纬高度索引值,并根据索引值及数据的时间戳进行数据的存储。针对动目标数据存储的问题,论文对当下几种流行的数据存储方式进行研究。研究格网数据的打包方法,进行算法优化与并行加速。针对海量轨迹数据,研究分布式集群环境下的存储方法。针对动目标的实时轨迹数据分析的应用场景,提出两种实时分析的解决思路:基于五点法的轨迹预测方法,此方法可以较快速的预测动目标下一个位置点,实时性较强。基于Storm的历史频次统计分析方法,此方法根据历史轨迹频次进行分析,准确率较高。上述两种方法解决了实时分析的两个重点问题:实时、准确。论文设计了海量动目标数据管理与应用系统总体结构,并通过实验验证了技术的可行性。论文研究成果可应用于大规模流数据的数据存储场景及实时在线分析场景,为该场景提供一个可以应用的技术方案。
邹草心[8](2020)在《面向旅游场景的时空大数据应用服务技术的优化与实现》文中指出时空大数据即是拥有时间和空间两个维度属性的大数据,在海量的大数据中,80%以上的数据都和时间、空间位置有关。在时空大数据的应用领域之中,旅游行业的前景非常广阔,借助时空大数据相关技术平台,可以方便旅行社团队跟踪监测;可以制作景区客流热力图,方便景区管理人员实时负荷监测;可以准确预知客流趋向,进而采取相应的措施疏导客流等等。本文以旅游智慧监管平台为背景,研究时空大数据中一些关键性技术的优化问题,主要涉及时空采集性能优化、分布式存储方案设计以及基于移动对象的最近邻查询优化三个方面。首先,本文针对旅游客流数据的采集性能提升问题,设计了一种基于大数据平台的读写框架STClient,先介绍了其整体流程,然后针对时空数据的特点,分别从文件读写、数据预处理、时空索引方案设计、序列化以及入库这个五个方面进行优化。然后,本文设计了一种面向时空大数据的分布式存储系统。根据时空大数据的空间性和时序性特点,设计了基于项目背景的系统架构;按照时空划分对数据进行,并通过构建空间热度树来提高系统负载均衡的性能;在已有数据冷热分离方案的基础上针对其问题做出了进一步改进,完善存储系统的可用性和提高系统的性能。这些方案使系统能有效支持后续一系列的客流数据分析工作。最后,本文基于网格和优化后的四叉树,提出了一种能很好支持最近邻查询的索引方法。由原来的对移动对象本身的索引方式改进为对对象所在区域的索引方式,以此降低频繁的索引更新次数,并设计了基于该索引方式的最近邻查询算法,提高了查询的效率。
何帆[9](2020)在《船舶AIS大数据时空建模与快速检索方法研究》文中进行了进一步梳理自21世纪以来,船舶自动识别系统(Automatic Identification System,AIS)作为一种强制装备且互通船岸的通讯技术,为海事和监管部门提供了保存最完整、应用最广泛、最标准化、全球通用的水路交通行业数据。通过对AIS数据的使用和分析,为船舶安全航行和避碰提供了可靠的数据保障,为海事部门决策执法提供了信息支持,也为航运物流更加高效、快捷奠定了基础。然而,随着海上经济的不断发展,船舶种类的日渐丰富,AIS数据逐渐呈现的大数据特征,为其管理与查询带来了极大的困难,特别是在当前的互联网和移动计算时代,这一问题尤为突显。为了解决这一问题,国内外研究人员提出了一系列有效的方法,然而这些方法多是针对AIS数据时空特性的某一方面,缺乏对该特性的全面考量,给后续管理和检索带来了一定困难。因此,本文从AIS大数据的存储管理与应用服务的现实需求出发,提出一种综合考虑时空特性的AIS数据时空数据模型以及高效存储检索方法,以解决AIS大数据的管理与查询困难问题。首先,本文通过对国内外研究现状的分析,对现有AIS数据存储管理方法和索引技术进行了总结,进而对其不足之处进行了分析,提出了本文主要的研究内容。其次,基于AIS数据的时空特征分析,提出了以船舶为时空对象的数据存储概念模型;进一步结合分布式环境提出了多维关系存储模型,以实现对海量AIS数据的高效组织与管理。再次,在前述时空数据模型的基础上,提出了AIS大数据管理架构。通过对Elasticsearch写入机制的分析,提出了改进后的My SQL分页检索方法及基于写入机制的性能评分SUR(Segment Union Remark)优化策略,实现了AIS数据的高效入库;对分析AIS数据存储需求进行分析,基于多维分析存储模型,提出了“宽表”存储方法及“应用端关系型”存储方法,实现了对AIS数据及其航行条件(航行环境、水域辖区航行区域)的层次化存储。最后,通过对时间维、空间维的切分,提出了基于时空切片立方体(Spatiotemporal-Slice Cube,SSC)的时空数据划分策略。在此基础上,结合Geo Time编码方法实现Geo Cub R树的构建;基于Lucene的索引构建方法及分布式存储原理,提出了Invert-Geo Cub R树分布式索引框架,实现了海量AIS数据的快速检索。另外,本文对检索和实验方案进行了设计,搭建了基于B/S架构的AIS数据存储管理系统,对本文提出的写入、存储及索引方法进行了效率对比验证。实验结果表明,本文设计的存储方法和索引结构可以更好的应对复杂的时空关系型查询,为海量AIS数据进行有效管理和提供快速检索服务。
冯斌[10](2019)在《面向多模态场景数据的多层次混合时空索引方法》文中指出随着互联网、传感网、物联网和社交网络的快速发展与应用,智慧城市每时每刻将会产生海量的多模态时空数据,给智慧城市展示、分析和探索等多层次可视化任务提供了重要的数据支撑。任务所需多模态时空数据称为多模态场景数据,具备多元异构、动态变化和复杂关联的特点,需要及时的以高性能、低延迟的方式处理,对数据的存储、索引、查询提出了更高要求。如何高效率的组织管理多模态场景数据,满足智慧城市中数据密集型、计算密集型和交互密集型应用对多模态场景数据的差异性需求,是场景数据组织管理研究所面临的严峻挑战。现有的场景数据组织管理主要面向单一的低层次展示性可视化任务。数据存储以磁盘为主,I/O延迟高且模式单一,索引方法以树结构为主,难以高效组织多模态场景数据的时间、空间、语义和关联关系,满足多样化查询需求。为了实现面向多层次可视化任务的场景数据自适应汇聚,满足场景的实时构建与交互需求,本文提出适用于多模态场景数据的多层次混合时空索引方法,系统研究多模态场景数据特点以及多层次可视化任务的内涵,分析多层次可视化任务对场景数据的差异性需求,建立全局-局部协同的时空索引机制;提出一种基于时空关系图的多层次混合时空索引方法,并在此基础上研究内外存索引更新与优化方法;进一步研究基于微服务架构的场景数据组织管理引擎,设计以内存为中心的场景数据多模型存储微服务,实现多层次可视化任务所需的多模态场景数据高效存储、索引和查询。主要研究内容包括:(1)多模态场景数据时空索引机制。通过研究人机物三元空间中场景数据的多元,多维,多尺度等多模态特性,以及展示、分析和探索三类可视化任务的内涵和驱动力,总结出了多层次可视化任务对多模态场景数据调度的差异性需求。针对面向多层次可视化任务的场景数据组织过程中存在的数据密集、计算密集和交互密集的难题,针对性的设计了全局-局部协同的时空索引机制,为后续研究提供了理论基础。(2)基于时空关系图的多层次混合时空索引方法。在上述时空索引机制基础上研究了基于稀疏矩阵的时空关系图索引的内存实现,并以此为全局索引设计了场景数据多层次混合时空索引结构,建立了全局索引到局部索引的关联映射,突破了内外存高效协同的复杂场景数据管理与调度技术,以适应多样化的场景数据调度需求。(3)基于微服务架构的场景数据组织管理引擎。为了实现展示、分析和探索就绪的场景数据高效组织管理,基于微服务架构设计了场景数据组织管理引擎结构及其运行机制,实现了场景数据存储、索引和查询的高效集成,进一步提出了以内存为主的场景数据多模型存储微服务,研究了面向展示、面向分析和面向探索的多模式数据查询视图,提升了场景数据的可见性,实现了场景数据的高效组织管理。(4)基于上述研究成果,研发场景数据组织管理原型系统,并以主流的关系数据库Postgre SQL和No SQL数据库Mongo DB作为对比方法,分别针对典型的基础框架数据,智能感知数据和关联关系数据开展场景数据的组织管理效率实验。实验结果表明:本文提出的方法优于对比方法,更能够高效的组织管理多模态场景数据,满足多层次可视化任务对场景数据调度的差异性需求,为场景的实时构建与交互提供数据支撑。
二、业务对象的扩充T树索引机制的研究(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、业务对象的扩充T树索引机制的研究(论文提纲范文)
(1)支持复合条件查询的位置信息检索系统的设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 研究内容 |
1.3 论文结构 |
第二章 相关研究与技术 |
2.1 地理信息检索系统的研究发展状况 |
2.1.1 位置信息检索方向相关行业应用现状 |
2.1.2 GIS查询的国内外相关研究 |
2.2 中间件及软件框架技术 |
2.2.1 Kafka消息中间件 |
2.2.2 SpringBoot |
2.2.3 React |
2.3 地理空间数据库技术 |
2.3.1 PostGIS |
2.3.2 PostgreSQL |
2.4 本章小结 |
第三章 位置信息检索系统需求分析及概要设计 |
3.1 需求概述 |
3.2 功能性需求分析 |
3.2.1 数据管理功能 |
3.2.2 复合条件查询功能 |
3.2.3 用户及权限管理功能 |
3.2.4 地图相关功能 |
3.3 非功能性需求分析 |
3.3.1 可扩展性 |
3.3.2 低响应时间 |
3.3.3 性能检测 |
3.4 系统概要设计 |
3.4.1 复合条件查询规则设计 |
3.4.2 系统总体设计 |
3.5 本章小结 |
第四章 位置信息检索系统详细设计与实现 |
4.1 可视化层的组件化设计与实现 |
4.1.1 用户及权限模块组件实现 |
4.1.2 复合条件查询模块组件实现 |
4.1.3 其他地图相关模块组件实现 |
4.2 数据管理模块的设计与实现 |
4.2.1 整体设计 |
4.2.2 数据爬取中算法设计与实现 |
4.2.3 数据调度及中间件实现 |
4.3 复合条件查询模块的实现与优化 |
4.3.1 数据库设计 |
4.3.2 模块整体设计与实现 |
4.3.3 空间关系与数量关系查询的模式选择 |
4.4 其他模块的设计与实现 |
4.4.1 其他功能模块的设计与实现 |
第五章 系统测试 |
5.1 测试目标及环境 |
5.1.1 测试目标 |
5.1.2 测试环境与测试准备 |
5.2 系统功能测试 |
5.2.1 前端的组件化实现展示 |
5.2.2 用户及权限功能测试 |
5.2.3 复杂条件查询功能测试 |
5.2.4 地图相关模块测试 |
5.2.5 数据管理模块测试 |
5.3 非功能性测试 |
5.3.1 性能检测与访问统计 |
5.3.2 非功能性模块测试 |
5.3.3 性能测试 |
5.4 本章小结 |
第六章 总结和展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
(2)基于HSSVM与卷积神经网络的船舶避碰知识库研究(论文提纲范文)
摘要 |
ABSTRACT |
1 绪论 |
1.1 研究背景 |
1.2 国内外相关研究现状及进展 |
1.3 本文技术路线 |
1.4 研究目的和研究意义 |
1.5 本文主要工作及内容安排 |
2 船舶避碰会遇数据提取 |
2.1 AIS简介 |
2.2 AIS数据预处理 |
2.3 船舶会遇划分 |
2.4 互见中的避让过程 |
2.5 基于高效索引算法的船舶避碰会遇数据提取 |
2.5.1 基于时间片倒排索引的轨迹查询方法 |
2.5.2 基于R树索引的AIS轨迹搜索算法 |
2.6 本章小结 |
3 融合动态Douglas-Peucker算法与特征标注的AIS轨迹数据预处理 |
3.1 基于动态D-P算法的AIS轨迹压缩 |
3.1.1 经典Douglas-Peucker算法 |
3.1.2 动态D-P算法 |
3.1.3 基于动态D-P算法的AIS轨迹压缩 |
3.2 拉格朗日插值预处理 |
3.2.1 一阶差商与二阶差商 |
3.2.2 船舶直线运动的双线性插值 |
3.2.3 船舶曲线运动的拉格朗日二次插值 |
3.3 TCPA/DCPA标注 |
3.3.1 目标船状态计算模型 |
3.3.2 DCPA、TCPA计算模型 |
3.3.3 DCPA/TCPA计算实例 |
3.4 本章小结 |
4 基于加权HSSVM的船舶避碰知识库构建 |
4.1 加权超球支持向量机数学描述 |
4.1.1 原始的超球支持向量机描述 |
4.1.2 加权超球支持向量机描述 |
4.1.3 时间复杂度分析 |
4.2 超球相交区域的决策规则 |
4.2.1 同类错误/异类错误超球规则 |
4.2.2 多子超球分类规则 |
4.2.3 线性/非线性分类规则 |
4.2.4 基于kNN的分类决策规则 |
4.3 基于加权超球支持向量机算法的船舶避碰分类实验设计及结果分析 |
4.3.1 训练数据、测试数据准备 |
4.3.2 实验结果及分析 |
4.3.3 船舶避碰知识分类数据提取 |
4.3.4 避碰知识库建立 |
4.4 小结 |
5 基于CNN大规模船舶避碰知识库扩充及应用 |
5.1 算法描述 |
5.1.1 算法流程描述 |
5.2 多尺度多分辨率轨迹处理 |
5.2.1 轨迹合并 |
5.2.2 空间金字塔AIS轨迹池化处理 |
5.3 基于深度学习算法的避碰识别 |
5.3.1 卷积神经网络发展历史 |
5.3.2 基于CNN的轨迹匹配网络架构设计 |
5.3.3 实验分析 |
5.4 船舶避碰知识库的应用举例 |
5.4.1 船舶避碰图像知识库 |
5.4.2 船舶避碰特征知识库 |
5.5 本章小结 |
6 结论与展望 |
6.1 结论 |
6.2 展望 |
参考文献 |
作者简历及攻读博士学位期间的科研成果 |
致谢 |
(3)大数据环境下的轨迹数据查询优化技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景 |
1.2 研究现状 |
1.2.1 轨迹数据概况 |
1.2.2 轨迹数据特征 |
1.2.3 轨迹数据查询 |
1.3 研究内容 |
1.4 论文组织 |
第二章 相关工作 |
2.1 轨迹数据查询理论与相关技术 |
2.1.1 轨迹数据相关技术 |
2.1.2 轨迹分段 |
2.1.3 轨迹数据的索引和查询 |
2.2 HADOOP大数据处理系统 |
2.2.1 HDFS |
2.2.2 Map Reduce计算模型 |
2.2.3 Hbase分布式数据库 |
2.3 大数据环境下的轨迹数据管理 |
第三章 轨迹查询问题分析与定义 |
3.1 轨迹数据定义 |
3.2 轨迹查询问题分析 |
3.2.1 点查询 |
3.2.2 范围查询 |
3.2.3 轨迹段查询 |
3.3 轨迹查询优化基本思路 |
3.4 本章小结 |
第四章 基于行程识别的轨迹数据分段方法 |
4.1 轨迹分段基本思路 |
4.2 速度阈值选取参数维度 |
4.3 聚类方法获取参数密度 |
4.3.1 层次聚类获取时间阈值参数粒度 |
4.3.2 密度聚类获取空间阈值参数粒度 |
4.4 速度阈值计算方法 |
4.5 长周期轨迹数据分段 |
4.6 本章小结 |
第五章 面向分段轨迹数据的时空索引 |
5.1 索引模型 |
5.1.1 点查询索引 |
5.1.2 范围查询索引 |
5.1.3 轨迹段查询索引 |
5.2 索引构建 |
5.2.1 点查询索引构建算法 |
5.2.2 范围查询索引构建 |
5.2.3 轨迹段查询索引构建 |
5.3 基于索引的查询 |
5.3.1 点查询 |
5.3.2 范围查询 |
5.3.3 轨迹段查询 |
5.4 本章小结 |
第六章 轨迹查询系统实现与实验 |
6.1 系统设计与实现 |
6.1.1 系统架构设计 |
6.1.2 关键技术实现 |
6.2 实验验证与结果分析 |
6.2.1 实验基础环境 |
6.2.2 实验数据集 |
6.2.3 评价指标 |
6.2.4 实验结果分析 |
6.3 本章小结 |
第七章 结论与展望 |
参考文献 |
在学期间的研究成果 |
致谢 |
(4)大规模轨迹数据的分布式管理与分析(论文提纲范文)
摘要 |
ABSTRACT |
符号对照表 |
缩略语对照表 |
第一章 绪论 |
1.1 轨迹数据管理和分析的意义 |
1.2 轨迹数据管理和分析的难点 |
1.3 轨迹数据管理和分析的研究现状 |
1.4 本文的研究内容和主要贡献 |
1.5 本文组织结构 |
第二章 TrajMesa的系统概览 |
2.1 TrajMesa的系统框架 |
2.2 TrajMesa的数据流 |
2.3 TrajMesa的用户界面 |
2.4 本章小结 |
第三章 轨迹预处理 |
3.1 轨迹预处理背景 |
3.2 轨迹噪声过滤 |
3.3 轨迹驻留点检测 |
3.4 轨迹分段 |
3.5 轨迹地图匹配 |
3.6 性能测试 |
3.6.1 实验设置 |
3.6.2 实验结果 |
3.7 本章小结 |
第四章 轨迹存储、索引和查询 |
4.1 本章概述 |
4.2 相关背景知识 |
4.3 轨迹存储模式设计 |
4.4 ID时间范围查询 |
4.4.1 定义 |
4.4.2 索引构建 |
4.4.3 查询处理 |
4.5 空间范围查询 |
4.5.1 定义 |
4.5.2 索引构建 |
4.5.3 查询处理 |
4.6 相似查询 |
4.6.1 定义 |
4.6.2 索引构建 |
4.6.3 查询处理 |
4.7 k-邻近查询 |
4.7.1 定义 |
4.7.2 索引构建 |
4.7.3 查询处理 |
4.8 路径时间范围查询 |
4.8.1 问题背景 |
4.8.2 定义 |
4.8.3 索引构建 |
4.8.4 查询处理 |
4.8.5 分析与优化 |
4.9 其他轨迹查询 |
4.10 性能测试 |
4.10.1 数据集和软硬件环境 |
4.10.2 ID时间范围查询 |
4.10.3 空间范围查询 |
4.10.4 相似查询 |
4.10.5 k-邻近查询 |
4.10.6 路径时间范围查询 |
4.10.7 XZ2+T性能试验 |
4.10.8 扩展性实验 |
4.11 本章小结 |
第五章 轨迹SQL引擎 |
5.1 SQL语句的设计 |
5.1.1 轨迹数据定义语句DDL |
5.1.2 轨迹数据操纵语句DML |
5.1.3 轨迹数据查询语句DQL |
5.1.4 轨迹数据分析语句DAL |
5.2 SQL引擎实现 |
5.2.1 SQL解析 |
5.2.2 SQL优化 |
5.2.3 SQL执行 |
5.3 SQL驱动器 |
5.4 本章小结 |
第六章 基于TrajMesa的实时可达区域分析 |
6.1 问题背景 |
6.2 问题定义 |
6.3 分析框架 |
6.4 索引和分析 |
6.4.1 Traj索引 |
6.4.2 跳图索引(SG索引) |
6.5 k值模型训练与预测 |
6.5.1 标签生成 |
6.5.2 特征抽取 |
6.5.3 模型训练 |
6.6 实验评估 |
6.6.1 数据集和实验设置 |
6.6.2 k值预测的有效性 |
6.6.3 索引性能 |
6.6.4 查询性能 |
6.7 R-Area系统部署 |
6.8 相关工作 |
6.9 本章小结 |
第七章 总结与展望 |
7.1 本文工作总结 |
7.2 未来工作展望 |
参考文献 |
致谢 |
作者简介 |
(5)基于MongoDB的海量机载激光点云实时在线组织与管理的研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 课题研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 空间数据索引技术研究现状 |
1.2.2 点云数据存储与管理研究现状 |
1.3 研究内容 |
1.4 论文的组织结构 |
1.5 课题来源 |
第二章 机载激光点云及其索引技术的研究 |
2.1 机载激光点云 |
2.1.1 机载激光扫描系统 |
2.1.2 激光雷达和惯性测量单元数据同步预处理 |
2.1.3 机载激光点云数据生成 |
2.2 常用点云数据索引技术 |
2.2.1 基于网格划分的索引技术 |
2.2.2 基于八叉树的索引技术 |
2.2.3 基于K-D树的索引技术 |
2.2.4 几种索引技术的评价 |
2.3 内外存双层索引 |
2.3.1 内存层次 |
2.3.2 外存层次 |
2.4 内外存动态调度 |
2.5 内外存双层索引有效性验证 |
2.6 本章小结 |
第三章 基于MongoDB单机的海量点云管理 |
3.1 海量机载激光点云管理的数据库选型 |
3.1.1 关系型数据库 |
3.1.2 非关系型数据库 |
3.1.3 两种类型数据库的比较 |
3.2 MongoDB及其性能分析 |
3.3 海量机载激光点云存取性能优化及其效果分析 |
3.3.1 无序无验证的批量插入 |
3.3.2 内外存双层索引 |
3.3.3 不定长面向对象的BSON文档结构 |
3.3.4 动态读取优化 |
3.4 本章小结 |
第四章 基于MongoDB分布式集群的海量点云管理 |
4.1 应用于海量空间数据的分布式技术 |
4.2 MongoDB副本集架构 |
4.3 MongoDB分片集群架构 |
4.3.1 分片 |
4.3.2 数据块分裂与迁移 |
4.3.3 片键和分片策略 |
4.4 MongoDB分布式集群虚拟化 |
4.5 MongoDB分布式集群搭建 |
4.6 片键和分片策略选择 |
4.7 MongoDB分布式集群测试 |
4.7.1 容灾测试 |
4.7.2 负载平衡测试 |
4.8 本章小结 |
第五章 海量机载激光点云实时在线管理系统的设计与实现 |
5.1 系统框架 |
5.2 系统数据传输链路和模块设计 |
5.2.1 数据传输链路分析 |
5.2.2 系统软件架构和模块设计 |
5.3 系统运行与分析 |
5.3.1 系统性能分析 |
5.3.2 实时监测模块分析 |
5.4 本章小结 |
总结与展望 |
参考文献 |
攻读硕士学位期间取得的研究成果 |
致谢 |
附件 |
(6)海量图片存储技术的研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 课题研究背景及意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究现状 |
1.2.1 DAS、SAN和 NAS的研究现状 |
1.2.2 分布式文件系统研究现状 |
1.2.3 NoSQL数据库研究现状 |
1.2.4 对象存储技术研究现状 |
1.2.5 现有技术方案的特点 |
1.3 研究目标、研究内容和创新点 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.3.3 本文创新点 |
1.4 本文组织结构 |
第二章 相关技术介绍 |
2.1 对象存储 |
2.1.1 对象存储结构 |
2.1.2 对象存储的特性 |
2.2 感知哈希算法 |
2.2.1 感知哈希算法的概念 |
2.2.2 基于DTC的感知哈希算法 |
2.2.3 感知哈希算法的处理过程 |
2.3 B+树 |
2.3.1 B+树的概念 |
2.3.2 B+树的特点 |
2.3.3 B+树文件结构 |
2.3.4 B+树相关操作 |
2.4 本章小结 |
第三章 海量图片存储框架分析与设计 |
3.1 基于对象存储的扁平化存储策略研究 |
3.1.1 对象存储结构分析 |
3.1.2 对象存储应用于海量图片存储的分析 |
3.1.3 图片对象紧凑式组织结构分析 |
3.1.4 基于对象存储的框架结构 |
3.2 基于B+树的索引策略研究 |
3.2.1 B+树索引与哈希索引对比 |
3.2.2 B+树索引应用于海量图片存储的分析 |
3.2.3 B+树索引的设计 |
3.3 基于时空价值的缓存策略研究 |
3.3.1 图片对象访问特性分析 |
3.3.2 现有图片对象缓存置换策略分类 |
3.3.3 图片对象缓存置换策略解决思路 |
3.4 本章小结 |
第四章 原型系统设计 |
4.1 系统整体架构 |
4.2 图片对象读写流程 |
4.2.1 图片对象读取流程 |
4.2.2 图片对象写入流程 |
4.3 各功能模块设计 |
4.3.1 客户端模块 |
4.3.2 索引模块 |
4.3.3 缓存模块 |
4.3.4 存储模块 |
4.4 本章小结 |
第五章 实验设计和结果分析 |
5.1 实验环境 |
5.1.1 硬件环境介绍 |
5.1.2 软件环境介绍 |
5.1.3 实验数据 |
5.2 面向按需加载索引策略的实验验证 |
5.2.1 索引策略的实验设计 |
5.2.2 索引策略的实验分析 |
5.3 面向缓存置换策略的实验验证 |
5.3.1 缓存置换的实验设计 |
5.3.2 缓存置换的实验分析 |
5.4 面向紧凑式组织方式的扁平化存储策略的实验验证 |
5.4.1 组织方式的实验设计 |
5.4.2 组织方式的实验分析 |
5.5 面向基于MISF的原型系统的对比实验验证 |
5.5.1 原型系统的实验设计 |
5.5.2 原型系统的实验分析 |
5.6 本章小结 |
第六章 总结与展望 |
6.1 全文总结 |
6.2 研究特色 |
6.3 后续工作展望 |
致谢 |
参考文献 |
附录 |
(7)海量动目标数据管理与应用技术研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
缩略词 |
第一章 绪论 |
1.1 国内外研究进展 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究进展 |
1.2.1 移动对象数据模型(MOST)的早期技术研究 |
1.2.2 地球剖分模型的研究现状 |
1.2.3 流数据实时分析技术研究现状 |
1.2.4 研究趋势小结 |
1.3 研究目标与主要研究内容 |
1.3.1 研究目标 |
1.3.2 主要研究内容 |
1.4 论文组织结构 |
第二章 海量动目标数据模型研究 |
2.1 引言 |
2.2 研究思路 |
2.3 动态数据分类 |
2.4 二维空间目标数据组织模型研究 |
2.4.1 二维空间目标数据模型分析 |
2.4.2 二维空间目标数据索引树建立 |
2.5 三维空间目标数据组织模型研究 |
2.5.1 三维剖分模型基本原理 |
2.5.2 三维剖分模型编码方式 |
2.6 移动空间目标数据组织模型研究 |
2.6.1 动目标空间位置与姿态 |
2.6.2 动目标时间属性 |
2.6.3 动目标时空混合属性 |
2.7 模型研究总结 |
2.8 本章小结 |
第三章 海量动目标数据存储方法研究 |
3.1 引言 |
3.2 研究思路 |
3.3 格网数据并行打包存储算法研究 |
3.3.1 格网数据打包问题提出 |
3.3.2 格网数据串行打包算法 |
3.3.3 格网数据并行打包算法 |
3.4 动目标非关系型缓存数据库+关系型数据库存储研究 |
3.4.1 MySQL索引技术研究与格网数据存储方法 |
3.4.2 Redis缓存数据库研究 |
3.5 动目标列族数据库存储研究 |
3.5.1 基于列族数据库的动目标数据存储与组织 |
3.5.2 动目标数据Rowkey设计 |
3.6 本章小结 |
第四章 海量动目标数据实时分析方法研究 |
4.1 引言 |
4.2 研究思路 |
4.3 基于五点法的轨迹预测方法研究 |
4.3.1 五点微分法介绍 |
4.3.2 动目标轨迹预测的实现 |
4.4 基于Storm的历史频次统计分析方法研究 |
4.4.1 Storm框架介绍 |
4.4.2 历史频次统计方法拓扑结构设计 |
4.4.3 分布式实时预测框架 |
4.5 本章小结 |
第五章 总体系统设计与验证 |
5.1 引言 |
5.2 海量动目标数据管理与应用原型系统的总体结构设计 |
5.2.1 系统功能组成 |
5.2.2 系统结构 |
5.2.3 实现途径 |
5.3 实验验证与分析 |
5.3.1 系统功能组成 |
5.3.2 格网数据并行打包实验流程及结果分析 |
5.3.3 动目标数据存储实验流程及结果分析 |
5.3.4 动目标数据实时分析实验流程及结果分析 |
5.4 本章小结 |
第六章 工作总结与展望 |
6.1 论文工作总结 |
6.2 海量动目标数据管理与应用技术的后续可改进工作 |
参考文献 |
致谢 |
在学期间发表的学术论文及取得的研究成果 |
(8)面向旅游场景的时空大数据应用服务技术的优化与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究意义 |
1.2 国内外研究现状 |
1.2.1 时空大数据相关的扩展框架 |
1.2.2 时空大数据存储 |
1.2.3 移动对象索引 |
1.3 项目背景及本论文的主要工作 |
1.3.1 论文工作的项目背景 |
1.3.2 本论文的主要工作 |
1.4 本论文的组织结构 |
第二章 相关理论和技术 |
2.1 HBase数据库 |
2.1.1 HBase与 RDBMS的区别 |
2.1.2 HBase存储原理 |
2.1.3 HBase数据存储模型 |
2.1.4 HBase存储时空数据的缺陷 |
2.2 高效的多维空间点索引算法 |
2.2.1 GeoHash |
2.2.2 Google S2 |
2.2.3 GeoHash与 S2 对比 |
2.3 常见的分布式系统中数据分布方式 |
2.4 基于多维空间的移动对象索引 |
2.4.1 网格索引 |
2.4.2 四叉树索引 |
2.5 本章小结 |
第三章 面向时空大数据采集入库的优化策略设计与实现 |
3.1 问题描述 |
3.2 基于旅游智慧监管平台的时空数据读写架构设计 |
3.3 时空数据文件读写策略 |
3.3.1 基于OS的 MMAP文件内存映射 |
3.3.2 基于生产者-消费模式的多线程读写拆分策略 |
3.4 时空数据预处理 |
3.4.1 HBase数据模型设计方案 |
3.4.2 数据倾斜的问题 |
3.4.3 基于预分区和Hash散列的数据倾斜解决方案 |
3.5 时空索引方案设计 |
3.5.1 基于GeoHash算法构建空间编码 |
3.5.2 基于S2 算法构建空间编码 |
3.6 基于Prorostuff的序列化过程 |
3.7 基于BulkLoad实现HBase快速写 |
3.8 性能测试及分析 |
3.8.1 实验环境 |
3.8.2 文件拆分性能分析 |
3.8.3 GeoHash与 S2 构建时空索引性能测试对比 |
3.8.4 数据入库性能分析 |
3.8.5 测试数据集在应用服务上的效果展示 |
3.9 本章小结 |
第四章 面向时空大数据的分布式存储系统的设计与实现 |
4.1 问题描述 |
4.2 系统总体架构设计 |
4.3 基于空间热度的动态负载均衡策略 |
4.3.1 基于时空划分的数据分片方式 |
4.3.2 构建热度均衡模型的算法流程 |
4.4 数据冷热分离存储 |
4.4.1 现有的数据冷热分离方案及存在的问题 |
4.4.2 基于binlog和标记清除的冷热分离方案设计 |
4.5 实验结果及分析 |
4.5.1 实验环境 |
4.5.2 负载均衡性能分析 |
4.5.3 数据冷热分离性能分析 |
4.6 本章小结 |
第五章 基于移动对象的最近邻查询优化设计与实现 |
5.1 问题描述 |
5.2 GQ-Tree索引方法 |
5.2.1 改进后的四叉树 |
5.2.2 GQ-Tree的设计思想 |
5.2.3 GQ-Tree的数据结构 |
5.3 GQ-Tree数据操作 |
5.3.1 插入数据 |
5.3.2 删除数据 |
5.3.3 更新数据 |
5.3.4 查找数据 |
5.4 基于GQ-Tree的 BF算法 |
5.4.1 剪枝策略 |
5.4.2 算法描述 |
5.5 复杂度分析 |
5.5.1 索引复杂度分析 |
5.5.2 算法复杂度分析 |
5.6 实验结果及分析 |
5.6.1 实验环境 |
5.6.2 索引性能分析 |
5.6.3 最近邻查询性能分析 |
5.7 本章小结 |
第六章 总结和展望 |
6.1 全文总结 |
6.2 后续工作展望 |
致谢 |
参考文献 |
攻读硕士期间取得的研究成果 |
(9)船舶AIS大数据时空建模与快速检索方法研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景 |
1.2 研究目的与意义 |
1.3 国内外研究现状 |
1.3.1 存储管理研究现状 |
1.3.2 检索效率研究现状 |
1.3.3 存在的不足 |
1.4 研究内容与论文组织结构 |
第2章 AIS数据时空模型构建 |
2.1 AIS系统 |
2.1.1 AIS系统简介 |
2.1.2 AIS信息采集 |
2.1.3 AIS数据解码 |
2.2 时空数据建模技术 |
2.2.1 时空数据 |
2.2.2 常见时空数据模型 |
2.2.3 布尔模型和倒排模型 |
2.3 面向AIS大数据的时空数据模型构建 |
2.3.1 AIS数据时空特征 |
2.3.2 数据存储概念模型设计 |
2.3.3 基于AIS时空特征的多维关系存储模型构建 |
2.4 本章小结 |
第3章 海量AIS数据存储方法研究 |
3.1 数据管理技术 |
3.2 AIS大数据管理架构 |
3.2.1 存储需求分析 |
3.2.2 架构设计 |
3.3 AIS数据的写入机制设计 |
3.3.1 历史数据写入优化方法 |
3.3.2 实时数据同步优化策略 |
3.4 基于MR-Model的时空数据管理方法 |
3.4.1 分布式系统概述 |
3.4.2 基于Mycat的存储模型实现 |
3.4.3 基于ES的存储模型实现 |
3.5 本章小结 |
第4章 海量AIS数据快速检索方法研究 |
4.1 时空索引技术概述 |
4.1.1 空间编码技术 |
4.1.2 时空索引技术 |
4.2 时空对象的信息重构与划分 |
4.3 基于Geo-CubR树的海量AIS时空数据索引方法 |
4.3.1 Geo Time编码方法 |
4.3.2 Geo-CubR树的性质及定义 |
4.3.3 Geo-CubR树的算法设计 |
4.4 混合时空索引组织方法实现 |
4.4.1 基于Invert-GeoCubR树的分布式索引框架 |
4.4.2 基于Elasticsearch的索引实现 |
4.5 检索及统计方法 |
4.5.1 非时空检索方法 |
4.5.2 基于Invert-GeoCubR树的交互时空检索方法 |
4.5.3 关系型检索 |
4.5.4 统计方法 |
4.6 本章小结 |
第5章 AIS大数据服务与应用实验 |
5.1 AIS数据存储管理系统设计 |
5.2 实验环境设计 |
5.2.1 分布式平台搭建 |
5.2.2 实验数据及预处理 |
5.3 性能对比测试与结果分析 |
5.3.1 AIS数据写入存储效率测试 |
5.3.2 非关系型检索效率测试 |
5.3.3 关系型检索效率测试 |
5.4 实验总结 |
5.5 本章小结 |
第6章 总结与展望 |
6.1 总结 |
6.2 展望 |
致谢 |
参考文献 |
攻读学位期间获得与学位论文相关的科研成果目录 |
(10)面向多模态场景数据的多层次混合时空索引方法(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 索引机制 |
1.2.2 场景数据的索引方法 |
1.2.3 场景数据的存储管理方法 |
1.3 论文研究思路 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.3.3 研究技术路线 |
1.4 论文组织结构 |
第2章 多模态场景数据时空索引机制 |
2.1 多模态场景数据 |
2.1.1 场景数据的多模态特点 |
2.1.2 多模态场景数据的组织划分 |
2.2 多层次可视化任务需求 |
2.2.1 多层次可视化任务特点 |
2.2.2 可视化任务对场景数据组织的差异性需求 |
2.3 全局-局部协同的时空索引机制 |
2.4 本章小结 |
第3章 基于时空关系图的多层次混合时空索引方法 |
3.1 基于稀疏矩阵的时空关系图索引 |
3.1.1 时空关系图的定义 |
3.1.2 时空关系图的生成 |
3.1.3 基于稀疏矩阵的内存存储与操作 |
3.2 多层次混合时空索引方法结构及原理 |
3.2.1 总体结构 |
3.2.2 多层次混合时空索引工作原理 |
3.2.3 典型多模态场景数据局部索引组织方法 |
3.3 内外存索引更新与优化 |
3.3.1 内外存索引更新机制 |
3.3.2 时空关系图索引优化 |
3.4 时空关系图索引效率实验 |
3.4.1 实验数据与环境 |
3.4.2 索引的构建效率测试与分析 |
3.5 本章小结 |
第4章 基于微服务架构的场景数据组织管理引擎 |
4.1 场景数据引擎设计 |
4.1.1 场景数据引擎结构概述 |
4.1.2 场景数据引擎机制 |
4.2 场景数据多模型存储微服务 |
4.2.1 场景数据存储微服务设计 |
4.2.2 多模型数据存储与多模式数据视图 |
4.3 多样化场景数据查询 |
4.3.1 时空查询 |
4.3.2 模糊时空关系查询 |
4.4 本章小结 |
第5章 场景数据组织管理原型系统及实验分析 |
5.1 概述 |
5.1.1 系统需求 |
5.1.2 实验环境 |
5.1.3 测试数据集 |
5.2 原型系统设计与实现 |
5.2.1 原型系统设计 |
5.2.2 原型系统实现 |
5.3 实验测试与分析 |
5.3.1 基础框架数据组织管理实验 |
5.3.2 智能感知数据组织管理实验 |
5.3.3 关联关系数据组织管理实验 |
5.3.4 综合分析与讨论 |
5.4 本章小结 |
第6章 结论与展望 |
6.1 工作总结 |
6.2 创新点 |
6.3 不足与展望 |
致谢 |
参考文献 |
攻读博士学位期间发表的论文及科研成果 |
学术论文 |
发明专利 |
学术活动 |
科研项目 |
四、业务对象的扩充T树索引机制的研究(论文参考文献)
- [1]支持复合条件查询的位置信息检索系统的设计与实现[D]. 李翔. 北京邮电大学, 2021(01)
- [2]基于HSSVM与卷积神经网络的船舶避碰知识库研究[D]. 陈鹏. 大连海事大学, 2021(04)
- [3]大数据环境下的轨迹数据查询优化技术研究[D]. 张宽. 北方工业大学, 2020(02)
- [4]大规模轨迹数据的分布式管理与分析[D]. 李瑞远. 西安电子科技大学, 2020(05)
- [5]基于MongoDB的海量机载激光点云实时在线组织与管理的研究[D]. 区晨希. 华南理工大学, 2020
- [6]海量图片存储技术的研究[D]. 刘常磊. 电子科技大学, 2020(07)
- [7]海量动目标数据管理与应用技术研究与实现[D]. 侯博. 中国电子科技集团公司电子科学研究院, 2020(03)
- [8]面向旅游场景的时空大数据应用服务技术的优化与实现[D]. 邹草心. 电子科技大学, 2020(07)
- [9]船舶AIS大数据时空建模与快速检索方法研究[D]. 何帆. 武汉理工大学, 2020(09)
- [10]面向多模态场景数据的多层次混合时空索引方法[D]. 冯斌. 西南交通大学, 2019(06)