一、PC Cluster系统集成技术与并行处理效率分析(论文文献综述)
罗德宁[1](2021)在《大规模数据实时绘制关键技术研究》文中提出三维图形绘制在游戏娱乐、虚拟现实、科学计算可视化等众多领域有着广泛应用,而且在实时和真实方面的绘制要求越来越高。近年来,软硬件的计算性能得到了很大提升,但是面对数据规模的日益增长,大规模数据的实时绘制面临巨大挑战。本文主要针对体数据和地理地形数据的真实和实时绘制技术展开研究。对于精度高、体量大的体数据,三维可视化计算量大,同时增加光照计算更加重了计算负担。大规模地理地形数据一直存在如何高效处理和绘制的问题。同时,反走样技术在数据绘制中能够显着增强视觉效果,减少图像走样、闪烁,但会带来额外的绘制开销。数据规模的增长无疑加重了各种绘制技术的计算开销,即便是提高绘制性能的并行绘制技术在面绘制和体绘制上还存在诸多挑战。针对上述技术问题,本文的主要工作和创新点包括以下方面:(1)数据并行化体绘制及光照计算在基于切片和光线投射两种主流体绘制方法基础上,针对光照计算量大的问题展开性能可扩展研究。针对基于切片体绘制在多绘制遍全局光照计算效率低的问题,提出单绘制遍多切片(Multi-Slice Per Pass,MSPP)算法,从数据与算法并行层面提升绘制能力。在相同切片数量下,MSPP算法可以提高半角切片(Half-Angle Slicing)算法大约两倍的性能。针对光线投射体绘制采样复杂导致光照计算量大的问题,提出基于切片的光线投射(Slice-based Ray Casting,SBRC)方法提升绘制效率和效果。首先,以光源为视点逐切片绘制体数据的整个几何体切片的光照信息到光照衰减缓存。其次,在光线投射过程中,利用光照衰减缓存计算采样点的光照影响,包括体积阴影、软阴影及散射等效果计算。SBRC算法只需要一个绘制遍的时间开销,并且通过变化切片数量和每个切片的分辨率实现可扩展的绘制性能。实验表明,以上方法能够大幅提升体数据的绘制效率和效果,满足性能可扩展的体数据绘制要求。(2)大规模地形数据高效组织与绘制三维地理地形绘制主要包括地理数据组织和三维地形构建两个主要过程。为了使地形绘制发挥最佳性能,并且支持层次细节(Level of Detail,LOD)及Mipmap技术提升绘制性能,提出一种灵活的数字高程模型及数字正射影像经纬度范围一致的无缝划分策略,并对每一块地形瓦片采用分组、分段、四边形网格的组织方式,快速生成具有LOD高效调度的真实三维地形。实验表明,该方法能够快速构建性能可扩展的三维地形,减少绘制调用。(3)数据绘制中的反走样技术针对延迟着色阶段开启硬件反走样方法无法直接兼容的问题,提出子像素连续边界反走样(Sub-Pixel Reconstruction Continuous Edges,SRCE)方法。首先,开启多重采样反走样绘制场景到几何体缓存(Geometry Buffer,G-Buffer)。其次,在子像素上利用切比雪夫不等式通过概率统计检测边界像素,以及标识边界像素和普通像素减少着色线程一致性开销。再次,以#过滤方法从子像素上重构连续边界。最后,自适应着色边界像素进行反走样处理。SRCE方法使三维物体边缘的“阶梯”效应最小化,同时还可以结合后处理或时间反走样技术增强图形绘制效果。针对延迟着色技术与覆盖采样反走样(Coverage Sample Anti-Aliasing,CSAA)不兼容的问题,提出基于延迟着色技术的大场景反走样绘制架构。该架构能够针对不同绘制对象使用不同的反走样级别,减少延迟与卡顿,从而平衡效果与效率。实验表明,以上方法能够有效提高数据的绘制质量,同时平衡绘制性能。(4)大规模数据并行绘制虚拟化框架在主流并行绘制框架研究基础上,结合虚拟化技术设计了一种三维图形并行绘制虚拟化框架(Parallel Rendering Virtualized Framework,PRVF),提高体绘制、面绘制及反走样技术在大规模数据上的算力结构并行绘制能力。以Equalizer作为并行绘制中间件,灵活组织并行绘制各功能模块,虚拟化各类绘制资源作为绘制单元,按需调度及管理。综上所述,本文研究体数据及地理地形数据在实时绘制方面的一系列关键技术问题,充分提高真实与实时绘制能力,通过从数据、算法和算力结构等并行层面有效提升大规模数据绘制的实用性。
吴真其[2](2021)在《面向车联网的车辆监控与分析平台的设计与实现》文中提出在国家政策的大力支持和引导下,我国新能源汽车产业飞速发展。伴随着新能源汽车保有量的不断增加,由于技术不完善导致的产品质量问题逐渐暴露,事故率明显升高,给人们的安全出行带来了挑战。为了加强新能源汽车应用推广和安全监管,促进技术发展,国家要求企业建立完善针对新能源汽车的远程监控平台,实时监控车辆运行情况。然而面对日益增长的终端数量和数据量,传统车辆监控平台架构设计在性能、时延和可靠性上难以满足现存需求,对于数据利用仍停留在基本统计分析上。本文通过研究现有监控平台优缺点,结合主流技术发展趋势,采用“车载终端+分布式集群+浏览器”的模式,设计了一套车辆监控与分析平台,实现了数据采集、高并发接入、并行存储和数据挖掘一体化智能处理。本文主要工作内容如下:(1)设计并实现车辆数据采集系统。系统采用C/S架构设计,基于车载终端设备实时采集CAN总线数据、GPS定位数据和摄像头数据;围绕同步阻塞IO导致的并发接入难题,使用Netty框架开发车辆数据接入服务,基于Reactor通信模型完成数据传输,保证系统的并发接入能力;采用心跳机制检测终端连接状态,及时丢弃不必要的连接,有效提高系统资源利用率;通过设计合理编解码方法解决网络传输过程中的粘包、半包问题,为后续车辆监控和分析提供准确的数据基础;使用Nginx搭建流媒体服务器,采用H.264标准对原始视频数据进行编码,并且基于RTMP协议进行网络传输,实现实时视频监控功能。(2)设计并实现数据缓冲入库系统。经过对比分析主流消息中间件优缺点,选定使用Zookeeper+Kafka分布式集群缓冲海量数据压力,并通过合理配置解决Kafka消息积压问题,实现了系统解耦和数据高效转发。系统采用Websocket完成数据实时推送,通过Storm实现数据实时计算和并行存储。(3)设计并实现车辆远程监控Web平台。平台以SOA架构思想对后台服务接口进行设计,基于SSM框架实现车辆数据监控、实时定位、历史轨迹回放、视频监控、系统管理和数据分析等功能。此外,平台在用户界面上做了大量优化工作,采用HTML5和Bootstrap构建一个对PC端、手机端同样有着友好交互界面的响应式Web页面,使用Echarts框架对统计数据图表进行可视化。(4)基于DBSCAN算法对于原始数据进行聚类分析。原始数据只有在经过数据分析才能发现真正的价值,利用数据统计方法和数据挖掘技术探索数据背后的深层次规律。本平台除了提供常规的数据统计功能外,还集成数据挖掘功能。引入优化的DBSCAN算法对车辆GPS定位数据进行深度挖掘,通过聚类分析城市道路的行车热点区域,助力城市交通管理和道路规划等工作,为改善交通运行状态提供帮助。最后,通过实车测试和模拟测试,对平台各个功能模块进行了完备的测试验证。测试结果表明,本文设计的车辆远程监控系统与分析平台具备准确性、稳定性和易用性。
彭顺顺[3](2020)在《复杂多样环境下QoS感知的服务组合方法研究》文中认为随着全球化协同需求的凸显和服务计算技术的深入实践,服务化已成为当前构造复杂软件的主流趋势。作为构建服务系统(Service-oriented Systems)的核心技术,服务组合不仅需要满足用户的功能需求,还需保证服务质量(Quality of Service,QoS)优化性,即需要实现QoS感知的服务组合。然而,随着服务技术的发展和用户需求的复杂多样化,服务系统的构造问题日益表现出动态化、规模化以及偏好多样化等特点,进而从优化配置、优化规模及优化目标等方面给QoS感知的服务组合带来了一系列新的挑战。由此可见,设计面向复杂多样环境的QoS感知的服务组合方法已成为当前服务系统构建领域一个新的亟待解决的挑战性问题。已有的围绕动态环境下QoS感知的服务组合、大规模环境下QoS感知的服务组合、多偏好环境下QoS感知的服务组合等相关课题所开展的研究工作,已取得了一定进展,但仍存在以下不足:(1)在动态环境下,由于对服务组合的领域特征信息考虑不足且没有明确考虑全局优化性,现有方法难以适应组合服务优化配置的应用需求;(2)在大规模环境下,现有方法的优化模式和优化手段存在局限性,导致难以有效地进行服务组合优化;(3)在多偏好环境下,现有方法没有很好地均衡Pareto最优解集的收敛性及多样性,且忽略了Pareto最优解的数量急剧增长问题,导致难以快速获得一组从收敛性和多样性两方面同时逼近真实Pareto最优前沿的优化目标。针对上述问题,本文分别对三种不同环境下QoS感知的服务组合方法展开研究。第一,在动态环境下QoS感知的服务组合方面,研究支持动态环境的自适应服务组合方法,提出一种基于受限玻尔兹曼机的分布估计算法,通过挖掘服务组合的领域特征信息并在变动发生时配置全局优化的组件服务以响应动态变化,从而保障服务系统的性能;第二,在大规模环境下QoS感知的服务组合方面,研究支持大规模环境的可扩展服务组合方法,提出一种多聚类头脑风暴优化算法,通过解空间划分和解空间缩减两种方式提高优化效率,并通过讨论机制和竞争策略实现解空间的优化搜索;第三,在多偏好环境下QoS感知的服务组合方面,研究支持多偏好环境的多目标服务组合方法,提出一种基于自适应参考向量的多目标差分进化算法,利用种群差分进化和参考向量,有效地提供一组具有多样性和收敛性的多QoS、目标均衡的Pareto最优解集,从多个维度满足用户的需求。综上所述,本文研究复杂多样环境下QoS感知的服务组合问题,围绕这一问题产生的优化配置、优化规模及优化目标问题,提出一系列QoS感知的服务组合方法,为更好地开展服务系统应用提供技术支撑,进而可以有效促进我国软件产业的快速发展,具有重要的理论意义和应用价值。
贺伟成[4](2020)在《语义一致的实体扩展技术研究》文中研究表明随着互联网的发展,数据呈爆炸式增长。网络中的数据有结构化数据、非结构化数据和半结构化数据之分,结构化数据一般以网络表格的形式呈现,相较于其他类型的数据,人们更容易从网络表格中发现感兴趣的信息。实体扩展是指,对于给定以实体列和属性名组成的查询表,将网络中的大量结构化表格作为数据源,对查询表所需要的属性值进行填充的技术。该技术在数据集成、信息检索等领域有广泛的应用。目前的实体扩展方法,主要通过模式匹配来计算表格之间的相似度,忽略了表格的语义信息,导致一些和表格匹配程度低却语义相同的表被忽略;另一方面,某些匹配程度高的表格表达的语义并不相同,导致查询结果的覆盖率和准确率不高;同时,由于实体扩展中需要大量的计算,导致计算过程耗时较长,影响了实体扩展的实用性。针对上述问题,本文提出了基于分布式计算的语义一致的实体扩展方法,主要研究工作如下:(1)提出根据知识库对表格实体的概念进行扩展的方法。通过扩展表格中实体,得到概念集合,从而表示出表格的主题和语义信息。(2)提出基于语义相似度的实体扩展方法。首先,将表格实体所对应的概念通过词向量的形式表示出来;然后,通过改进的TF-IDF算法对词向量进行加权,得到表格语义的向量表达形式;最后,根据表格间的语义相似度寻找与查询表匹配的候选表,结合模式匹配算法,对查询表所需属性值进行扩展。实验结果表明,相较于原有方法,基于语义相似度的实体扩展方法的表格扩展结果具有更高的覆盖率和准确率。(3)实现基于spark的实体扩展并行算法,通过spark计算框架将基于语义相似度的实体扩展方法中的各个阶段进行并行化处理。实验结果表明,该方法相较于原有的单机处理方式,计算效率有大幅度提高。
王天祺[5](2020)在《基于FPGA-Centric集群的加速器级并行体系结构研究》文中研究指明高性能计算已经成为众多科学和技术领域发展的主要助推力量,用于高性能计算的超级计算机也已经成为重要的基础设施。高性能计算的发展主线是发掘更多的计算并行度以加速算法的计算过程,高性能计算机的硬件技术发展也秉承着同样的路线。最近几十年的高性能处理器硬件技术的发展从最初的增加处理器位宽的比特级并行(Bit-Level Parallelism,BLP),到追求乱序执行/超标量执行的指令级并行(Instruction-Level Parallelism,ILP),再到多核CPU和以GPU、Xeon Phi为代表的硬件加速器使用的线程级并行(Thread-Level Parallelism,TLP)和数据并行(Data-Level Parallelism,DLP)。从历史经验可以看到,当研究人员在一个粒度发掘并行度变得困难时就会转向去寻找更粗粒度的并行度。时至今日,继续沿着线程级并行和数据级并行的道路设计下一代高性能处理器已经变得愈发困难,因此业界不得不在更粗的粒度上寻找并行机会。威斯康辛大学麦迪逊分校的Mark D.Hill教授和哈佛大学的Vijay Reddi教授提出了加速器级并行(Accelerator-Level Parallelism,ALP)的概念,即一个应用的多个子任务模块同时在多个定制化的加速器上并行执行。由于ALP中的基本并行粒度是定制化的硬件加速器,故相对于TLP和DLP中的通用处理器具有更好的性能和更低的功耗。FPGA作为一种新兴的可重构硬件加速器,在高性能计算领域已经获得了越来越多的关注。FPGA的高并行度、高可定制性、低功耗的特点使得其适合被用来实现高度定制化的加速器。除此之外,FPGA还集成了高性能的串行收发器,可以提供多端口高带宽低延迟的通信。基于FPGA的这些特性,本文基于一种FPGA-Centric集群,以加速器级并行的思想探索适用于高性能计算领域的可重构集群的体系结构设计。针对高性能计算领域诸如网格计算、人工智能训练等一些典型应用设计了适用于FPGA-Centric集群的硬件加速器,并对多加速器节点的可扩展性做了有益的探索。本文的主要研究工作和创新点包括:(1)本文提出了一种FPGA-Centric集群中FPGA到FPGA直接互联网络的实现框架。该框架的硬件实现利用FPGA片内集成的高带宽低延迟的串行收发器构建物理层互联,并分布式地在每个FPGA加速器节点中例化路由器逻辑。该框架支持两种通信模型:消息传递的通信模型和流式通信模型,为加速器间的通信提供服务。此设计还支持更高级的Collective通信模式,支持Multicast、Reduction等在高性能计算中广泛应用的通信功能。(2)本文基于前述的FPGA-Centric集群中的流式通信模型,提出了一种可扩展的加速深度神经网络训练的方法——FPDeep。FPDeep采用层并行(Layer Parallelism)和模型并行(Model Parallelism)混合的方式将深度神经网络的训练任务分布式地部署在集群上。FPDeep解决了超级计算机上进行DNN训练时训练批的大小(Batch size)增大导致的低可扩展性的问题。此外FPDeep还提出了一种实现计算负载(Computation Workload)和模型权重(Model Weight)在各FPGA计算节点间均衡切分的算法。这种算法利用了 FPGA-Centric集群中加速器间通信高带宽低延迟的特点,实现了 FPGA-Centric集群中计算资源的高效利用。实验结果表明,FPDeep的性能在包含100个FPGA的FPGA-Centric集群上具有近乎线性的可扩展性,且FPDeep的能效相对于目前最先进的GPU集群高6.4 倍。(3)本文基于前述的FPGA-Centric集群中的消息传递的编程模型,提出了一种加速自适应网格计算的方法——FP-AMR。FP-AMR可以将传统方法中必须由CPU处理的粒子映射/网格细化/网格粗粒化等涉及动态数据结构的操作卸载至FPGA端执行。利用FPGA-Centric集群中FPGA-to-FPGA的低延迟高带宽的通信功能,FP-AMR可以绕过CPU端直接完成FPGA-Centric集群各节点间的信息同步。由于以上的操作都必须在自适应网格算法中的每个时间步中执行多次,故FP-AMR可以显着提升系统的整体性能。本文以天体动力学模拟中的AP3M算法为例,展示了基于FP-AMR在FPGA-Centric集群上部署自适应网格计算的方法。FP-AMR比传统的多核CPU算法的性能高21-23倍。
高建琛[6](2020)在《基于集成学习的铝合金薄板带材力学性能预测方法研究》文中研究指明性能预测模型在铝合金薄板带材生产过程中可以用于产品性能优化、新铝合金型号设计和性能动态控制等方面。随着铝板带材生产装备的发展,大量的传感器被部署在生产设备上,借助生产过程大数据建立更精确的性能预报模型已成为软测量建模领域的研究热点。集成学习可以提高模型的预测精度和泛化性能,近年来被广泛应用于工业过程建模,但目前的研究往往忽略了基模型间的多样性对集成学习模型的泛化性能的影响,而且集成学习需要建立多个基模型,算法的空间复杂度和时间复杂度较高,影响实际应用。针对上述问题,本论文的研究目标主要包括:一是基于基模型之间的多样性和基模型的精确性,对基模型进行选择性集成以提高集成学习的泛化性能;二是提出分布式并行计算优化的集成算法,提高集成学习模型的计算效率;三是将选择性集成建模方法用于铝合金薄板带材的力学性能预测。具体的研究内容如下:针对集成学习的基模型选择问题,提出同时考虑基模型之间的多样性以及单一模型性能的选择性集成建模方法。首先,提出一种基于博弈论的静态集成选择方法,将基模型对集成模型的多样性贡献率和单一基模型的精度作为博弈双方,利用博弈论原理求取使得集成模型准确性和多样性都达到最优的选择方案。其次,提出一种基于近似线性依靠的动态集成选择方法,利用ALD条件选择样本加入验证集,经过挑选的样本能够更好的代表建模对象的特性;综合基模型在验证集上的预测性能和多样性进行模型选择,使得在集成模型在线运行时,动态的增减基模型以适应建模对象的特性变化;并且提出一种基于基模型历史误差的加权融合方法对多个基模型的预测结果进行融合,进一步提高集成模型的精度和泛化性能。最后,通过公开数据集和实际工业数据验证了所提算法的合理性和有效性。针对在大数据环境下集成学习模型在训练与应用时计算效率不足的问题提出了集成模型并行化算法。首先描述了在线极限学习机的并行化算法,然后将集成框架进行并行化,给出了集成训练阶段和集成应用阶段的并行化计算流程。最后,通过实验证明并行化算法的有效性。将提出的方法应用于铝合金薄板带材的力学性能预测,对铝合金薄板带材生产工艺进行分析并选取影响质量指标的关键变量,对工业现场数据进行预处理,利用PCA算法对高维工业过程数据进行降维,建立选择性集成模型进行质量指标预测,对比了基本集成算法和本文所提出的改进算法,结果表明本文所提算法具有更好的预测性能。
刘建康[7](2020)在《面向集群部署的微服务架构数控系统研究》文中认为智能数控机床可以在保证加工精度、提高机床加工效率的基础上,减少人工操作干预、降低对操作人员的专业能力需求,是实现智能车间、无人工厂的必要条件,为解决人口老龄化加剧、高级技能人才不足等社会问题提供了有效途径。当前,主流市场上的数控系统仍然采用封闭式体系结构,因多源信息接入能力差而导致不能生成有效的智能决策,在制造系统中只能充当一个被动执行的角色,越来越不能满足柔性化、敏捷化、定制化的生产需求。因此,本文以实现智能数控加工车间为目标,设计开发了基于微服务架构的开放式数控系统。采用边缘计算的思想,在车间层部署云计算平台,满足万物互联背景下车间工业大数据低时延传输和处理需求,为车间智能化提供大规模并行计算能力。在此基础上,基于控制系统即服务(Control System as a Service,CSaa S)的理念,将车间内的设备控制系统集成在边缘云计算平台中,形成一个车间集群控制系统方案。继而面向车间集群控制系统提出了基于微服务架构的开放式数控系统体系结构,构建了基于微服务架构的数控系统设计技术框架。采用领域驱动设计思想,将数控系统拆分为一系列松散耦合、独立部署的微服务,并利用着色Petri网对数控系统微服务架构进行形式化建模和仿真,验证了系统架构的可行性。微服务是微服务架构数控系统的基本构成单元,开发工作也以微服务为单位实现团队分工。为了协调不同团队的开发工作,提出了基于消费者驱动契约的数控微服务开发模式,制订了具有标准语义的微服务接口契约,并建立了基于IEC 61499功能块的数控微服务层次结构模型。基于上述微服务接口契约和结构模型,分别开发实现了四个基础数控微服务:NCK微服务、Gcode微服务、RTE微服务和HMI微服务。为了在集群环境中保证数控系统实时性需求,对数控系统任务进行了类型划分,并制定了多核处理器分组调度策略。针对数控系统中具有生产者/消费者关系的数据流任务提出了反馈调度策略,通过实时监测缓存数据消耗速度,调整生产者任务的执行周期,使缓存中数据余量保持动态平衡,避免数据断流现象。针对数控系统硬实时任务,研究了任务可调度性、执行周期、延迟对控制系统稳定性和控制质量的影响。为保证分配到同一组CPU核心上的实时任务的可调度性,提出了基于响应时间的实时任务周期分配方法和基于处理器利用率的启发式周期优化方法。提出了基于容器技术的微服务架构数控系统可重构配置策略,为智能功能的灵活扩展奠定了基础。车间集群控制系统运行在一个工业服务器集群中,本文将集群节点划分为数控节点、数据节点和Web服务节点等,分别实现设备控制、大数据处理、Web服务等功能。微服务架构数控系统基于Kafka、Docker、Kubernetes等技术部署在数控节点中,并通过Ether CAT等实时以太网控制数控机床等设备。采用万兆数据网络、千兆管理网络、实时以太网、车间无线网络共同构成了车间集群控制系统网络,并对车间内的实时以太网拓扑结构和可靠性与容错技术进行了研究。最后采用一台工业服务器和两台数控机床搭建了微服务架构数控系统实验平台,并进行了相关性能测试和加工实验,验证了整体系统方案的可行性。
娄彤彤[8](2020)在《基于Spark的森林生物量并行反演方法研究》文中指出随着全球气候变暖,森林碳储量成为目前十分受关注的问题。森林生物量是估算森林碳储量的重要参数,不仅是碳循环的标志,更是森林生态系统评价的重要指标。森林郁闭度同样作为森林生态资源调查中的主要参数之一,也是碳循环中的重要因子,与生物量有着密切的关系,通过遥感影像反演有效得到郁闭度的值可以更精确的实现生物量的反演。但是随着遥感大数据的发展,遥感影像处理的复杂度和数据量也在增加,因此为了实现遥感影像的高效处理,本文将Spark并行计算框架应用于遥感影像的并行处理中,以帽儿山老山施业区为数据源,提出了基于Spark的并行反演算法,将基于郁闭度的生物量反演模型与之集成完成了生物量的并行反演。本文主要的研究内容如下:(1)针对遥感影像数据量大,在并行反演过程中反复读取、存储数据造成时效性低的问题,本文在遥感影像预处理后建立了遥感影像金字塔。在并行反演过程中,可以直接从金字塔模型中快速提取信息。同时,针对本文数据类型,提出了一种针对遥感影像数据和影像瓦片采用不同数据库分而治之的存储方式。将原始遥感影像和并行反演的处理过程和结果保存在分布式文件系统HDFS中。影像金字塔瓦片的生成和金字塔模型构建过程采用列式分布式数据库HBase来存储数据。从并行计算框架的底层存储到上层的应用都在云平台上实现,提高了数据存储和读取的效率。(2)针对遥感影像反演效率低的问题,本文提出了基于Spark自定义RDD的并行反演算法。将反演过程中遥感影像融合、相关因子的提取和反演模型集成三个关键步骤作为自定义RDD中的操作算子,对其进行设计完成自定义RDD中不同类型RDD转化。在程序执行过程中通过调用自定义RDD完成并行反演。(3)森林郁闭度控制着森林的光合、呼吸、循环等物理过程,对于生物量来说具有很强的相关性,基于郁闭度值的有效估算能够提高生物量反演的精度。针对生物量反演精度低的问题,本文建立了基于郁闭度的生物量反演模型,并与基于Spark自定义RDD的并行反演算法相集成完成了森林生物量的并行反演。通过单机串行模式、基于MapReduce模式和Spark并行计算框架中Spark standalone和Spark on yarn模式进行了对比实验。实验结果表明本文提出的基于郁闭度的并行反演模型精度较高同时基于Spark自定义RDD生物量并行反演算法结果达到了预期的效果,并且反演效率高。随着计算节点的增加并行反演的效率也在不断提高。在反演结果一致准确的前提下,此并行反演算法能够较精确并且高效的完成森林生物量的并行反演。
顾宗静[9](2019)在《并行矩量法及其区域分解关键技术研究》文中研究表明随着国防科技的发展和现代电磁工程应用需求的日益提升,各领域对电磁仿真精度的要求越来越高、对电大目标和复杂结构的仿真需求越来越大,使得电磁场精确模拟面临一个共性问题:计算资源需求越来越高、仿真时间越来越长。这一共性问题给计算电磁学带来了严峻的挑战。尤其是电尺寸的持续增加,使得电磁场精确模拟所需的计算资源呈指数上升。与此同时,国内高性能计算技术的飞速发展和国产超级计算机的迅速崛起为电磁仿真提供了硬件保障,给计算电磁学实现“精确、快速、高效”仿真复杂、精细、电大目标带来了前所未有的机遇。诚然,借助超级计算机可确保在不损失精度的前提下,将当前电磁算法的仿真能力提升数个量级,极大地扩展了电磁算法的仿真规模,并且加快了电磁仿真的速度,缩短了与电磁相关的武器装备和民用设备的研发周期。但是,如何充分地发挥国产超级计算机的强大计算能力,真正意义上实现国产超级计算平台电磁计算的“高性能”,仍然需要我们在并行优化和数值算法等层面继续深入探索和研究。基于国产超级计算机的高性能电磁计算,是实现仿真复杂电大问题非常有效的手段,但不应该也不能成为我们唯一的依仗。这就需要我们在紧跟国家高性能计算机系统研制战略需求的同时,在计算电磁学领域研究具有较高精度、普适性较强的数值算法。基于以上背景,本文以实现电磁工程应用中电大复杂目标的精确电磁场数值模拟为研究目的。首先,在并行层面开展了并行矩量法的相关优化工作,为实现并行矩量法在国产超级计算平台的高性能电磁仿真提供技术保障;其次,在电磁算法层面研究了基于矩量法的并行区域分解方法,将原始问题划分成若干个容易求解的独立子问题,避免了矩量法直接求解大型复数稠密矩阵方程而导致的内存需求过高、求解速度过慢等问题,为矩量法求解复杂电大问题提供了一种有效途径。本文旨在扩大矩量法求解实际工程问题的规模以及加快求解速度,主要成果和创新点如下:(1)采用MPI分布式内存编程技术,实现了矩量法的并行。针对并行矩量法不能充分利用现代计算机的向量化单元以及构造阻抗矩阵过程中会产生冗余积分的问题。提出了MPI+Open MP混合编程以及充分向量化的并行填充优化策略,将阻抗矩阵填充的性能提升了2~13倍。针对并行矩量法求解复数稠密矩阵方程耗时较长的问题,提出了适用于矩量法的新型直接求解算法,其性能在通用处理器平台上优于MKL商业数学库,为并行矩量法在国产超级计算平台的移植和高效运行提供了技术保障。(2)基于“天河二号”国产同构众核超级计算平台,实现了60万CPU核并行规模的矩量法。在“天河三号”国产E级超级计算原型机实现了万核规模的并行矩量法,为实现具有百亿亿次计算能力的并行矩量法奠定了基础,弥补了国产超算平台电磁仿真软件的不足。(3)研究了基于积分方程的并行区域分解方法(IE-DDM),针对电大多尺度目标,按照几何特征将原始区域划分成若干个易于处理和求解的封闭子区域,每个子区域可独立剖分网格,并提出了针对PEC目标的显式边界条件确保了相连子区域间电流的连续性,区域间的耦合采用场迭代的方式代替存储互阻抗,减少了内存消耗,并采用MPI+Open MP混合编程的方式实现了千核规模的并行IE-DDM。(4)为了消除IE-DDM由于添加虚拟交界面而引入的额外未知量,进一步扩大矩量法求解问题的规模。提出了一种基于完整基函数划分的并行区域分解方法(FBFDDM),该方法将原始模型表面划分成多个开放的子表面,消除了相邻子区域间的虚拟交界面。并处理了相连子区域间场迭代过程的奇异性问题,对FBF-DDM外迭代过程的收敛性问题进行了研究,同样采用MPI+Open MP混合编程的并行方式实现了千核规模的并行FBF-DDM,成功对复杂电大飞机的散射问题进行了仿真计算。(5)针对实际工程问题中绝大多数目标处于地-空和海-空等半空间环境中。基于电磁场等效原理,采用平面分层媒质并矢格林函数结合边界条件构造了适用于自由空间和半空间PEC目标的电磁场积分方程。并将IE-DDM和FBF-DDM推广到半空间环境,成功计算了百波长海面舰船的电磁散射问题。总得来说,本文分别从并行优化角度和电磁算法角度对矩量法进行了深入研究,力求在保证精度的前提下,扩大矩量法在实际工程中的应用范围。
孟令达[10](2019)在《海量时间频率科学数据管理与服务关键技术研究》文中研究指明随着国防、科研、经济社会各行业对高精度时间的依赖不断提升,为提高我国的高精度时间同步服务水平和保障能力,国家先后开展了高精度地基授时系统、国家时间频率体系、空间站时频实验系统等面向服务的基础大科学装置和试验仪器的建设,将时间频率服务纳入基础设施建设,时间频率科学数据将迈入大数据和信息服务时代。海量时间频率科学数据高效管理不仅是实现时间频率科学大数据存储与分析、提供高效时间频率信息服务的基础,更为时间频率科学大数据知识获取和科学发现提供技术支撑。本文从面向服务的角度以海量时间频率科学数据的管理体系、存储与并行处理方法为研究对象,利用云计算和大数据处理技术对面向服务的海量时间频率科学数据管理关键技术展开研究,所作的主要工作及创新点体现在以下几个方面:(1)研究并设计了面向服务的多元海量时间频率科学数据一体化管理模型、技术架构和多样化服务方式:针对独立建设的时频科学数据管理系统在管理规范、数据标准等方面多样差异,造成数据管理复杂、数据使用困难、数据产品单一问题。结合时间频率科学大数据特征和面向服务的应用需求,构建了数据管理标准体系和原型系统。采用面向服务体系架构的设计理念和松耦合特性,综合运用多种数据存储管理和分析方法,设计了面向服务的多元海量时间频率科学数据一体化管理模型、技术架构和多样化服务方式,并对其中的关键技术进行了改进,进而实现海量时间频率科学数据高效管理。(2)研究了海量时间频率科学数据非结构化、半结构化及时序化,多数据结构并存的数据存储管理方法:针对海量时间频率科学数据多数据结构并存的特点,结合面向服务的海量历史数据快速查询和在线数据实时读写的应用场景。研究了基于“分布式文件系统+分布式列数据库+时间序列数据库”的组合存储管理和表设计方法,解决时频科学数据传统集中式、统一存储效率低、扩展复杂问题。同时根据时间频率科学数据中文件数多、数据量小和关联分析特点,提出了采用小文件聚合和考虑数据关联性的多副本哈希时频数据分布算法,进一步提高了时频科学数据存储管理效率和存储资源利用率。(3)研究了分布式并行编程框架下海量历史数据离线并行分析方法:针对海量历史时间频率科学数据离线分析中数据量与计算量大导致传统时频分析模式计算效率低或无法计算问题,研究了基于Map Reduce并行编程框架的分布式并行分析方法。根据时频分析算法中多阶滑动差分特征,提出时频科学数据分段和矩阵分块法,在优化时频分析算法的同时实现了时间间隔误差和频率源钟差模型参数并行化计算,并对算方法性能进行测试。结果表明本文提出的并行化海量离线时频分析方法有效解决数据量大、计算复杂时传统单机无法有效计算问题。(4)针对面向服务应用交互频繁、高实时性的海量时间频率科学数据分析问题,研究了基于Spark内存并行计算框架的海量时间频率科学数据实时分析方法。实现了基于Spark并行化的Allan、MTIE计算方法,同时针对时频分析中典型的测量数据粗差剔除问题,开展了基于光纤时间比对的溯源钟差粗探测方法(ODTD)研究并实现了Spark-ODTD。通过实验验证了算法有效性与性能优势。(5)针对高精度地基授时系统、国家时间频率体系等重大科学工程以及时频用户对远程高精度时间比对、同步和溯源服务需求。采用本文提出的数据管理体系和相关技术与方法,对传统卫星共视远程时间比对系统的系统架构、数据存储与处理方法和服务模式进行优化。设计并实现的云服务原型系统可通过动态扩展支持10000台终端设备业务数据在线处理、交互以及1000个用户的在线访问。本论文的研究将进一步提升时间频率科学数据标准化管理水平,为面向服务的时频时间频率科学发展和应用提供标准化数据和技术支撑。解决目前海量时间频率科学数据存储管理效率低、数据分析困难或无法计算的问题。同时本文的海量数据存储和并行分析技术,为国家时间频率体系、高精度地基授时系统等重大科学工程建设分布式时间频率数据中心架构设计提供解决途径,为时间频率科学大数据知识获取和科学发现奠定基础。
二、PC Cluster系统集成技术与并行处理效率分析(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、PC Cluster系统集成技术与并行处理效率分析(论文提纲范文)
(1)大规模数据实时绘制关键技术研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 背景与意义 |
1.2 研究现状 |
1.2.1 体数据绘制 |
1.2.2 大规模地理地形绘制 |
1.2.3 反走样技术 |
1.2.4 GPU绘制 |
1.2.5 并行绘制 |
1.3 本文工作 |
1.4章节安排 |
第2章 性能挑战与评价方法 |
2.1 引言 |
2.2 性能瓶颈分析 |
2.2.1 多线程绘制 |
2.2.2 绘制瓶颈 |
2.2.3 数据规模 |
2.3 并行绘制性能 |
2.3.1 负载平衡 |
2.3.2 图像合成 |
2.3.3 图像解压缩 |
2.4 评价方法 |
2.4.1 时间复杂度 |
2.4.2 并行粒度 |
2.4.3 空间复杂度 |
2.4.4 绘制质量 |
2.5 本章小结 |
第3章 数据并行化体绘制及光照计算 |
3.1 引言 |
3.2 体绘制 |
3.2.1 体数据 |
3.2.2 体绘制方程 |
3.2.3 体绘制方法 |
3.3 体数据光照计算 |
3.3.1 体绘制全局光照 |
3.3.2 单绘制遍多切片MSPP算法 |
3.3.3 基于切片的光线投射SBRC算法 |
3.4 体绘制并行化 |
3.5 本章小结 |
第4章 大规模地形数据高效组织与绘制 |
4.1 引言 |
4.2 大规模地理地形数据 |
4.2.1 数字高程模型 |
4.2.2 数字正射影像 |
4.3 可伸缩三维地理地形绘制 |
4.3.1 算法概述 |
4.3.2 关键步骤及实现 |
4.3.3 实验结果与分析 |
4.4 本章小结 |
第5章 数据绘制中的反走样技术 |
5.1 引言 |
5.2 反走样方法 |
5.2.1 走样原因 |
5.2.2 反走样基本思路 |
5.2.3 主流反走样方法 |
5.3 子像素连续边界反走样SRCE算法 |
5.3.1 算法概述 |
5.3.2 关键步骤及实现 |
5.3.3 实验结果与分析 |
5.4 一种大场景反走样绘制架构 |
5.4.1 算法概述 |
5.4.2 关键步骤及实现 |
5.4.3 实验结果与分析 |
5.5 本章小结 |
第6章 大规模数据并行绘制虚拟化框架 |
6.1 引言 |
6.2 并行绘制 |
6.2.1 体系结构 |
6.2.2 数据与绘制资源 |
6.2.3 并行绘制框架 |
6.3 PRVF框架结构 |
6.3.1 绘制资源层 |
6.3.2 并行绘制虚拟化层 |
6.3.3 应用层 |
6.3.4 实验结果与分析 |
6.4 本章小结 |
第7章 总结与展望 |
7.1 工作总结 |
7.2 未来展望 |
参考文献 |
在读期间科研成果 |
致谢 |
(2)面向车联网的车辆监控与分析平台的设计与实现(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 国外发展以及研究现状 |
1.2.2 国内发展以及研究现状 |
1.3 研究内容 |
1.4 本文组织架构 |
第2章 相关理论和技术概述 |
2.1 服务器开发技术 |
2.1.1 Spring boot |
2.1.2 Spring MVC |
2.1.3 Spring security |
2.1.4 My SQL&Redis |
2.1.5 Netty |
2.1.6 Kafka消息队列 |
2.2 前端开发技术 |
2.2.1 Thymeleaf |
2.2.2 Bootstrap |
2.3 关键算法DBSCAN |
2.3.1 聚类分析 |
2.3.2 DBSCAN聚类算法 |
2.3.3 基于KD树的DBSCAN算法 |
2.4 本章小结 |
第3章 需求分析与相关设计 |
3.1 需求分析 |
3.1.1 功能需求 |
3.1.2 非功能性需求 |
3.2 整体架构设计 |
3.3 车辆数据采集系统设计 |
3.3.1 系统结构 |
3.3.2 车辆数据获取 |
3.3.3 结构化数据接收服务器设计 |
3.3.4 流媒体数据接收服务器设计 |
3.4 数据缓冲入库系统设计 |
3.4.1 系统结构 |
3.4.2 业务消息管理设计 |
3.4.3 实时数据推送设计 |
3.4.4 实时统计并行存储设计 |
3.5 Web应用服务系统设计 |
3.5.1 系统结构 |
3.5.2 系统功能设计 |
3.5.3 数据库设计 |
3.5.4 前端版式设计 |
3.5.5 Web安全设计 |
3.6 本章小结 |
第4章 系统详细设计与实现 |
4.1 环境配置 |
4.2 车辆数据采集系统实现 |
4.2.1 车载终端数据采集系统实现 |
4.2.2 结构化数据接收系统实现 |
4.2.3 流媒体服务器实现 |
4.3 数据缓冲入库系统实现 |
4.3.1 集群搭建 |
4.3.2 实时推送实现 |
4.3.3 实时统计并行存储实现 |
4.4 Web应用服务系统实现 |
4.4.1 服务层接口设计与实现 |
4.4.2 Web层接口设计与实现 |
4.4.3 系统安全实现 |
4.5 DBSCAN算法实现 |
4.5.1 主要类结构图 |
4.5.2 主要算法函数 |
4.6 前端界面实现 |
4.6.1 实时定位功能实现 |
4.6.2 车辆状态功能实现 |
4.6.3 轨迹回放功能实现 |
4.6.4 视频监控功能实现 |
4.7 本章小结 |
第5章 系统部署与测试 |
5.1 部署环境 |
5.2 功能测试 |
5.2.1 系统管理功能测试 |
5.2.2 车辆监控功能测试 |
5.2.3 数据管理功能测试 |
5.3 非功能性测试 |
5.3.1 终端接入平台时延测试 |
5.3.2 终端接入平台性能测试 |
5.3.3 Web平台稳定性测试 |
5.3.4 Web平台安全性测试 |
5.3.5 Web平台易用性测试 |
5.4 本章小结 |
第6章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
(3)复杂多样环境下QoS感知的服务组合方法研究(论文提纲范文)
摘要 |
ABSTRACT |
缩略词表 |
第1章 绪论 |
1.1 研究背景 |
1.2 现有解决方法概述 |
1.2.1 动态环境下典型的QoS感知的服务组合方法 |
1.2.2 大规模环境下典型的QoS感知服务组合方法 |
1.2.3 多偏好环境下典型的QoS感知服务组合方法 |
1.2.4 有待深入研究的问题 |
1.3 研究目标与内容 |
1.3.1 研究目标 |
1.3.2 研究内容 |
1.4 论文组织结构 |
第2章 研究现状 |
2.1 动态环境下QOS感知的服务组合研究 |
2.2 大规模环境下QOS感知的服务组合研究 |
2.3 多偏好环境下QOS感知的服务组合研究 |
2.4 研究现状总结 |
第3章 支持动态环境的自适应服务组合方法 |
3.1 引言 |
3.2 问题定义 |
3.2.1 组合模型 |
3.2.2 问题描述 |
3.3 基于受限玻尔兹曼机的分布估计算法 |
3.3.1 rEDA概述 |
3.3.2 个体选择 |
3.3.3 概率分布模型构建 |
3.3.4 模型训练 |
3.3.5 动态采样 |
3.4 实验验证 |
3.4.1 验证方法 |
3.4.2 实验结果 |
3.4.3 讨论与分析 |
3.5 本章小结 |
第4章 支持大规模环境的可扩展服务组合方法 |
4.1 引言 |
4.2 问题定义 |
4.2.1 QoS模型 |
4.2.2 问题描述 |
4.3 多聚类头脑风暴优化算法 |
4.3.1 McBSO概述 |
4.3.2 基于多平面的聚类 |
4.3.3 类内个体排序 |
4.3.4 基于双重讨论的种群进化 |
4.3.5 基于竞争策略的选择机制 |
4.4 实验验证 |
4.4.1 验证方法 |
4.4.2 实验结果 |
4.4.3 讨论与分析 |
4.5 本章小结 |
第5章 支持多偏好环境的多目标服务组合方法 |
5.1 引言 |
5.2 问题定义 |
5.2.1 Pareto模型 |
5.2.2 问题描述 |
5.3 基于自适应参考向量的多目标差分进化算法 |
5.3.1 ARV-MoDE概述 |
5.3.2 初始化 |
5.3.3 后代生成 |
5.3.4 基于参考向量的细粒度搜索 |
5.3.5 参考向量自适应机制 |
5.4 实验验证 |
5.4.1 验证方法 |
5.4.2 实验结果 |
5.4.3 讨论与分析 |
5.5 本章小结 |
第6章 总结与展望 |
6.1 论文工作总结 |
6.2 下一步工作展望 |
参考文献 |
致谢 |
作者简介 |
(4)语义一致的实体扩展技术研究(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
1 引言 |
1.1 研究背景及意义 |
1.2 研究现状 |
1.2.1 网络表格研究现状 |
1.2.2 实体扩展研究现状 |
1.3 本文研究内容 |
1.4 本文组织结构 |
2 实体扩展相关技术介绍 |
2.1 网络表格相关技术 |
2.1.1 网络表格特征 |
2.1.2 实体列 |
2.2 表格语义拓展相关技术 |
2.2.1 Probase知识库 |
2.2.2 word2vec |
2.3 表格实体扩展相关技术 |
2.3.1 模式匹配 |
2.3.2 相似度算法 |
2.4 并行计算相关技术 |
2.4.1 Hadoop生态系统 |
2.4.2 Map Reduce计算框架 |
2.4.3 Spark计算框架 |
2.4.4 Spark数据模型 |
3 基于语义相似度的实体扩展 |
3.1 问题引入 |
3.2 总体框架 |
3.2.1 常用符号描述 |
3.2.2 整体流程 |
3.3 表格语义相似度模型 |
3.3.1 表格实体概念化 |
3.3.2 表格语义向量构建 |
3.4 基于语义相似度的实体扩展 |
3.4.1 获取候选表 |
3.4.2 选择匹配值 |
3.5 实验结果与分析 |
3.5.1 实验设置 |
3.5.2 实验方法 |
3.5.3 实验结果评估 |
3.6 本章小结 |
4 实体扩展的并行计算框架 |
4.1 问题定义 |
4.2 总体框架 |
4.3 基于Spark的并行化实体扩展 |
4.3.1 获取表格概念集并行化 |
4.3.2 表格语义向量计算并行化 |
4.3.3 实体扩展阶段并行化 |
4.4 实验结果与分析 |
4.4.1 实验设置 |
4.4.2 实验结果与分析 |
4.5 本章小结 |
5 总结与展望 |
5.1 研究工作总结 |
5.2 工作展望 |
参考文献 |
作者简历及攻读硕士学位期间取得的研究成果 |
学位论文数据集 |
(5)基于FPGA-Centric集群的加速器级并行体系结构研究(论文提纲范文)
摘要 |
abstract |
第1章 绪论 |
1.1 研究的背景和意义 |
1.1.1 高性能计算应用与超级计算机 |
1.1.2 从比特级并行到加速器级并行 |
1.2 国内外研究现状 |
1.2.1 FPGA加速器的研究现状 |
1.2.2 FPGA高抽象层次工具链的研究进展 |
1.2.3 FPGA集群的研究现状 |
1.3 本文的研究内容和贡献 |
1.4 论文的组织结构 |
第2章 加速器级并行与FPGA可重构集群概论 |
2.1 加速器级并行 |
2.1.1 定制化加速器(Customized Accelerator) |
2.1.2 加速器间通信(Accelerator Communication) |
2.1.3 加速器间一致性(Accelerator Concurrency) |
2.1.4 加速器的可编程性(Accelerator Programmability) |
2.2 基于FPGA的硬件加速器 |
2.2.1 FPGA的可重构性 |
2.2.2 FPGA的低延迟高带宽收发器 |
2.2.3 FPGA的高层次综合技术 |
2.3 FPGA可重构集群及其应用 |
第3章 FPGA-Centric集群的系统架构 |
3.1 FPGA-Centric集群的设计选择 |
3.2 FPGA-Centric集群的硬件实现 |
3.3 FPGA-Centric集群的节点间通信模型 |
3.3.1 消息传递通信模型 |
3.3.2 流式通信模型 |
3.4 FPGA-Centric集群的Collective通信 |
3.4.1 情景描述 |
3.4.2 基于树型结构的Collective通信 |
第4章 FPGA-Centric集群上加速卷积神经网络训练 |
4.1 引言 |
4.2 背景介绍 |
4.2.1 现有工作简介 |
4.2.2 现有工作的分类 |
4.3 FPDeep框架 |
4.3.1 框架简介 |
4.3.2 算子图切分方法的分析 |
4.3.3 算子图切分的方法的设计选择 |
4.3.4 FPDeep框架的数学模型 |
4.4 硬件架构和设计 |
4.4.1 FPDeep硬件实现的设计选择 |
4.4.2 FPDeep的硬件架构 |
4.4.3 单片加速器的硬件架构 |
4.5 实验评估 |
4.5.1 小规模集群上的实验 |
4.5.2 大规模集群上的实验 |
4.5.3 资源使用率以及性能分析 |
4.5.4 CNN训练的模型收敛性分析 |
4.6 讨论及未来展望 |
第5章 FPGA-Centric集群上加速自适应网格的计算 |
5.1 引言 |
5.2 背景介绍 |
5.2.1 AMR算法简介 |
5.2.2 AP3M算法简介 |
5.3 FP-AMR框架 |
5.3.1 空间填充曲线 |
5.3.2 数据结构的设计 |
5.4 硬件架构和设计 |
5.4.1 FP-AMR的硬件架构设计 |
5.4.2 基于FP-AMR的AP3M算法实现和部署 |
5.5 实验评估 |
5.5.1 全系统性能的分析 |
5.5.2 各因素的影响分析 |
5.5.3 系统的可扩展性分析 |
5.6 讨论与未来展望 |
第6章 总结与展望 |
6.1 本文工作的总结 |
6.2 未来工作的展望 |
参考文献 |
致谢 |
在读期间发表的学术论文与取得的研究成果 |
(6)基于集成学习的铝合金薄板带材力学性能预测方法研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 课题背景和研究意义 |
1.2 铝合金薄板带材力学性能预测研究现状 |
1.2.1 基于机理建模方法研究现状 |
1.2.2 基于数据建模方法研究现状 |
1.2.3 基于集成学习的质量预测研究现状 |
1.2.4 面向工业大数据的分布式并行建模研究现状 |
1.3 课题来源及论文的主要内容 |
1.3.1 课题来源 |
1.3.2 论文的主要内容 |
第2章 铝合金薄板带材力学性能预测技术需求分析 |
2.1 集成学习预测框架 |
2.1.1 集成学习基本概念 |
2.1.2 基模型间的差异性 |
2.1.3 基模型融合方法 |
2.1.4 选择性集成学习 |
2.1.5 并行集成学习 |
2.2 热处理强化型铝合金薄板带生产工艺分析 |
2.3 铝合金薄板带材生产大数据资源 |
2.4 铝合金薄板带材质量预测模型参数选取 |
2.5 铝合金薄板带材性能预测框架 |
2.6 本章小结 |
第3章 基于在线极限学习机的选择性集成建模方法 |
3.1 在线极限学习机 |
3.2 基于博弈论的静态选择性集成方法 |
3.2.1 博弈论基本概念 |
3.2.2 基于博弈论的选择策略 |
3.3 基于近似线性依靠的动态选择性集成方法 |
3.3.1 近似线性依靠方法 |
3.3.2 在线动态选择性集成流程 |
3.4 集成学习模型融合方法 |
3.5 基于集成学习的质量在线预测方法 |
3.6 仿真研究 |
3.7 本章小结 |
第4章 基于Spark的分布式并行选择性集成建模方法 |
4.1 Spark平台介绍 |
4.1.1 Spark生态系统概述 |
4.1.2 Spark运行机制 |
4.2 分布式并行选择性集成OSELM(dp-SEOSELM)算法 |
4.3 仿真研究 |
4.3.1 实验数据 |
4.3.2 实验环境 |
4.3.3 实验结果及分析 |
4.4 本章小结 |
第5章 铝合金薄板带材力学性能在线预测应用 |
5.1 数据预处理与数据降维 |
5.1.1 数据预处理 |
5.1.2 数据降维 |
5.2 实验设计与结果分析 |
5.2.1 模型性能度量 |
5.2.2 模型参数选择 |
5.2.3 结果分析 |
5.3 本章小结 |
结论 |
参考文献 |
攻读硕士学位期间所发表的学术论文 |
致谢 |
(7)面向集群部署的微服务架构数控系统研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 课题研究的背景 |
1.2 数控系统相关研究现状 |
1.2.1 开放式数控系统研究现状 |
1.2.2 智能化数控系统研究现状 |
1.2.3 数控系统软硬件结构研究现状 |
1.2.4 数控系统实时性研究现状 |
1.3 微服务架构及其在数控领域的应用 |
1.3.1 微服务架构和面向服务架构 |
1.3.2 微服务架构在数控系统中的应用 |
1.4 当前研究存在的问题 |
1.5 本文主要研究内容 |
第2章 面向车间集群控制的微服务架构数控系统设计 |
2.1 基于边缘计算的车间集群控制系统方案 |
2.1.1 面向智能车间场景的边缘计算架构 |
2.1.2 集散控制系统与集群控制系统 |
2.1.3 车间集群控制系统人机交互方式 |
2.2 面向集群控制的微服务架构数控系统设计技术框架 |
2.3 微服务架构数控系统结构设计 |
2.3.1 数控微服务划分策略 |
2.3.2 基于子领域的数控系统微服务划分 |
2.3.3 基于消息通信的分布式数控系统体系结构 |
2.4 基于Petri网的微服务架构形式化建模与验证 |
2.4.1 基于着色Petri网的形式化描述方法 |
2.4.2 基于着色Petri网的形式化建模与验证 |
2.5 本章小结 |
第3章 微服务架构数控系统开发关键技术研究 |
3.1 基于消费者驱动契约的数控微服务开发模式 |
3.1.1 基于消费者驱动契约的微服务开发流程 |
3.1.2 数控微服务接口契约制订 |
3.2 基于IEC61499功能块的数控微服务层次结构模型 |
3.3 NCK微服务开发关键技术 |
3.3.1 NCK微服务IEC61499 功能块开发 |
3.3.2 基于滑动窗口的前瞻速度规划方法 |
3.4 其他微服务开发关键技术 |
3.4.1 Gcode微服务 |
3.4.2 RTE微服务开发 |
3.4.3 HMI微服务和Web人机界面 |
3.4.4 其他智能功能微服务扩展策略 |
3.5 本章小结 |
第4章 微服务架构数控系统实时任务调度研究 |
4.1 微服务架构数控系统任务类型及调度策略 |
4.1.1 数控系统任务类型划分 |
4.1.2 多核处理器分组调度策略 |
4.2 数控系统数据流任务调度研究 |
4.2.1 数控系统数据流模型及反馈调度算法 |
4.2.2 反馈调度算法实验验证 |
4.3 数控系统硬实时任务调度研究 |
4.3.1 实时任务可调度性判据 |
4.3.2 可调度性对控制稳定性的影响 |
4.3.3 周期和延迟对控制质量的影响 |
4.4 实时任务调度参数选择和优化 |
4.4.1 基于响应时间的实时任务周期分配 |
4.4.2 启发式实时任务调度参数优化方法 |
4.4.3 启发式任务周期优化方法实验验证 |
4.5 本章小结 |
第5章 微服务架构数控系统集群部署与功能验证 |
5.1 微服务架构数控系统集群配置部署策略 |
5.2 车间集群控制系统运行环境搭建 |
5.2.1 集群节点划分及基础软件部署 |
5.2.2 车间集群控制系统网络结构 |
5.2.3 车间集群控制系统可靠性与容错技术 |
5.3 微服务架构数控系统集群配置部署 |
5.3.1 Kafka消息代理集群部署及应用配置 |
5.3.2 数控微服务Docker容器镜像构建 |
5.3.3 基于Kubernetes的数控微服务集群部署 |
5.3.4 Ether CAT容器配置部署 |
5.4 微服务架构数控系统实验测试 |
5.4.1 实验平台搭建 |
5.4.2 关键性能测试 |
5.4.3 智能颤振抑制微服务功能测试 |
5.5 本章小结 |
结论 |
参考文献 |
攻读博士学位期间发表的论文及其它成果 |
致谢 |
个人简历 |
(8)基于Spark的森林生物量并行反演方法研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 生物量反演的国内外研究现状 |
1.2.2 并行计算的国内外研究现状 |
1.2.3 并行反演的国内外研究现状 |
1.3 本文主要研究工作 |
1.4 章节安排 |
2 相关技术 |
2.1 Hadoop开源计算平台 |
2.2 Spark分布式计算框架 |
2.2.1 Spark并行编程模型 |
2.2.2 Spark的生态系统 |
2.2.3 弹性分布式数据集RDD |
2.3 HDFS分布式存储 |
2.4 HBase分布列式数据库 |
2.5 本章小结 |
3 实验数据及处理 |
3.1 研究区域与数据源 |
3.2 实验数据预处理 |
3.3 基于HDFS的数据存储 |
3.4 遥感影像金字塔模型并行处理过程 |
3.4.1 基于Spark遥感影像金字塔并行构建 |
3.4.2 基于HBase的金字塔瓦片存储 |
3.5 本章小结 |
4 基于Spark的并行反演 |
4.1 自定义RDD相关算子 |
4.1.1 影像融合操作算子 |
4.1.2 相关因子操作算子 |
4.1.3 反演模型操作算子 |
4.2 基于多元线性回归的郁闭度并行反演模型 |
4.3 基于BP神经网络的生物量并行反演模型 |
4.4 基于Spark自定义RDD的并行反演算法 |
4.4.1 基于Spark并行反演运行逻辑 |
4.4.2 基于Spark并行反演流程 |
4.5 本章小结 |
5 实验设计与结果分析 |
5.1 实验环境 |
5.2 实验评价指标 |
5.3 基于Spark的森林郁闭度并行反演 |
5.3.1 反演模型精度评价 |
5.3.2 并行处理效率评价 |
5.4 基于Spark的森林生物量并行反演 |
5.4.1 反演模型精度评价 |
5.4.2 并行处理效率评价 |
5.5 本章小结 |
结论 |
参考文献 |
攻读学位期间发表的学术论文 |
致谢 |
(9)并行矩量法及其区域分解关键技术研究(论文提纲范文)
摘要 |
ABSTRACT |
符号对照表 |
缩略语对照表 |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 并行矩量法的研究现状 |
1.2.2 基于矩量法的区域分解研究现状 |
1.3 本文主要工作和结构安排 |
1.3.1 本文主要工作 |
1.3.2 本文结构安排 |
第二章 场积分方程与矩量法 |
2.1 引言 |
2.2 电磁场积分方程 |
2.2.1 自由空间场积分方程 |
2.2.2 半空间场积分方程 |
2.3 矩量法分析 |
2.3.1 矩量法基本原理 |
2.3.2 基函数 |
2.3.3 矩阵方程离散 |
2.3.4 矩阵方程求解 |
2.4 小结 |
第三章 高性能并行矩量法优化策略 |
3.1 矩阵并行填充加速技术 |
3.1.1 向量化优化 |
3.1.2 MPI+Open MP优化 |
3.1.3 优化策略正确性和性能分析 |
3.2 基于矩量法的高效复数稠密矩阵方程求解器 |
3.2.1 基本原理 |
3.2.2 通信和计算时间分析 |
3.2.3 矩量法阻抗矩阵特性分析 |
3.2.4 LPLU分解算法正确性验证 |
3.2.5 LPLU分解算法性能分析 |
3.3 小结 |
第四章 基于积分方程的并行区域分解方法 |
4.1 IE-DDM基本原理 |
4.1.1 建立表面积分方程 |
4.1.2 建立矩阵积分方程 |
4.1.3 迭代求解过程 |
4.1.4 半空间实镜像IE-DDM |
4.2 IE-DDM并行加速策略 |
4.2.1 并行编程架构 |
4.2.2 区域间耦合并行加速策略 |
4.3 自由空间IE-DDM数值算例 |
4.3.1 自由空间IE-DDM正确性验证 |
4.3.2 自由空间IE-DDM迭代收敛性分析 |
4.3.3 通用处理器平台千核规模并行性能测试 |
4.3.4 快速计算局部形变目标 |
4.4 半空间环境IE-DDM数值算例 |
4.4.1 半空间IE-DDM正确性验证 |
4.4.2 半空间IE-DDM迭代收敛性分析 |
4.4.3 通用处理器平台千核规模并行性能测试 |
4.5 小结 |
第五章 基于完整基函数划分的并行区域分解方法 |
5.1 FBF-DDM基本原理 |
5.1.1 建立表面积分方程 |
5.1.2 奇异积分处理策略 |
5.2 FBF-DDM加速策略 |
5.2.1 预条件矩阵高效构建 |
5.2.2 松散的广义最小余量迭代算法 |
5.2.3 MPI+Open MP并行加速 |
5.3 自由空间FBF-DDM数值算例 |
5.3.1 算法精度验证 |
5.3.2 收敛性数值分析 |
5.3.3 通用处理器平台千核规模并行性能测试 |
5.4 半空间环境FBF-DDM数值算例 |
5.4.1 算法精度验证 |
5.4.2 迭代收敛速度分析 |
5.4.3 通用处理器平台千核规模并行性能测试 |
5.5 小结 |
第六章 高性能矩量法及DDM电大目标电磁特性分析 |
6.1 “天河二号”国产众核超算平台60万核并行矩量法 |
6.1.1 LPLU分解算法性能分析 |
6.1.2 60 万核并行矩量法 |
6.2“天河三号”国产E级超算原型机系统并行矩量法 |
6.3 DDM电大目标电磁特性分析 |
6.3.1 飞机编队的双站RCS |
6.3.2 载弹飞机的双站RCS |
6.3.3 海面舰船II的双站RCS |
6.3.4 海面舰船III的双站RCS |
6.4 小结 |
第七章 结论 |
7.1 研究总结 |
7.2 研究展望 |
参考文献 |
致谢 |
作者简介 |
(10)海量时间频率科学数据管理与服务关键技术研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景与意义 |
1.2 研究现状与分析 |
1.1.1 时间频率科学数据存储管理 |
1.1.2 时间频率科学数据计算模式 |
1.1.3 时间频率科学数据服务方式 |
1.1.4 现状分析 |
1.3 研究目标和主要研究内容 |
1.3.1 研究目标 |
1.3.2 主要研究内容 |
1.4 论文组织结构 |
第2章 面向服务的海量时间频率科学数据管理体系设计 |
2.1 时频数据特征与管理系统分析 |
2.1.1 时间频率科学数据特征 |
2.1.2 时间频率科学数据管理原型系统 |
2.2 面向服务的海量时间频率科学数据管理体系设计 |
2.2.1 面向服务的海量时频数据管理标准体系 |
2.2.2 面向服务的海量时频数据管理框架(STFDMA) |
2.3 面向服务的海量时间频率科学数据管理实现模型 |
2.3.1 云计算与大数据技术 |
2.3.2 STFMDA的实现模型 |
2.4 本章小结 |
第3章 海量时间频率科学数据存储管理方法研究 |
3.1 基于HDFS的海量时频数据文件存储方法研究 |
3.1.1 HDFS架构与存储特性分析 |
3.1.2 基于HDFS的时频数据文件存储架构设计 |
3.1.3 分布式时频科学数据文件存储系统优化方法 |
3.1.4 实验结果与分析 |
3.2 基于HBase的海量半结构化时频数据存储方法研究 |
3.2.1 HBase系统特性与架构方案 |
3.2.2 基于HBase的GNSS系统时差监测数据存储设计 |
3.2.3 实验结果与分析 |
3.3 基于时间序列数据库Influx DB的时频数据存储方法研究 |
3.3.1 Influx DB系统架构与数据存储管理特征分析 |
3.3.2 基于Influx DB的时间序列数据组织与模型设计 |
3.3.3 基于Influx DB的时频测量数据存储管理方法研究 |
3.3.4 基于Influx DB的CAPS主钟溯源比对数据存储设计 |
3.3.5 实验结果与分析 |
3.4 本章小结 |
第4章 海量时间频率科学数据离线并行分析方法研究 |
4.1 基于Map Reduce的时频数据并行处理框架及流程设计 |
4.1.1 基于Map Reduce的并行处理框架及功能分析 |
4.1.2 基于Map Reduce的离线分析作业运行流程设计 |
4.2 基于Map Reduce的并行化时间间隔误差计算方法 |
4.2.1 时间间隔误差原理与分析方法 |
4.2.2 基于Map Reduce的时间间隔误差算法MR-TIE |
4.3 基于Map Reduce的并行化频率源钟差模型计算方法 |
4.3.1 频率源钟差模型与计算方法 |
4.3.2 基于Map Reduce的频率源钟差模型计算方法MR-CLS |
4.4 实验结果与分析 |
4.4.1 实验环境部署 |
4.4.2 基于MR-TIE的CAPS主钟溯源比对钟差分析 |
4.4.3 基于MR-CLS的CAPS主钟溯源比对钟差分析 |
4.5 本章小结 |
第5章 海量时间频率科学数据实时并行分析方法研究 |
5.1 基于Spark的时频数据并行计算框架及流程设计 |
5.1.1 基于Spark的并行计算框架及功能分析 |
5.1.2 基于Spark的实时并行计算流程设计 |
5.2 基于Spark的频率稳定度Allan方差计算方法 |
5.2.1 频率稳定度Allan方差计算方法 |
5.2.2 基于Spark的并行化Allan方差Spark-Allan |
5.2.3 Spark-Allan数据处理流程 |
5.3 基于Spark的最大时间间隔误差算法Spark-MTIE |
5.3.1 最大时间间隔误差定义及计算方法 |
5.3.2 基于Spark的并行化MTIE计算方法Spark-MTIE |
5.3.3 Spark-MTIE数据处理流程 |
5.4 基于Spark的光纤溯源钟差粗差探测算法 |
5.4.1 基于光纤时间传递的溯源钟差模型 |
5.4.2 光纤溯源钟差粗差探测算法(ODTD) |
5.4.3 基于Spark的光纤溯源钟差粗差探测方法Spark-ODTD |
5.5 实验结果与分析 |
5.5.1 实验环境搭建 |
5.5.2 基于Spark-Allan的CAPS主钟频率稳定度分析 |
5.5.3 基于Spark-MTIE的CAPS主钟溯源比对钟差分析 |
5.5.4 基于Spark的光纤溯源钟差粗差探测实验分析 |
5.6 本章小结 |
第6章 远程溯源比对云服务原型系统设计与实现 |
6.1 远程溯源比对云服务原型系统总体框架 |
6.1.1 远程溯源比对云服务基本原理与系统架构 |
6.1.2 远程溯源比对云服务系统总体框架 |
6.2 远程溯源比对云服务原型系统模块设计与实现 |
6.2.1 远程溯源比对云服务原型系统服务与模块设计 |
6.2.2 远程溯源比对云服务原型系统应用界面 |
6.3 本章小结 |
第7章 总结与展望 |
7.1 总结 |
7.2 展望 |
参考文献 |
致谢 |
作者简历及在学期间发表的学术论文与研究成果 |
四、PC Cluster系统集成技术与并行处理效率分析(论文参考文献)
- [1]大规模数据实时绘制关键技术研究[D]. 罗德宁. 四川大学, 2021(01)
- [2]面向车联网的车辆监控与分析平台的设计与实现[D]. 吴真其. 西南大学, 2021(01)
- [3]复杂多样环境下QoS感知的服务组合方法研究[D]. 彭顺顺. 东南大学, 2020(02)
- [4]语义一致的实体扩展技术研究[D]. 贺伟成. 北京交通大学, 2020(02)
- [5]基于FPGA-Centric集群的加速器级并行体系结构研究[D]. 王天祺. 中国科学技术大学, 2020(01)
- [6]基于集成学习的铝合金薄板带材力学性能预测方法研究[D]. 高建琛. 北京工业大学, 2020(06)
- [7]面向集群部署的微服务架构数控系统研究[D]. 刘建康. 哈尔滨工业大学, 2020(01)
- [8]基于Spark的森林生物量并行反演方法研究[D]. 娄彤彤. 东北林业大学, 2020(02)
- [9]并行矩量法及其区域分解关键技术研究[D]. 顾宗静. 西安电子科技大学, 2019(05)
- [10]海量时间频率科学数据管理与服务关键技术研究[D]. 孟令达. 中国科学院大学(中国科学院国家授时中心), 2019(01)