一、数据库数据一致性及并发处理（论文文献综述）
陈思[1]（2021）在《基于Nginx和Redis的高并发Web场景下缓存的研究与设计》文中研究表明
刘东昇[2]（2021）在《基于事务消息的微服务事务处理系统的设计与实现》文中指出随着应用程序的微服务化以及容器化成为趋势,单一数据库越来越难以支撑整个应用服务,一个微服务对应一个数据库的方案逐渐成为行业趋势,这使得微服务中的分布式事务问题成为当下的研究热点。目前的分布式事务处理系统中普遍存在着难以应对单点故障及对资源长时间占用导致的系统吞吐量下降等问题,亦或是对业务侵入过大难以接入的问题,而事务型消息队列的引入以及分布式系统BASE理论的思想有望解决这些问题。本文首先对现存的一些分布式事务解方案及进行研究,分析现有分布式事务解决方案的优势与不足,然后对事务消息机制和事务型消息队列进行深入研究,探讨使用事务型消息队列对微服务架构中的分布式事务解决方案进行优化的可能性。并在此基础上提出一种基于事务消息的微服务事务解决方案,并设计实现相应系统。系统利用事务型消息队列将分布式事务拆分成多个本地事务,可以支持分布式事务的正常执行,分布式事务的执行失败回滚,分布式事务的超时回滚等功能,支持同步和异步的调用模式,支持客户端对事务的各种管理操作,并且有定时任务负责维护事务的状态,可以即时发现执行超时的事务。之后设计测试并开发了一套简易的电子商务订单系统验证了系统的功能及性能,并对其进行进一步优化。最终实现的分布式事务系统可以在事务正常执行,执行失败,服务宕机等场景下保证分布式事务的最终一致性,并且支持异步调用模式,在该模式下可以达到非常高的事务处理吞吐量。
余旭玲[3]（2021）在《基于内存式数据库的关系型标准查询算法研究与工程实践》文中研究表明在大数据、云计算、区块链等技术快速发展背景下,信息的存储与高效利用是各个领域和各大行业都面临的挑战与机遇。信息数据的汇集和业务数据的生产在高访问及高并发应用下呈指数式增长。这种情形下,目前仍然充当主力存储模式的传统关系型数据库在数据存储以及数据访问等方面逐渐显得力不从心,尤其是关系型数据库IO问题成为了诸多应用系统性能的瓶颈。近些年快速发展起来的内存式数据库越来越被重视和使用,成为满足高并发、低时延数据管理需求最有效的解决方案之一。但如何将数据从关系型数据中迁移到内存数据库中成为企业面临的一大问题。同时对于不支持标准SQL语言的内存式数据库,如何实现标准SQL查询访问成为普遍的业内期待和面临的突出问题。基于此现状,通过对当前流行的关系型数据和内存数据库进行调研与分析,结合当前国际形势,选取开源关系型数据库MySQL以及开源内存数据库Redis为研究对象,研究内存式数据库关系型标准查询算法,以开源Spring Cloud为基础搭建微服务架构,实现Redis的关系型标准查询。首先,对关系型MySQL和内存型Redis数据库的存储模型进行了深入研究与分析,提出了一种存储模型的转换器模式,实现关系型数据库存储模型到内存数据库（Redis）键值存储模型的转换,满足数据转换过程中的一致性要求。其次,基于上述研究成果,提出了一种内存式数据库的关系型标准查询算法MD-RSQA（自定义）,实现内存数据库Redis的标准SQL查询。并通过自定义MRSQL中间件（包含YM-SQL解析器、动态SQL模型中继器以及BZ-SQL适配器）来实现该算法。基于该算法,提出了关系型数据库内存化后的一体化标准访问模型,通过数据DB适配器,实现在包含关系数据库和内存数据库的混合数据存储体系结构下的数据一体化标准访问。最后,搭建了基于Redis和MySQL的混合存储应用平台。该平台基于微服务架构,整合了负载均衡（Nginx）、网关及路由（Gateway）、限流与熔断（Hystrix）、分布式处理单元等相关组件,并对平台的各组件做了实际开发与扩展,构建可实际运行的微服务应用框架。基于对MD-RSQA算法的研究,为了佐证算法的正确性,对本文搭建的微服务平台进行一致性访问与并发测试。实测结果表明,该方案能够提高数据库操作（新增、删除、查询、更新）效率约10倍,大幅提升应用系统对数据的访问效率。本文是基于某商业项目技术需求进行研究,研究的部分成果已集成在该项目中,且在项目平台中稳定运行。
俞腾秋[4]（2021）在《分布式事务处理模型研究与实现》文中认为在大数据时代下,移动互联网、智能设备以及物联网技术的发展,使得全球数据量呈现爆发式增长,传统的单机数据库受限于扩展能力,难以承载海量业务需求,人们开始探索将数据库分布式化,出现了以Google Spanner为代表的分布式数据库。分布式数据库具备强一致性、高可用性、可扩展性、易运维、容错容灾的特性,拥有满足ACID特性的高并发事务处理能力,可以满足低延迟和海量并发处理需求。分布式数据库一般采用多分区和多副本实现可扩展性和高可用性,分布式事务往往要在强一致性和事务性能两者之间做出妥协,这也使得分布式事务的研究成为分布式数据库领域最具有挑战性的工作之一。本文以分布式事务处理模型作为研究背景,调研了主流分布式事务模型的实现原理,分析其优劣势。在此基础上,借鉴Percolator事务模型的思想,设计和实现分布式关系型数据库的事务处理模型。该模型通过两阶段提交协议,提供强一致性跨分区事务,由中心授时服务器提供全局唯一的时间戳,实现快照隔离级别。本文的主要工作包括:1.设计和实现乐观事务模型,在增删改查阶段将记录修改操作缓存在计算层中,在事务提交时通过两阶段提交协议进行提交。采用多版本并发控制机制,读操作读取快照版本数据,实现读写不相互阻塞。2.针对解决高事务冲突场景下事务性能降低的问题,在乐观事务模型的基础上实现悲观事务模型,在增删改查阶段对所有记录提前写入悲观锁,将事务冲突检测的时机提前,从而减少事务冲突回滚的发生。3.针对分布式事务延迟高的问题,设计和实现异步提交协议,在完成第一阶段写入后,立即返回客户端响应,同时异步地完成第二阶段的事务提交,减少一轮网络IO带来的事务延迟。4.针对单分区事务的场景,设计和实现一阶段提交协议,优化对记录加锁和解锁步骤,在一次网络IO中完成事务提交,进而提升事务性能。本文使用TPC-C和Sysbench等测试工具对事务进行功能和性能测试,测试结果表明,事务系统支持ACID特性并实现快照隔离级别。悲观事务模型在冲突严重场景下性能表现大幅优于乐观事务,异步提交事务能在保证一致性前提下降低事务的响应时间,单分区事务场景中使用一阶段提交协议可以极大地提升事务性能。
丁志坚[5]（2021）在《基于Redis的云数据库的研究与实现》文中研究指明随着网络的发展,各行各业的业务系统体量越来越庞大,业务内容也越来越复杂。传统数据库已经无法满足人们对于响应时延的要求,因此,Memcached等缓存系统被广泛的应用。实验室现有云平台也使用Memcached作为缓存数据库来提高云应用的打开速度和响应速度,但是在日常开发维护中发现存在高可用、效率、持久化等问题。为此,本文以Redis为基础,研究并实现了一套高可用的云数据库系统CRDB（CAC Redis DataBase）作为云平台的缓存数据库。主要工作如下:首先本文分析了现有实验室Memcached缓存数据库存在的问题并提出解决方案。当前实验室使用的Memcached是单点的,不支持高可用,另外只能处理键值对数据,对于其他复杂的数据类型需要客户端做大量的数据转换工作,影响开发效率。并且Memcached不支持持久化功能,对于一些关键数据很容易丢失。针对以上问题,本文以Redis数据库引擎为基础,基于proxy-based架构,提出了 CRDB云数据库系统,该系统主要由访问模块,代理模块,数据处理模块和管理模块四部分组成。然后本文从系统的四个模块出发,进行了详细的分析设计并给出了具体的实现。（1）访问模块作为系统的入口主要处理来自客户端的大量请求,使用了 LVS和Keepalived的组合架构进行负载均衡,使系统具备处理海量并发数据的能力,同时加入了用户验证以面对多租户访问的场景。（2）代理模块通过对Twemproxy二次开发,添加了多进程功能,以应对云平台的高性能要求。使用代理层对底层节点实现分片,在将海量客户端请求均匀分配转发的同时,也确保了底层能对上层进行透明的扩容操作。（3）数据处理模块实现了数据持久化操作,并对Redis的内存替换策略用LRU-K算法进行改进,提高系统对于云平台热点数据的处理性能,提升应用响应速度。（4）管理模块使用Prometheus开源组件对系统进行监控,开发了各种Exporter业务插件,帮助管理人员对于系统的掌握更全面。另外使用Sentinel架构完成了故障检测和故障处理功能,解决了单点问题,并基于log4cxx二次开发了一套日志系统,为运维和开发人员解决问题提供良好的参考。最后本文在云平台中部署了一台CRDB云数据库,并对CRDB系统进行了全面的功能和性能测试。将结果和原来的Memcached缓存进行对比,该系统符合最初的设计要求,满足云平台的需求,且具备较好的高可用和高并发性。
张志威,王国仁,徐建良,杜小勇[6]（2020）在《区块链的数据管理技术综述》文中研究表明最近几年,随着加密货币和去中心化应用的流行,区块链技术受到了各行业极大的关注.从数据管理的角度,区块链可以视作是在一个分布式环境下众多不可信节点共同维护且不可篡改的账本.由于节点间相互不可信,区块链通过共识协议,确保数据存储的一致性,实现去中心化的数据管理.针对区块链的安全性以及共识协议,已有诸多工作进行全面的分析.将从数据管理的角度,分析区块链技术与传统数据库下数据管理技术的异同.分布式数据管理的研究已经持续数十年,涵盖了数据存储模式、事务处理机制、查询执行与验证、系统可扩展性等诸多方面,并已有诸多技术广泛应用于实际的分布式数据库中.该类工作往往假定存在中心可信节点或者节点只可能发生崩溃而不存在恶意攻击.然而在区块链环境中,系统设计需考虑不可信节点可能的攻击行为以及拜占庭容错.这给数据管理带来了新的问题与挑战.因此,将梳理并分析国内外有关区块链数据管理的文献,并展望未来的研究方向.
任弘迪[7]（2020）在《数据复制中心的设计与实现》文中研究表明数据复制中心旨在解决企业面临的各类数据同步问题。常见的问题有:把线上数据同步到数据仓库供后续分析;实现变更数据捕获模式,订阅数据库变更以更新缓存、搜索引擎或是异步触发后续业务流程;在不同数据中心之间做双向同步以提供异地容灾能力等。业界也有一些解决这些问题的尝试,但公开的方案有些只是命令行工具,无法满足企业对可用性的要求;有些只支持特定的数据源,难以拓展到不同类型的数据源;大部分方案使用与源端相同的一致性级别,少数没有明确说明一致性语义,但都没有针对同步场景做优化。在总体设计上,本文首先通过归纳使用场景,明确了系统的需求和目标。其次在架构层面,系统分别针对裸机和Kubernetes集群设计了基于复制状态机的裸集群架构和基于云原生的架构,消除了单点故障,实现了高可用和可拓展性。接着,设计了插件结构的执行引擎,以提升系统的可升级性,方便接入不同的数据源。最后在并发控制上,提出了适用于数据同步场景的行级一致性语义。该语义较现有的大部分方案降低了一致性要求,从而提高了理论吞吐上限。设计了实现该语义的并发控制算法,并运用批量优化技术,进一步提升性能。在实现上,系统提出了五大关键技术。首先是统一消息结构,解决了主流数据源没有统一对外接口的问题,降低了各组件对数据源原生接口的依赖,提高了系统的可升级性。其次针对全表读取,提出通用主键分页算法,不需要全局一致性读,再加上运用采样分段并发读取手段,解决了常规大表全表读取成本较高的问题,提升了系统在读取侧的性能。接着通过标记和识别内部流量支持双向同步,解决了环型同步的难点。第四,系统存储了元数据变更历史,解决了连续表结构变更期间重启就无法继续工作的问题,提升了极端情况下系统的可用性。最后通过应用混沌工程,以及参考流式计算中分布式快照算法实现的实时监测和水位线监控,补充了复制系统的验证机制,提升了系统的可观测性。系统已经在生产环境运行一年多,支持了数百数据源实例,上千TB数据的迁移任务,每天同步数十亿行增量数据,端到端延迟95线小于100毫秒（其中包括读写数据源延迟约95毫秒）。在4核容器内进行My SQL到My SQL的同步就可以达到目标端My SQL的瓶颈,最大吞吐达到5万行每秒,同步开始后1分钟目标端My SQL的从库已经产生接近1分钟的主从延迟,因而效率远超原生主从同步机制。
袁迎迎[8]（2020）在《物联网平台分布式数据融合管理的研究与实现》文中提出随着物联网的发展,感知设备在数据融合、信息交互、数据共享等技术的支撑下,创新出了多样的上层智能物联网应用。这些应用的底层监测终端设备来源于各行各业,产生了庞大且复杂的数据,然而因不同种类的数据监测终端所应用的信息交换标准不统一,造成了各行业数据大量堆积、难聚合,难共享,阻碍了关联各行业的智能应用的发展。如何对数据进行高效融合处理、快速查询、完成数据共享、并保证数据可靠是本文重点研究内容。本文以物联网平台多源感知数据为例,设计并实现了分布式数据融合管理系统。论文主要工作如下:1)设计了数据融合平台。平台可接入多种不同标准的监测终端,并对监测属性名依据其含义重新定义名字,进行统一格式转换、实现数据表属性与格式一致化,同时定义了严格的语法和转换规则检查机制,实现数据高效融合处理。2)设计了分布式实时库管理子系统。针对分布式物联网数据存取需要强实时性与一致性的要求,分三个层次实现:第一,对实时库数据切片完成启动、分布部署、管理以及邻居内存库数据对齐;第二,对库结构进行增删改查、实时刷新,通过组播应答方式保证强一致性,即用户任意时刻都可查到最新数据;第三,数据更新后对邻居广播,每个切片订阅相关修改并自动更新来保证弱一致性,即一段时间后邻居相关切片会逐渐达到一致状态且容忍部分数据丢失。3)设计了分布式数据融合管理架构。针对数据存储位置多样,用户读写困难的问题,设计了客户端代理与分布式集群。客户端代理将用户请求路由到分布式节点,并对上层透明。分布式集群实现读写分离、主从备份、异地灾备,减轻了单节点存储压力、实现负载均衡、保障数据可靠。针对实时数据总量庞大的问题,设计了数据采样,利用内存快照方式存储历史数据到持久化库,压缩数据总量。最后为管理人员提供了一种中心管理架构,负责统筹管理整个系统,提供所需配置下载、更新并监测各个模块的正常运行。最后,本系统在集群环境中实现了分布式数据融合管理系统的所有功能。并对系统各个模块的功能与性能进行了测试,测试结果验证了系统的可用性、可靠性和稳定性。
朱春雪[9]（2020）在《基于国产平台的工控组态软件实时数据库设计》文中研究指明当前现代化工业高速发展,工业控制领域越来越需要强大的技术支持来维护不断扩大的生产规模、监管日益复杂的生产流程,工控组态软件可以为信息集成化和工业自动化提供保证,主要用于直观监控现场运行状态,方便管理现场设备,满足用户对测控和现场要求。而实时数据库（Real-time Database,RTDB）作为组态软件核心部分,通过对数据和事务提出较强的实时性和定时性要求,实现现场生产数据的实时反馈和处理,但目前市场上被广泛应用的工控组态软件产品及实时数据库大多基于Windows操作系统。2015年国务院颁布的《中国制造2025》战略文件作为我国实现制造业强国目标的行动纲领,推出了以“智能制造”为核心的制造业发展计划,强调形成自主发展能力、掌握关键核心技术,为发展我国自主可控的信息技术和为工业生产提供基础数据管理平台,本文将进行基于国产平台的工控组态软件实时数据库的设计开发。首先采用搭载中标麒麟操作系统的国产平台,结合C++语言和Qt框架设计工控组态软件,将工控组态软件分为三大功能模块:图形组态子系统主要实现图元界面显示、配置等功能,为用户建立良好的人机界面;实时数据库为组态软件提供数据平台,实现实时报警、实时数据处理和数据存储等功能;通信组态子系统负责与外界建立连接。在研究和设计工控组态软件的总体框架和功能模块基础上,重点设计开发工控组态软件实时数据库,通过对实时数据库的理论研究进行实时数据库详细设计。在数据采集与回送模块中,主要围绕Modbus通信协议进行设计,实现高效准确的数据传输;在设计数据处理模块时,以确保实时性作为目标,对实时数据处理、报警处理和历史数据的压缩转储等方面进行详细设计;通过设计应用程序接口模块的读数据函数和写数据函数,实现实时数据库与应用程序的数据调用和传送。然后对实时数据库内核核心的实时事务处理进行研究,设计出保障事务定时特性的事务处理策略。最后经过性能测试和净水系统应用实例展示,证明本次开发的工控组态软件实时数据库性能良好,系统具有一定的实用性。
胡哲婷[10]（2020）在《微服务事务一致性异常检测系统设计与实现》文中研究表明微服务是一种新兴的按服务划分模块的软件架构设计原则,当业务流程需要跨越多个服务构成一个执行单元就出现了微服务事务的概念。开发人员往往依赖一致性异常检测工具来发现微服务事务并发执行中的不一致数据。本文提出一个通用的一致性异常检测系统的设计方案并实现,主要的工作和创新点如下:1.针对以往其他一致性异常检测方案都是从数据校验角度出发,只能根据不同业务定制数据校验规则,必须投入较多人力、时间成本的问题,论文提出的方案从事务执行历史可串行化验证出发,基于学术界公认的分布式事务并发执行正确性标准——全局可串行性和Quasi可串行性理论,利用事务间的冲突关系构建优先图,在优先图中检测出所有简单环就可以找到出现“一致性异常”的事务,不依赖任何实际业务。2.针对目前获取冲突关系的方案中需要修改源代码,对系统侵入过大的问题,本文设计了基于数据源代理的技术方案并实现。该方案利用AOP编程思想获取JDBC实例,不需要修改源代码,在业内广泛使用的微服务开发框架中修改配置文件即可快速集成,真正做到了可插拔。为了验证这个系统对一致性异常的检测效果,我们在由四个微服务构成的电商系统基础上设计了一致性异常的测试用例。实验结果表明,本文提出的一致性异常检测系统可以有效识别执行历史不满足全局可串行性和Quasi可串行性标准之一,即存在“一致性异常”的事务,并准确地识别涉及的具体业务和数据项反馈给开发人员。
二、数据库数据一致性及并发处理（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、数据库数据一致性及并发处理（论文提纲范文）
（2）基于事务消息的微服务事务处理系统的设计与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 论文主要工作 |
| 1.4 论文组织架构 |
| 第二章 关键技术 |
| 2.1 分布式事务概述 |
| 2.1.1 分布式事务简介 |
| 2.1.2 分布式事务处理的难点 |
| 2.1.3 传统分布式事务处理方法 |
| 2.2 事务消息机制和事务型消息队列 |
| 2.2.1 事务消息简介及应用场景 |
| 2.2.2 事务消息实现原理 |
| 2.2.3 事务型消息队列 |
| 2.2.4 事务型消息队列在微服务架构中的应用 |
| 第三章 需求分析与总体设计 |
| 3.1 需求分析 |
| 3.1.1 总体分析 |
| 3.1.2 功能性需求 |
| 3.1.3 非功能性需求 |
| 3.2 概要设计 |
| 3.2.1 系统架构设计 |
| 3.2.2 模块设计 |
| 3.2.3 存储设计 |
| 3.2.4 微服务事务处理系统的工作流程 |
| 第四章 详细设计和实现 |
| 4.1 事务提交模块 |
| 4.2 事务执行模块 |
| 4.3 事务回滚模块 |
| 4.4 事务记录模块 |
| 4.5 事务状态定时检查模块 |
| 4.6 系统管理模块 |
| 4.7 事务存储模块 |
| 第五章 测试与优化 |
| 5.1 测试准备 |
| 5.1.1 测试系统 |
| 5.1.2 测试环境 |
| 5.2 基本功能测试 |
| 5.2.1 事务正常执行 |
| 5.2.2 事务执行失败回滚 |
| 5.2.3 事务执行超时回滚 |
| 5.2.4 事务执行过程中遇到客户端宕机但是在超时之前恢复 |
| 5.3 非功能需求测试 |
| 5.3.1 异步执行模式下的性能测试 |
| 5.3.2 同步执行模式下的性能测试 |
| 5.3.3 其他非功能性需求的测试及验证 |
| 5.4 系统优化 |
| 5.4.1 事务订阅者消息消费模式优化 |
| 5.4.2 事务最终状态确认流程优化 |
| 5.4.3 优化效果测试 |
| 5.4.4 对比 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间取得的研究成果 |
（3）基于内存式数据库的关系型标准查询算法研究与工程实践（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 1 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 本文主要工作 |
| 1.4 本文组织结构 |
| 2 相关技术分析 |
| 2.1 关系型数据库 |
| 2.2 内存数据库 |
| 2.3 Redis数据库 |
| 2.4 微服务架构模型 |
| 2.5 本章小结 |
| 3 算法研究与设计 |
| 3.1 内存式数据库的关系型标准查询框架总体设计 |
| 3.2 关系型数据库内存化研究 |
| 3.3 MR-SQL中间件设计 |
| 3.4 MD-RSQA标准查询算法设计与实现 |
| 3.5 数据库一体化标准访问 |
| 3.6 内存数据库持久化备份 |
| 3.7 本章小结 |
| 4 微服务云平台搭建 |
| 4.1 云平台架构设计 |
| 4.2 Nginx反向代理 |
| 4.3 服务与注册发现 |
| 4.4 网关组件 |
| 4.5 MR-SQL中间件服务 |
| 4.6 数据库层实现 |
| 4.7 持久化备份 |
| 4.8 本章小结 |
| 5 系统测试与结果分析 |
| 5.1 系统平台配置 |
| 5.2 系统测试 |
| 5.3 测试结果与分析 |
| 5.4 本章小结 |
| 6 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 在校期间的科研成果 |
| 在校期间的工程开发与实践 |
（4）分布式事务处理模型研究与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究工作的背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 事务并发控制的国内外研究现状 |
| 1.2.2 分布式事务的国内外研究现状 |
| 1.3 本文的主要研究工作 |
| 1.4 本论文的结构安排 |
| 第二章 相关理论与技术综述 |
| 2.1 存储引擎 |
| 2.1.1 LSM树 |
| 2.2 分布式理论 |
| 2.2.1 CAP定理 |
| 2.2.2 一致性保证 |
| 2.2.3 共识算法 |
| 2.3 事务并发控制相关理论 |
| 2.3.1 ACID |
| 2.3.2 事务隔离级别 |
| 2.3.3 乐观并发控制 |
| 2.3.4 悲观并发控制 |
| 2.3.5 多版本并发控制 |
| 2.4 分布式事务模型 |
| 2.4.1 Spanner分布式事务 |
| 2.4.2 Percolator分布式事务 |
| 2.4.3 Omid分布式事务 |
| 2.4.4 Calvin分布式事务 |
| 2.4.5 分布式事务模型对比 |
| 2.5 本章小结 |
| 第三章 系统整体设计 |
| 3.1 系统设计目标 |
| 3.2 系统需求分析 |
| 3.2.1 功能需求 |
| 3.2.2 非功能需求 |
| 3.3 系统整体设计 |
| 3.3.1 计算层 |
| 3.3.2 存储层 |
| 3.3.3 调度层 |
| 3.4 关键设计点 |
| 3.4.1 乐观事务 |
| 3.4.2 悲观事务 |
| 3.4.3 异步提交事务 |
| 3.4.4 单分区事务 |
| 3.5 本章小结 |
| 第四章 系统模块实现 |
| 4.1 计算层 |
| 4.1.1 会话管理模块 |
| 4.1.2 事务上下文对象 |
| 4.1.3 KV Store模块 |
| 4.2 存储层 |
| 4.2.1 RPC服务器模块 |
| 4.2.2 多版本并发控制模块 |
| 4.2.3 共识协议模块 |
| 4.2.4 本地存储引擎 |
| 4.3 调度层 |
| 4.3.1 授时模块 |
| 4.3.2 Region管理模块 |
| 4.4 本章小结 |
| 第五章 系统测试与分析 |
| 5.1 测试环境 |
| 5.2 功能测试 |
| 5.3 性能测试 |
| 5.3.1 TPCC |
| 5.3.2 Sysbench |
| 5.4 本章小结 |
| 第六章 全文总结与展望 |
| 6.1 全文总结 |
| 6.2 后续工作展望 |
| 致谢 |
| 参考文献 |
| 攻读专业硕士学位期间取得的成果 |
（5）基于Redis的云数据库的研究与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 课题研究背景 |
| 1.2 国内外研究现状 |
| 1.3 课题研究内容 |
| 1.4 论文结构安排 |
| 第二章 相关理论技术 |
| 2.1 分布式一致性理论 |
| 2.1.1 共识性和一致性 |
| 2.1.2 Raft协议 |
| 2.2 Redis技术 |
| 2.2.1 Redis内存数据结构 |
| 2.2.2 Redis集群 |
| 2.3 缓存常见问题 |
| 2.4 高可用架构模式 |
| 2.5 本章小结 |
| 第三章 系统需求分析及设计 |
| 3.1 系统需求分析 |
| 3.2 系统体系架构设计 |
| 3.3 访问模块设计 |
| 3.3.1 负载均衡 |
| 3.3.2 数据验证 |
| 3.4 代理模块设计 |
| 3.4.1 分片管理 |
| 3.4.2 多进程改造 |
| 3.5 数据处理模块设计 |
| 3.5.1 数据存储 |
| 3.5.2 持久化处理 |
| 3.6 管理模块设计 |
| 3.6.1 监控管理 |
| 3.6.2 日志管理 |
| 3.6.3 维护管理 |
| 3.7 本章小结 |
| 第四章 系统实现 |
| 4.1 访问模块实现 |
| 4.1.1 负载均衡实现 |
| 4.1.2 数据验证实现 |
| 4.2 代理模块实现 |
| 4.2.1 分片管理实现 |
| 4.2.2 多进程实现 |
| 4.3 数据处理模块实现 |
| 4.3.1 数据存储实现 |
| 4.3.2 持久化处理实现 |
| 4.4 管理模块实现 |
| 4.4.1 监控管理实现 |
| 4.4.2 日志管理实现 |
| 4.4.3 维护管理实现 |
| 4.5 本章小结 |
| 第五章 系统测试及分析 |
| 5.1 测试目标 |
| 5.2 测试环境 |
| 5.2.1 测试环境搭建 |
| 5.2.2 测试环境配置 |
| 5.3 测试结果与分析 |
| 5.3.1 功能测试 |
| 5.3.2 性能测试 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 全文主要工作 |
| 6.2 后续展望工作 |
| 致谢 |
| 参考文献 |
（6）区块链的数据管理技术综述（论文提纲范文）
| 1 区块链的核心构成 |
| 1.1 区块结构与事务 |
| 1.2 共识机制 |
| 1.3 UTXO与Account模型 |
| 1.4 智能合约 |
| 1.5 区块链类型 |
| 2 区块链的数据存储 |
| 2.1 基于键值对的数据存储模式 |
| 2.2 基于关系型数据的存储模式 |
| 3 区块链事务处理 |
| 3.1 确保原子性的处理技术 |
| 3.2 确保隔离性的处理技术 |
| 3.3 确保一致性的处理技术 |
| 4 区块链查询处理 |
| 4.1 一般查询处理 |
| 4.2 可信查询处理 |
| 5 区块链可扩展性 |
| 5.1 基于分片的区块链系统 |
| 5.2 区块链的链下事务处理 |
| 6 区块链数据管理的未来研究趋势 |
| 7 总结 |
（7）数据复制中心的设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 1 绪论 |
| 1.1 研究背景 |
| 1.2 研究现状 |
| 1.3 研究内容 |
| 1.4 论文组织结构 |
| 2 相关技术背景 |
| 2.1 数据复制技术 |
| 2.1.1 数据库复制机制 |
| 2.1.2 中间件复制机制 |
| 2.2 一致性模型 |
| 2.3 流式系统 |
| 2.4 分布式系统 |
| 2.4.1 分布式协调服务 |
| 2.4.2 云原生架构 |
| 2.5 本章小结 |
| 3 总体设计 |
| 3.1 需求分析 |
| 3.1.1 使用场景 |
| 3.1.2 需求和目标 |
| 3.2 系统设计 |
| 3.2.1 裸集群架构 |
| 3.2.2 云原生架构 |
| 3.2.3 执行引擎 |
| 3.3 并发控制 |
| 3.3.1 一致性语义 |
| 3.3.2 并发控制算法 |
| 3.3.3 批量优化 |
| 3.4 本章小结 |
| 4 关键技术的研究与实现 |
| 4.1 统一消息结构的抽象和转化 |
| 4.1.1 检查点和输入流键的分配 |
| 4.1.2 输出依赖取值 |
| 4.1.3 序列化格式 |
| 4.1.4 过滤组件的实现 |
| 4.2 全表读取优化 |
| 4.2.1 通用主键分页算法 |
| 4.2.2 放弃全局一致性读 |
| 4.2.3 采样分段并发读取 |
| 4.3 双向同步的实现 |
| 4.4 表结构存储 |
| 4.5 验证机制 |
| 4.5.1 混沌工程的应用 |
| 4.5.2 实时监测的实现 |
| 4.5.3 水位线监控 |
| 4.6 评估 |
| 4.6.1 调度组件基准测试 |
| 4.6.2 性能对比 |
| 4.6.3 生产环境 |
| 4.7 本章小结 |
| 5 总结 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表的学术论文目录 |
（8）物联网平台分布式数据融合管理的研究与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 研究内容 |
| 1.3 论文结构 |
| 第二章 相关技术介绍 |
| 2.1 物联网平台 |
| 2.2 数据融合 |
| 2.2.1 概念及其发展 |
| 2.2.3 ETL技术与工具 |
| 2.3 分布式架构 |
| 2.3.1 分布式集群 |
| 2.3.2 数据库 |
| 2.4 本章小结 |
| 第三章 系统需求分析 |
| 3.1 功能需求 |
| 3.2 其他需求 |
| 3.3 本章小结 |
| 第四章 系统概要设计 |
| 4.1 系统总体设计 |
| 4.1.1 系统分析 |
| 4.1.2 系统模块设计 |
| 4.1.3 系统架构设计 |
| 4.2 系统功能架构及技术架构设计 |
| 4.2.1 数据融合平台子系统 |
| 4.2.2 分布式实时库管理子系统 |
| 4.2.3 客户端代理 |
| 4.2.4 持久化存储子系统 |
| 4.2.5 元数据服务器子系统 |
| 4.3 本章小结 |
| 第五章 系统详细设计与实现 |
| 5.1 数据融合平台 |
| 5.1.1 数据采集 |
| 5.1.2 数据格式转换 |
| 5.2 分布式实时库管理子系统 |
| 5.2.1 分布式数据库界面 |
| 5.2.2 内存库分片管理 |
| 5.2.3 邻居内存库数据对齐 |
| 5.2.4 数据采样 |
| 5.3 客户端代理 |
| 5.4 持久化存储子系统 |
| 5.4.1 响应速度机制 |
| 5.4.2 可靠机制 |
| 5.5 元数据服务器 |
| 5.5.1 系统基本配置 |
| 5.5.2 Mycat运行列表 |
| 5.5.3 集群磁盘使用情况 |
| 5.6 本章小结 |
| 第六章 系统测试和验证 |
| 6.1 测试环境搭建 |
| 6.2 功能测试 |
| 6.2.1 分布式数据库界面测试 |
| 6.2.2 分布式实时库管理测试 |
| 6.2.3 数据融合平台测试 |
| 6.2.4 元数据服务器测试 |
| 6.2.5 客户端代理测试 |
| 6.2.6 分布式持久化存储测试 |
| 6.3 性能测试 |
| 6.3.1 单节点性能测试 |
| 6.3.2 集群性能测试 |
| 6.4 系统可靠性测试 |
| 6.5 本章小结 |
| 第七章 总结与展望 |
| 7.1 论文工作总结 |
| 7.2 未来工作展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表的学术论文 |
（9）基于国产平台的工控组态软件实时数据库设计（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 绪论 |
| 1.1 课题研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.2.1 组态软件 |
| 1.2.2 实时数据库 |
| 1.3 课题研究内容及章节安排 |
| 1.4 本章小结 |
| 第2章 工控组态软件设计 |
| 2.1 组态软件功能需求 |
| 2.2 组态软件总体设计 |
| 2.2.1 组态软件设计思想 |
| 2.2.2 组态软件结构设计 |
| 2.2.3 组态软件功能设计 |
| 2.3 开发平台及开发工具的选择 |
| 2.4 图形组态子系统 |
| 2.4.1 框架设计 |
| 2.4.2 具体设计与实现 |
| 2.5 通信组态子系统 |
| 2.5.1 串口通信 |
| 2.5.2 网络通信 |
| 2.6 本章小结 |
| 第3章 实时数据库相关理论及关键技术 |
| 3.1 实时数据库理论 |
| 3.1.1 实时数据库基本概念 |
| 3.1.2 实时数据库与传统数据库的区别 |
| 3.1.3 实时数据库数据与事务特征 |
| 3.1.4 实时数据结构 |
| 3.2 实时数据库主要技术 |
| 3.2.1 内存数据库技术 |
| 3.2.2 数据压缩技术 |
| 3.2.3 动态链接库技术 |
| 3.3 本章小结 |
| 第4章 实时数据库设计 |
| 4.1 实时数据库总体结构设计 |
| 4.1.1 功能分析 |
| 4.1.2 设计原则 |
| 4.1.3 框架结构设计 |
| 4.2 数据采集与回送模块 |
| 4.2.1 数据采集与回送模块整体设计 |
| 4.2.2 通信协议 |
| 4.2.3 通信程序设计 |
| 4.2.4 初始化变量表设计 |
| 4.3 数据处理模块 |
| 4.3.1 数据处理模块整体设计 |
| 4.3.2 实时数据写入和查询设计 |
| 4.3.3 报警处理设计 |
| 4.3.4 数据转储 |
| 4.3.5 数据压缩 |
| 4.3.6 历史数据库 |
| 4.4 应用程序接口模块 |
| 4.4.1 应用程序接口模块整体设计 |
| 4.4.2 读数据函数 |
| 4.4.3 写数据函数 |
| 4.5 本章小结 |
| 第5章 实时事务处理研究与设计 |
| 5.1 实时事务处理 |
| 5.2 事务调度 |
| 5.2.1 优先级分配策略 |
| 5.2.2 优先级算法选择与实现 |
| 5.3 并发控制 |
| 5.3.1 并发控制协议研究 |
| 5.3.2 并发控制协议比较与分析 |
| 5.3.3 并发控制策略设计 |
| 5.4 本章小结 |
| 第6章 系统测试与实现 |
| 6.1 测试环境 |
| 6.2 测试分析 |
| 6.2.1 实时数据写入和查询性能测试 |
| 6.2.2 数据压缩性能测试 |
| 6.2.3 事务处理性能分析 |
| 6.3 应用实例 |
| 6.4 本章小结 |
| 总结与展望 |
| 参考文献 |
| 攻读硕士期间所发表的论文及研究成果 |
| 致谢 |
（10）微服务事务一致性异常检测系统设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景和意义 |
| 1.2 研究现状 |
| 1.3 研究内容 |
| 1.4 论文组织架构 |
| 第2章 相关理论与技术 |
| 2.1 事务与并发执行相关研究 |
| 2.1.1 本地事务 |
| 2.1.2 本地事务并发问题分析 |
| 2.1.3 分布式事务 |
| 2.1.4 微服务系统事务模型 |
| 2.1.5 全局事务并发问题分析 |
| 2.2 相关技术对比 |
| 2.2.1 业务数据校验平台 |
| 2.2.2 DataWorks数据质量核查 |
| 2.2.3 一致性异常检测系统 |
| 2.3 可串行性理论 |
| 2.3.1 可串行性 |
| 2.3.2 冲突可串行性 |
| 2.3.3 全局可串行性 |
| 2.3.4 全局冲突可串行性 |
| 2.3.5 Quasi可串行性 |
| 2.4 环检测算法 |
| 2.5 应用技术介绍 |
| 2.5.1 数据访问层主流框架分析 |
| 2.5.2 Druid解析器 |
| 2.5.3 AOP编程思想 |
| 2.6 本章小结 |
| 第3章 系统需求分析与方案设计 |
| 3.1 需求分析 |
| 3.1.1 功能性需求分析 |
| 3.1.2 非功能性需求分析 |
| 3.2 整体架构设计 |
| 3.2.1 事务信息收集 |
| 3.2.2 信息处理和异常报告 |
| 3.2.3 执行流程 |
| 3.3 全局可串行性和Quasi可串行性处理 |
| 3.4 在全局事务中传递上下文信息 |
| 3.5 本章小结 |
| 第4章 事务信息收集设计与实现 |
| 4.1 冲突关系收集 |
| 4.1.1 数据源代理与执行器 |
| 4.1.2 事务数据更新记录 |
| 4.1.3 镜像数据保存 |
| 4.1.4 冲突关系 |
| 4.2 全局事务状态收集 |
| 4.3 本章小结 |
| 第5章 信息处理与异常报告模块设计与实现 |
| 5.1 优先图构建 |
| 5.2 环检测 |
| 5.3 事务相关信息查询API |
| 5.4 异常报告 |
| 5.5 数据删除 |
| 5.6 本章小结 |
| 第6章 实验分析 |
| 6.1 微服务系统 |
| 6.1.1 微服务事务原子性保证 |
| 6.1.2 微服务系统设计 |
| 6.2 测试环境配置 |
| 6.3 一致性异常检测系统测试 |
| 6.3.1 一致性异常测试用例设计 |
| 6.3.2 数据源代理性能测试 |
| 6.3.3 系统性能测试 |
| 6.4 本章小结 |
| 第7章 总结与展望 |
| 7.1 总结 |
| 7.2 展望 |
| 参考文献 |
| 攻读硕士学位期间主要的研究成果 |
| 致谢 |
四、数据库数据一致性及并发处理（论文参考文献）
- [1]基于Nginx和Redis的高并发Web场景下缓存的研究与设计[D]. 陈思. 东华理工大学, 2021
- [2]基于事务消息的微服务事务处理系统的设计与实现[D]. 刘东昇. 北京邮电大学, 2021(01)
- [3]基于内存式数据库的关系型标准查询算法研究与工程实践[D]. 余旭玲. 四川师范大学, 2021(12)
- [4]分布式事务处理模型研究与实现[D]. 俞腾秋. 电子科技大学, 2021(01)
- [5]基于Redis的云数据库的研究与实现[D]. 丁志坚. 电子科技大学, 2021(01)
- [6]区块链的数据管理技术综述[J]. 张志威,王国仁,徐建良,杜小勇. 软件学报, 2020(09)
- [7]数据复制中心的设计与实现[D]. 任弘迪. 上海交通大学, 2020(01)
- [8]物联网平台分布式数据融合管理的研究与实现[D]. 袁迎迎. 北京邮电大学, 2020(05)
- [9]基于国产平台的工控组态软件实时数据库设计[D]. 朱春雪. 中北大学, 2020(12)
- [10]微服务事务一致性异常检测系统设计与实现[D]. 胡哲婷. 浙江大学, 2020(08)