一、基于消息的主从式数据一致性更新策略（论文文献综述）
周文博[1]（2021）在《云计算系统的形式化建模与验证方法研究》文中研究表明随着科学技术和服务模式的不断发展,云计算作为一种创新的计算范式,在资源管理、市场运作和社会服务中得到了广泛的应用。基于互联网和虚拟化技术,云计算能够按需地为用户提供可度量的基础设施、平台和软件等服务。云计算系统是一类典型的复杂系统,具有规模大、层次多、架构复杂等特点,其可靠性和安全性往往难以保障。如何对云计算系统进行合理的抽象与建模,并进一步进行形式化验证,以增强系统的可信性和可靠性,是亟待解决的重要问题。本文利用形式化方法对构建安全可靠的云计算系统问题进行研究,在一种云计算系统框架下,结合形式语义、时间自动机和着色Petri网对其重要组成部分进行了形式化建模、分析与验证。本文关注的云计算系统主要包括数据处理框架、数据存储系统和资源服务系统。其中,数据处理框架定义了数据的处理逻辑,数据存储系统提供了数据的读、写和备份功能,资源服务系统保障了相关资源的供给。本文分别对这3个部分的建模与验证方法进行了研究,并在云存储案例的支持下,提出了一种攻击容错框架以进一步增强系统的安全性。本文的主要研究贡献包括以下几点:（1）针对云计算系统中的数据处理框架语义问题,提出了一种用于分析云中数据处理框架的执行语义模型SDAC。鉴于形式语义能够对计算过程进行严格、规范地描述,有助于程序或系统的正确性证明与分析,本文结合形式语义学基本理论定义了分布式抽象格局和执行语义,与典型的Aeolus模型进行了格局比较,并通过Map Reduce实例描述、容错与性能优化分析说明了模型的合理性与有效性。（2）针对云计算系统中数据存储系统的建模与验证问题,提出了一种用于分析具有备份流水线的主从式云数据存储系统的模型MSCDSS-RP。由于着色Petri网（Coloured Petri Net,CPN）适用于并发系统的建模与验证,能够通过类型化的令牌及其转移对并发读写和消息传递进行准确地刻画,本文基于着色Petri网对客户端、元服务器和集群之间的读写过程进行建模,并利用CPN Tools工具分析了状态空间,验证了备份一致性等重要性质。（3）针对云计算系统中资源供给服务的建模与验证问题,提出了一种资源供给即服务的建模与验证方法。鉴于时间自动机在状态和时间描述方面具有良好的表达能力,适用于刻画服务流程相关的状态同步和时间控制,本文基于时间自动机给出了资源供给即服务的框架及参与者行为,构建了客户端、服务管理中心（包括分配器、终止监控器和时间监控器）和资源服务模型,并利用时间自动机工具UPPAAL在相关服务场景下对一致性性质进行了验证。（4）针对云计算系统的攻击容错问题,提出了一种基于着色Petri网的攻击容错框架。鉴于着色Petri网在表达方式上既具有严格的数学基础,又具有直观的可视化图形表示,适合于异步、并发过程的诊断与分析,本文基于着色Petri网的形式化构造对攻击-网络交互行为的基本模式、攻击检测器和容错方案进行抽象与建模,根据攻击检测器识别的信息,对基本容错方案进行组合,通过基于云的医疗信息存储系统的案例分析,说明方法的可用性和有效性。综上所述,本文对云计算系统中的数据处理框架、数据存储系统、资源服务系统和攻击容错机制等进行了较为系统地研究,结合形式语义、时间自动机和着色Petri网等多种形式化理论和工具探讨了系统语义、过程建模和性质验证方法。本文工作可以为将形式化方法应用于云计算系统提供一定的参考,促进利用形式化手段增强复杂系统的可信性、可靠性和安全性的相关研究。
王琛[2]（2021）在《基于区块链的软件定义网络安全机制研究》文中研究说明软件定义网络是由斯坦福大学课题研究组提出的一种新型网络创新架构,通过使用软件编程的方式进行管控和定义网络,其控制平面和数据平面分离、接口可编程等特点,为目前互联网体系结构研究提供了新的研究途径,极大地推动了下一代互联网的发展。但是,SDN集中式管控架构也会引入一些严重的安全问题,如单点故障、多控制器环境中的网络视图一致性问题以及恶意交换机发起的欺骗攻击等。区块链是分布式数据存储、点对点传输、共识机制、加密机制等计算机技术集合的新型应用模式,具有去中心化、不可篡改、全程留痕、可以追溯、共同维护、公开透明等特点,这些特点保证了区块链的“绝对诚实”与“完全透明”,能够解决信息不对称问题,实现多个主体之间的协作信任与一致行动。因此,将区块链应用于SDN中成为解决其安全问题的研究热点。针对上述提及的安全问题,基于区块链思想和无密钥签名机制,本论文提出了一种适用于SDN的安全方案BCSDN（Block Chain-based Software Defined Network security mechanism）,主要研究工作如下:针对SDN中存在的单点故障问题,采用逻辑集中、物理分布的多控制器架构。在该控制平面中,使用增加控制器的数目对单一结构、集中控制的控制平面进行分布式扩展,由多个控制器对网络进行控制管理,避免整个网络可能发生的瘫痪。针对多控制器网络中的视图一致性问题,提出了基于区块链的共识方案。方案中控制器首先将收集到的链路信息进行Merkle树存储形成根哈希,然后,结合其它字段构建成区块,最后,节点间通过共识算法选举出主控制器,主控制器将区块连接到区块链上,所有链路状态记录在区块链上,保证了全局网络数据的一致。针对控制器-交换机安全通道中可能存在恶意交换机发起的欺骗攻击问题,在区块链的基础上,提出了基于无密钥签名的安全机制。首先,交换机在申请流表时,控制器会对交换机进行签名验证,然后,只有验证通过的交换机才会收到控制器下发的流表,完成数据转发,以保护控制器和交换机之间的通信通道免受恶意攻击。本方案结合Floodlight控制器提供的模块和Mininet下创建自定义网络拓扑,仿真模拟基于区块链的软件定义网络安全机制并分析其可行性和性能。实验表明BCSDN能够解决单点故障问题并维持网络视图一致性,以及形成安全的控制器-交换机交互通道,完成数据的安全转发。
杜爽[3]（2021）在《多路实时监控视频数据处理与分析系统的设计与实现》文中研究说明如今监控设备在智能安防、平安城市、刑事侦查领域得到广泛应用,数量众多的监控点位不断地工作,监控视频的质量也在不断地提升,随之带来监控视频数据呈现出指数倍增长趋势,并且具有非结构化、无边界性、时空连续性等特点。传统的视频监控系统在视频流传输、图像处理和离线处理等方面有着大量的研究,但在分布式处理与实时性分析方面的研究较少,设计并实现一个多路实时监控视频数据处理与分析系统的技术难题亟待解决。本文基于传统的监控视频数据处理与分析技术和主流的流计算框架,设计并实现了一个高性能、低延迟、高扩展性的视频数据处理与分析系统,主要创新和工作如下:1)本文设计并实现了一个多路实时监控视频数据处理与分析系统,采用自主设计的轻量级流计算架构弥补了目前主流的流计算框架结构臃肿,处理非结构化的视频数据效率低下,调度算法未考虑到集群资源的变化等不足。主节点负责视频处理任务调度和系统资源管理,从节点负责执行具体的视频处理与分析任务。采用主从复制策略和心跳机制保证了容错性;采用自主设计的DRSA调度算法保证了系统资源利用率;采用了基于预测编码图像帧间隔的视频选帧策略选取关键帧。2)在视频数据处理方面,采用基于CPU软解码技术和基于GPU硬解码技术结合的异构协同工作机制处理海量的实时监控视频数据,充分利用CPU和GPU的计算资源并行处理实时数据,提高了系统吞吐率。3)在视频数据分析方面,基于监控视频数据的时空连续性,设计人脸跟踪去重算法减少了大量冗余重复的人脸信息,节约了计算资源,并且保证了复杂条件下非合作目标人员统计的真实有效性。4)本文对系统进行了详细的功能测试和性能测试,并结合应用场景对测试结果进行了详细分析。测试结果显示在多路实时监控视频数据场景下,本系统能够满足流式数据实时地处理与分析的需求。
曹晓裴[4]（2020）在《面向分布式存储系统Ceph的遥感影像瓦片存储及其关键技术》文中认为近年来,随着遥感技术以及信息技术的快速发展,遥感影像已经成为科学研究、行业应用以及互联网企业最重要的地理数据之一。此外,为了有效提高遥感影像数据的快速共享、处理、分析与显示效率,影像切片技术逐渐成为影像对外提供服务的重要方式之一,因此,遥感影像瓦片也成为各行业部门对外提供服务的基础数据,如何对海量遥感影像瓦片进行高效组织、存储和管理是遥感影像对外提供高性能服务的关键所在。传统的基于数据库和文件系统的遥感影像瓦片存储系统,不仅在存储性能方面表现较差,同时也难以扩展和维护,已经无法满足海量遥感影像瓦片的存储。而新一代的基于主从架构的No SQL数据库以及HDFS分布式文件系统,由于存在主节点单点故障问题,其主节点往往容易成为整个存储系统的性能瓶颈。此时,基于无中心化架构思想的分布式存储系统Ceph由于其被设计成一款没有单点故障,具有高性能、高可靠性以及高扩展性的系统,已经成为海量遥感影像瓦片存储的最佳选择。但其在存储海量遥感影像瓦片这样的小文件时具有明显的性能缺陷。针对上述问题,本文在前人的小文件合并方案的基础上,充分考虑了遥感影像瓦片的时空特性,设计并实现了海量遥感影像瓦片多级优化存储方法TMOSM。本文主要的研究内容如下:（1）设计了海量遥感影像瓦片多级优化存储方法TMOSM。针对Ceph在存储海量遥感影像瓦片等小文件时性能表现不佳的问题,本文基于遥感影像瓦片合并和预取缓存策略设计了海量遥感影像瓦片多级优化存储方法TMOSM。从遥感影像瓦片合并存储策略、全局映射索引策略以及预取缓存策略等多方面对面向Ceph分布式存储系统的遥感影像瓦片存储进行了读写性能优化。（2）提出了基于扩展Z曲线和一致性哈希的遥感影像瓦片合并存储策略。为了将具有高度空间相关性的遥感影像瓦片合并在一起,同时考虑合并服务集群的伸缩性,本文通过分析已有数据划分方法的不足和缺陷,提出了基于扩展Z曲线和一致性哈希的遥感影像瓦片合并策略,该策略能够将空间上彼此邻近的瓦片合并成一个遥感影像瓦片数据集,并能够根据合并服务节点的性能分配合并数据集的数目,同时考虑到合并服务集群的扩展性和所产生的数据迁移问题。（3）设计了顾及瓦片时空特性的瓦片预取技术和缓存置换策略。为了充分发挥缓存服务器的存储性能,提高遥感影像瓦片的读取性能和访问效率,本文制定了基于深度优先策略和广度优先策略的预取策略,充分利用用户执行地图操作时的停顿时间,根据用户的访问特性将下一步可能访问的瓦片数据预取到服务器本地缓存,提高用户的响应速度和访问瓦片的效率。此外,设计了基于瓦片时空特征价值的瓦片缓存置换策略,利用遥感影像瓦片的访问特性和时空特性,提高遥感影像瓦片的读取性能。
袁迎迎[5]（2020）在《物联网平台分布式数据融合管理的研究与实现》文中提出随着物联网的发展,感知设备在数据融合、信息交互、数据共享等技术的支撑下,创新出了多样的上层智能物联网应用。这些应用的底层监测终端设备来源于各行各业,产生了庞大且复杂的数据,然而因不同种类的数据监测终端所应用的信息交换标准不统一,造成了各行业数据大量堆积、难聚合,难共享,阻碍了关联各行业的智能应用的发展。如何对数据进行高效融合处理、快速查询、完成数据共享、并保证数据可靠是本文重点研究内容。本文以物联网平台多源感知数据为例,设计并实现了分布式数据融合管理系统。论文主要工作如下:1)设计了数据融合平台。平台可接入多种不同标准的监测终端,并对监测属性名依据其含义重新定义名字,进行统一格式转换、实现数据表属性与格式一致化,同时定义了严格的语法和转换规则检查机制,实现数据高效融合处理。2)设计了分布式实时库管理子系统。针对分布式物联网数据存取需要强实时性与一致性的要求,分三个层次实现:第一,对实时库数据切片完成启动、分布部署、管理以及邻居内存库数据对齐;第二,对库结构进行增删改查、实时刷新,通过组播应答方式保证强一致性,即用户任意时刻都可查到最新数据;第三,数据更新后对邻居广播,每个切片订阅相关修改并自动更新来保证弱一致性,即一段时间后邻居相关切片会逐渐达到一致状态且容忍部分数据丢失。3)设计了分布式数据融合管理架构。针对数据存储位置多样,用户读写困难的问题,设计了客户端代理与分布式集群。客户端代理将用户请求路由到分布式节点,并对上层透明。分布式集群实现读写分离、主从备份、异地灾备,减轻了单节点存储压力、实现负载均衡、保障数据可靠。针对实时数据总量庞大的问题,设计了数据采样,利用内存快照方式存储历史数据到持久化库,压缩数据总量。最后为管理人员提供了一种中心管理架构,负责统筹管理整个系统,提供所需配置下载、更新并监测各个模块的正常运行。最后,本系统在集群环境中实现了分布式数据融合管理系统的所有功能。并对系统各个模块的功能与性能进行了测试,测试结果验证了系统的可用性、可靠性和稳定性。
王帅[6]（2020）在《一种高吞吐分布式消息中间件的设计与实现》文中指出互联网应用的不断发展和完善正在推动企业项目从传统的单体架构向微服务架构转型,将集中式的系统按照业务特点垂直拆分成多个规模相对较小的独立服务,可有效降低系统的运维成本,提高版本迭代的开发效率,每个服务单独部署的方式也带来了灵活的集群规模调整方式,使得系统弹性扩容变的更加轻量级。伴随系统垂直拆分而来的还有各服务之间的网络通信需求,消息中间件就是一种为不同系统或同一系统内不同模块提供可靠的异步网络通信的分布式框架,接收来自上游服务的消息,存储后转发给下游服务,在系统架构中起着承上启下的作用。然而在企业实际生产使用中的主流消息中间件产品还存在着抗消息堆积能力差,负载能力弱以及弹性扩容能力差等问题。针对以上问题和企业在生产应用中的实际需求,本文设计并实现了一款高吞吐消息中间件Whale MQ,能够在正确实现消息传递的基础上允许海量消息的存储和堆积,提供高效稳定的性能表现,本文的主要研究内容和成果如下:（1）针对Kafka在架构设计上的问题和缺陷,本文提出如下优化方案:基于关系型数据库设计并实现中间件的路由中心（Meta Server）,提供服务注册,集群健康状态监控和路由动态发现等服务;设计基于队列文件的消息持久化模型以平衡Kakfa高性能与稳定性的关系,并引入二级缓存结构来实现消息的批量存储,减少中间件与磁盘之间的IO次数;设计灵活的消息消费模型和队列动态映射机制,提高中间件的弹性扩容能力;（2）基于本中间件中各模块通信需求定制轻量级的网络通信协议,遵循约定大于配置的原则,在尽量压缩协议信息在数据包占比的同时兼顾协议的可扩展性,允许业务方灵活扩展,实现通信的定制化,最后引入Netty框架实现高效的网络通信模块;（3）对本中间件进行功能,性能和可靠性三方面的测试和分析。功能测试主要用于验证本中间件的基本功能是否正确可用;性能测试用于测试本中间件在异步落盘异步复制等八种实验场景下的负载能力和吞吐量,并与高吞吐消息中间件Kafka进行对比,实验证明本中间件在两主两从标准部署架构下单主题（Topic）发送TPS（Transactions Per Second）可达到46K,能够满足绝大多数应用场景的需要,且性能随Topic数量提升变化不大,表现稳定;可靠性测试对比了本中间件在多机房部署方式下的容灾能力,实验效果符合预期。
陈振华[7]（2020）在《电商交易数据实时计算平台设计与实现》文中研究表明实时计算又称流处理,是一个从数据产生,就即时采集计算的过程,能够满足更快运算和分析的需求。大数据技术的出现和发展,为海量数据的处理提供新的解决方案。最初基于Hadoop构建的离线批处理系统,通过HDFS存储,Map Reduce、Hive计算的模式来实现。目前,这套模式通常用来构建大型数据仓库。传统的基于数据仓库的查询统计,首先通过ETL技术将各个业务系统的数据同步到数据仓库,形成ods层数据集,在此基础上进行数据开发。数据仓库存储的往往是T-1的数据,无法满足对数据实时处理的需求。虽然可以将数据的调度时间调整到30分钟到数小时不等,这种方式具有高吞吐量、耗时长的特点,可以满足对时效性要求不高的离线分析报表的需求。但是,越来越多的应用场景通过离线批处理的方式已经满足不了需求,企业希望能够对流数据进行在线实时处理和即时响应,因为这些数据的价值是有时效性的。而实时计算技术的出现和发展,加快了数据的处理过程,让数据产生更大的价值。本文基于蓝月亮对实时处理电商交易数据、埋点数据、生产制造数据等的需求,探讨了构建统一的大数据实时计算平台的设计和实现过程。实时计算平台处理数据的流程如下:首先通过canal解析My SQL binlog日志写到本地文件,接着Flume进行采集写入分布式消息队列Kafka,最后由分布式实时计算框架Storm拉取Kafka上的数据进行计算处理,计算结果写入到高速缓存组件Redis中。同时,平台还构建了分布式索引服务elasticsearch,来满足实时索引的需求,以及对实时计算过程中遇到的脏数据进行存储和后续分析。
李江川[8]（2020）在《基于RDMA的分布式内存文件系统的设计与实现》文中提出伴随着互联网时代的到来,各种社会活动产生大量数据。因此,数据的存储和同时高效的从中检索读取出所需要的数据便成为一个函需解决的问题。分布式文件系统是一种有效的解决方式。非易失性内存（Non-Volatile Memory,简称NVM）的出现提供了新的选择。NVM是一种高性能的存储设备;具有的最大特点是掉电不丢失数据,性能近似内存;具有可字节寻址、读写延迟在纳秒级别的优势。研究人员针对NVM做了许多尝试;基本都是在单机节点上完成,然而单节点文件系统难以扩展存储容量,存储容量十分有限,不能满足社会的需求。针对NVM,如何充分利用其高性能,又能应用于分布式文件系统中,是一个值得研究的课题。随着CPU和I/O系统的性能不断提升,以太网的传输性能已经不能满足需求。传统的TCP/IP网路协议栈十分复杂,使得网络传输速度和内存的存取速度有较大的差异,从而导致依赖于以太网进行数据传输的分布式文件系统整体性能的下降。RDMA（Remote Direct Memory Access）技术全称远程直接内存访问,就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。因此,将NVN和RDMA结合起来,以提高分布式文件系统的性能是一个重要的工作。本文将介绍一种基于RDMA的非易失性内存存储文件系统（RDMA NVM File System,简称RNFS）,RNFS具有快速扩展NVM存储容量,并通过RDMA技术充分利用NVM的高性能,实现快速文件数据的读写。本文主要进行了以下研究:1)支持节点扩展的架构设计。RNFS文件系统采用主从结构,Master节点负责元数据以及对Slave节点的管理,而Slave节点则负责提供文件数据存储空间。2)基于RDMA的文件数据读写流程。利用RoCE协议实现高效的RDMA文件数据读写操作。还讨论了数据一致性机制。保证数据在读写过程中的正确性。3)基于位图链表的存储空间分配机制。RNFS中借鉴了重庆大学刘志祥通过位图链表来管理NVM的分配使用方法,综合了位图节省空间和链表的快速分配的优点。为了保证实现文件大数据块的读写性能,通过预分配连续物理空间的机制来加速分配过程和通过多线程后台回收来加快数据块释放过程。4)数据备份功能。对于一个复杂的分布式文件系统,节点失效是十分常见的问题,RNFS实现了数据备份功能来提高系统的稳定性。最后,对RNFS文件系统进行了测试实验。
夏宇杰[9]（2021）在《基于分布式技术的IC制造数据存储处理系统的设计与实现》文中认为随着集成电路产业的飞速发展,集成电路设备种类在增加,设备精密性程度也在不断提升。为了把控更加精密的制造环节与保证生产的稳定性和芯片的良率,集成电路流水线上每个环节都需要进行大量的数据采集。上述这些现象导致在集成电路生产过程中所需收集的数据量已经超过了传统生产系统数据库所承受的极限,使数据库的读写效率得不到保障,数据的可靠性下降。本文设计了基于分布式技术的数据传输与处理系统,以解决传统集成电路数据库统筹收集数据困难,传统处理方式处理数据不易的难题。本文的主要工作如下:（1）分析了集成电路生产流水线上设备的数据收集方式,设计了基于Kafka分布式消息队列的数据收集与传输模块。针对系统的吞吐量、延迟性能以及可靠性的要求,对Kafka消息队列进行调优。（2）设计了Cassandra分布式数据库的具体表结构,并提出了一种基于Cassandra的可调节权重的有序分区器。该分区器按照集成电路制造数据的类型对节点进行划分。同时针对不同数据类型的节点,对Cassandra集群进行优化,提高了Cassandra数据库的读写性能。（3）提出了基于Kafka Stream的集成电路流式处理框架。以Inline数据为例,实现了流式数据处理框架的具体应用。同时,提出了一种基于Kafka Stream的批式处理框架,一方面减少了整个大数据集群的复杂程度,一方面可以将Kafka集群的性能充分发挥出来,并以WAT数据为例,实现了批式数据处理框架的具体应用。（4）规划了整体系统的部署方案,并将系统部署于实际的生产环境。设计了系统的测试方案,并针对不同模块对整个系统进行性能上的测试。测试证明了系统整体的性能达到了设计要求。
李琳[10]（2019）在《备份系统数据高并发处理与系统高可用性的研究与实现》文中提出随着我国北斗卫星建设事业的发展,国家组织相关部门研制了北斗地基增强系统,并在全国各地陆续建设国家框架网基准站与卫星直接通信,接收原始数据。作为北斗地基增强系统的分系统某数据管理系统的增强备份中心,备份系统与数据管理系统保持同步,均会接收基准站的原始数据,然后进行标准化处理。随着基准站数量不断增多,实时流数据规模也越来越大,原有的单机多线程的处理方案无法满足对原始流数据的实时处理需求,因此需要在备份系统中研究实现对基准站实时流数据的高并发处理方案。另外,当数据管理系统不可用时,在对用户透明的情况下,备份系统需要替代数据管理系统对外提供服务,最大限度地减轻数据管理系统单点故障带来的影响,因此需要从对外提供服务的角度,研究实现整体系统的高可用方案。本文借助基于分布式的流数据处理、计算框架来实现数据高并发处理方案,通过使用Flume框架接收来自框架网基准站的原始数据,对原始数据进行数据包解析、时间转换等预处理。然后通过基于ZooKeeper协调的分布式消息系统Kafka对Flume接收到的数据进行缓冲来保证整个数据传输与处理过程平稳衔接。使用Flink流处理计算框架消费来自Kafka的数据,根据给定的数据格式转换算法将原始数据由二进制格式转换为RTCM3.2标准格式的数据,完成对框架网基准站原始数据的标准化处理。本文采用基于远程文件同步算法Rsync算法和文件系统监控机制inotify的远程数据同步方案,来实现备份系统与数据管理系统的业务数据以及设备状态信息一致性,在此基础之上,当监控到数据管理系统不可用时,通过对用户透明的服务系统切换,由备份系统替代数据管理系统对外提供不中断或暂短中断的服务。最后对数据高并发方案以及系统高可用方案进行测试验证,实验结果验证了本文研究工作方案的有效性和合理性。数据高并发处理方案能够实现低时延地接收、高并发地处理基准站原始数据,且随着基准站原始数据量的增加,通过分布式并行计算实现的低时延的优势更加明显;系统可用性方案也可以实现在数据管理系统不可用时,通过备份系统接管服务,从对外提供服务的角度,实现整体系统的高可用。
二、基于消息的主从式数据一致性更新策略（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、基于消息的主从式数据一致性更新策略（论文提纲范文）
（1）云计算系统的形式化建模与验证方法研究（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 研究现状及相关工作 |
| 1.3 研究内容 |
| 1.4 论文组织结构 |
| 第2章 形式化方法的基本理论与相关工具 |
| 2.1 基本理论 |
| 2.1.1 形式语义 |
| 2.1.2 时间自动机 |
| 2.1.3 着色Petri网 |
| 2.2 相关工具 |
| 2.2.1 UPPAAL工具 |
| 2.2.2 CPN Tools工具 |
| 2.3 形式化方法与本文工作的关联 |
| 第3章 云计算系统中数据处理框架的执行语义模型 |
| 3.1 引言 |
| 3.2 分布式抽象格局 |
| 3.3 执行语义 |
| 3.3.1 事件转换步 |
| 3.3.2 SDAC模型 |
| 3.4 SDAC模型与Aeolus模型的对比分析 |
| 3.5 SDAC模型评估 |
| 3.5.1 Map Reduce实例研究 |
| 3.5.2 SDAC模型的扩展应用 |
| 3.6 本章小结 |
| 第4章 云计算系统中主从式数据存储系统建模与验证 |
| 4.1 引言 |
| 4.2 具有备份流水线的主从式云数据存储系统框架MSCDSS-RP |
| 4.3 MSCDSS-RP的 CPN建模 |
| 4.3.1 客户端模型 |
| 4.3.2 元服务器模型 |
| 4.3.3 集群模型 |
| 4.4 MSCDSS-RP的形式化评估 |
| 4.4.1 状态空间分析 |
| 4.4.2 性质验证 |
| 4.5 本章小结 |
| 第5章 云计算系统中资源供给服务的建模与验证 |
| 5.1 引言 |
| 5.2 资源供给服务框架RPaaS |
| 5.3 RPAAS的 UPPAAL建模 |
| 5.3.1 RPaaS的相关定义 |
| 5.3.2 客户端模型 |
| 5.3.3 服务管理中心模型 |
| 5.3.4 资源服务模型 |
| 5.4 RPaaS的一致性验证 |
| 5.4.1 形式规约说明 |
| 5.4.2 形式化验证 |
| 5.5 本章小结 |
| 第6章 云计算系统下基于着色PETRI网的攻击容错框架 |
| 6.1 引言 |
| 6.2 攻击容错框架 |
| 6.2.1 基本攻击-网络交互模式 |
| 6.2.2 攻击检测器 |
| 6.2.3 基本容错方案 |
| 6.3 案例分析:基于云的医疗信息存储系统 |
| 6.4 阻塞模式及自动化容错的进一步讨论 |
| 6.5 本章小结 |
| 第7章 总结与展望 |
| 7.1 总结 |
| 7.2 展望 |
| 参考文献 |
| 作者简介及在学期间科研成果 |
| 致谢 |
（2）基于区块链的软件定义网络安全机制研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 研究现状概述 |
| 1.3 本论文主要研究内容 |
| 1.4 本论文组织结构与安排 |
| 第2章 SDN安全问题研究 |
| 2.1 SDN安全问题 |
| 2.2 国内外SDN安全问题研究现状 |
| 2.2.1 控制平面安全方案研究现状 |
| 2.2.2 控制器-交换机安全通道方案研究现状 |
| 2.3 本章小结 |
| 第3章 相关理论与概念 |
| 3.1 SDN架构概述 |
| 3.1.1 Open Flow技术 |
| 3.1.1.1 Open Flow架构 |
| 3.1.1.2 信道建立过程解析 |
| 3.1.1.3 Open Flow流表 |
| 3.1.1.4 流表处理流程 |
| 3.1.2 SDN拓扑发现 |
| 3.1.3 SDN转发机制 |
| 3.2 区块链概述 |
| 3.2.1 Merkle树 |
| 3.2.2 构建区块 |
| 3.2.3 工作量证明 |
| 3.3 无密钥签名介绍 |
| 3.3.1 无密钥基础设施概况 |
| 3.3.2 哈希树和哈希日历 |
| 3.4 本章小结 |
| 第4章 基于区块链的软件定义网络安全机制 |
| 4.1 全局链路信息发现 |
| 4.2 构建区块 |
| 4.3 选举主控制器 |
| 4.4 生成签名 |
| 4.5 验证签名 |
| 4.6 本章小结 |
| 第5章 BCSDN安全机制实现与仿真分析 |
| 5.1 BCSDN安全机制实现 |
| 5.1.1 BCSDN运行机制 |
| 5.1.2 BCSDN仿真实现 |
| 5.2 方案分析 |
| 5.2.1 安全分析 |
| 5.2.2 仿真分析 |
| 5.3 本章小结 |
| 总结与展望 |
| 参考文献 |
| 致谢 |
| 附录A 攻读学位期间所发表的学术论文 |
| 附录B 攻读学位期间所发参与的项目 |
（3）多路实时监控视频数据处理与分析系统的设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究工作的背景与意义 |
| 1.2 国内外研究历史与现状 |
| 1.2.1 监控视频数据处理与分析现状 |
| 1.2.2 流式计算研究现状 |
| 1.3 本文的主要贡献与创新 |
| 1.4 本论文的结构安排 |
| 第二章 理论基础及相关技术 |
| 2.1 流计算开源框架 |
| 2.1.1 Apache Storm |
| 2.1.2 Apache Spark |
| 2.1.3 Apache Flink |
| 2.2 视频数据处理相关技术 |
| 2.2.1 H264 视频压缩算法 |
| 2.2.2 视频软解码技术 |
| 2.2.3 视频硬解码技术 |
| 2.3 本章小结 |
| 第三章 实时监控视频数据处理与分析关键技术及算法 |
| 3.1 轻量级流计算架构 |
| 3.1.1 架构设计 |
| 3.1.2 设计特点 |
| 3.2 基于资源感知的调度算法 |
| 3.2.1 调度算法问题分析 |
| 3.2.2 调度算法的相关参数分析 |
| 3.2.2.1 任务参数分析 |
| 3.2.2.2 资源参数分析 |
| 3.2.3 调度算法模型 |
| 3.3 异构协同工作机制 |
| 3.3.1 视频处理问题分析 |
| 3.3.2 异构协同工作机制方案设计 |
| 3.4 人脸跟踪去重算法 |
| 3.5 本章小结 |
| 第四章 多路实时监控视频数据处理与分析系统的设计与实现 |
| 4.1 系统架构设计 |
| 4.1.1 控制节点 |
| 4.1.2 工作节点 |
| 4.2 控制节点关键模块的设计与实现 |
| 4.2.1 资源管理模块 |
| 4.2.2 任务调度模块 |
| 4.2.3 主从复制模块 |
| 4.2.4 视觉目标统计模块 |
| 4.2.5 元数据管理模块 |
| 4.3 工作节点关键模块的设计与实现 |
| 4.3.1 资源监测模块 |
| 4.3.2 视频流数据处理模块 |
| 4.3.3 视频流数据分析模块 |
| 4.3.4 人脸跟踪去重模块的设计 |
| 4.4 系统主要流程设计 |
| 4.4.1 系统启动 |
| 4.4.2 任务的启动 |
| 4.5 本章小结 |
| 第五章 系统测试与结果分析 |
| 5.1 测试环境 |
| 5.2 功能测试 |
| 5.2.1 .工作节点管理的测试 |
| 5.2.2 任务调度的测试 |
| 5.2.3 视频数据处理与分析的测试 |
| 5.2.4 主从协调的测试 |
| 5.2.5 跟踪去重的测试 |
| 5.2.6 视觉目标统计的测试 |
| 5.3 性能测试 |
| 5.3.1 DRSA任务调度算法性能的测试 |
| 5.3.2 流计算框架性能的测试 |
| 5.3.3 系统延时性能的测试 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士期间取得的成果 |
（4）面向分布式存储系统Ceph的遥感影像瓦片存储及其关键技术（论文提纲范文）
| 致谢 |
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 分布式文件系统研究现状 |
| 1.2.2 海量遥感影像瓦片存储方法研究现状 |
| 1.2.3 海量小文件存储研究现状 |
| 1.2.4 遥感影像瓦片缓存技术研究现状 |
| 1.3 研究内容 |
| 1.4 论文组织结构 |
| 2 Ceph分布式存储关键技术分析 |
| 2.1 Ceph简介 |
| 2.2 Ceph系统架构 |
| 2.2.1 Ceph存储系统核心RADOS |
| 2.2.2 Ceph寻址过程 |
| 2.2.3 CRUSH算法 |
| 2.3 Ceph文件系统的主要组件 |
| 2.3.1 监视器 |
| 2.3.2 对象存储设备 |
| 2.3.3 元数据服务器 |
| 2.3.4 Ceph客户端 |
| 2.4 Ceph读写流程 |
| 2.4.1 Ceph读文件流程 |
| 2.4.2 Ceph写文件流程 |
| 2.5 Ceph存储小文件问题 |
| 2.6 本章小结 |
| 3 海量遥感影像瓦片多级优化存储方法 |
| 3.1 遥感影像瓦片多级优化存储方法TMOSM设计 |
| 3.2 基于扩展Z曲线和一致性哈希的遥感影像瓦片合并存储策略 |
| 3.2.1 遥感影像瓦片数据划分原则 |
| 3.2.2 遥感影像瓦片数据划分方法 |
| 3.2.3 基于扩展Z曲线和一致性哈希的遥感影像瓦片数据合并策略 |
| 3.2.4 基于扩展Z曲线的遥感影像瓦片数据集的构建过程 |
| 3.2.5 基于一致性哈希算法的遥感影像瓦片数据集分发过程 |
| 3.3 基于Avro的遥感影像瓦片合并文件存储结构 |
| 3.4 基于布隆过滤器和FNI-Tree的遥感影像瓦片数据映射索引策略 |
| 3.5 本章小结 |
| 4 顾及瓦片时空特性的预取技术与缓存置换策略 |
| 4.1 基于遥感影像瓦片空间特性的预取策略 |
| 4.1.1 遥感影像瓦片加载服务原理 |
| 4.1.2 遥感影像瓦片预取策略的制定 |
| 4.2 遥感影像瓦片缓存置换策略的评价指标 |
| 4.2.1 遥感影像瓦片数据访问特性 |
| 4.2.2 遥感影像瓦片时空特征价值评价指标 |
| 4.3 基于遥感影像瓦片时空特征价值的缓存置换策略 |
| 4.3.1 遥感影像瓦片时空特征价值表达 |
| 4.3.2 基于R树的遥感影像瓦片缓存索引 |
| 4.3.3 基于瓦片时空特征价值的缓存置换流程 |
| 4.4 本章小结 |
| 5 原型系统实现与性能测试 |
| 5.1 原型系统实现及部署 |
| 5.2 Ceph存储集群网络配置 |
| 5.3 系统实验验证 |
| 5.3.1 实验数据与内容 |
| 5.3.2 遥感影像瓦片合并存储策略实验验证 |
| 5.3.3 基于时空特征价值的瓦片缓存置换策略的实验验证 |
| 5.3.4 基于瓦片预取技术的瓦片数据读取性能测试实验 |
| 5.4 本章小结 |
| 6 总结与展望 |
| 6.1 论文工作总结 |
| 6.2 研究特色 |
| 6.3 不足与展望 |
| 参考文献 |
| 作者简介 |
（5）物联网平台分布式数据融合管理的研究与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 研究内容 |
| 1.3 论文结构 |
| 第二章 相关技术介绍 |
| 2.1 物联网平台 |
| 2.2 数据融合 |
| 2.2.1 概念及其发展 |
| 2.2.3 ETL技术与工具 |
| 2.3 分布式架构 |
| 2.3.1 分布式集群 |
| 2.3.2 数据库 |
| 2.4 本章小结 |
| 第三章 系统需求分析 |
| 3.1 功能需求 |
| 3.2 其他需求 |
| 3.3 本章小结 |
| 第四章 系统概要设计 |
| 4.1 系统总体设计 |
| 4.1.1 系统分析 |
| 4.1.2 系统模块设计 |
| 4.1.3 系统架构设计 |
| 4.2 系统功能架构及技术架构设计 |
| 4.2.1 数据融合平台子系统 |
| 4.2.2 分布式实时库管理子系统 |
| 4.2.3 客户端代理 |
| 4.2.4 持久化存储子系统 |
| 4.2.5 元数据服务器子系统 |
| 4.3 本章小结 |
| 第五章 系统详细设计与实现 |
| 5.1 数据融合平台 |
| 5.1.1 数据采集 |
| 5.1.2 数据格式转换 |
| 5.2 分布式实时库管理子系统 |
| 5.2.1 分布式数据库界面 |
| 5.2.2 内存库分片管理 |
| 5.2.3 邻居内存库数据对齐 |
| 5.2.4 数据采样 |
| 5.3 客户端代理 |
| 5.4 持久化存储子系统 |
| 5.4.1 响应速度机制 |
| 5.4.2 可靠机制 |
| 5.5 元数据服务器 |
| 5.5.1 系统基本配置 |
| 5.5.2 Mycat运行列表 |
| 5.5.3 集群磁盘使用情况 |
| 5.6 本章小结 |
| 第六章 系统测试和验证 |
| 6.1 测试环境搭建 |
| 6.2 功能测试 |
| 6.2.1 分布式数据库界面测试 |
| 6.2.2 分布式实时库管理测试 |
| 6.2.3 数据融合平台测试 |
| 6.2.4 元数据服务器测试 |
| 6.2.5 客户端代理测试 |
| 6.2.6 分布式持久化存储测试 |
| 6.3 性能测试 |
| 6.3.1 单节点性能测试 |
| 6.3.2 集群性能测试 |
| 6.4 系统可靠性测试 |
| 6.5 本章小结 |
| 第七章 总结与展望 |
| 7.1 论文工作总结 |
| 7.2 未来工作展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表的学术论文 |
（6）一种高吞吐分布式消息中间件的设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.3 研究目标与内容 |
| 1.4 论文章节安排 |
| 1.5 本章小结 |
| 第二章 相关理论及技术研究 |
| 2.1 消息队列协议简介 |
| 2.1.1 高级消息队列协议 |
| 2.1.2 Java消息服务 |
| 2.2 负载均衡算法 |
| 2.3 Netty框架简介 |
| 2.3.1 Reactor模型 |
| 2.3.2 Netty框架简介 |
| 2.4 Kafka介绍 |
| 2.4.1 Kafka架构介绍 |
| 2.4.2 注册中心 |
| 2.4.3 存储模型设计 |
| 2.4.4 消费模型设计 |
| 2.5 本章小结 |
| 第三章 中间件需求分析与概要设计 |
| 3.1 功能需求分析 |
| 3.1.1 路由管理机制 |
| 3.1.2 消息发布机制 |
| 3.1.3 消息持久化机制 |
| 3.1.4 消息消费机制 |
| 3.2 非功能需求分析 |
| 3.2.1 性能需求分析 |
| 3.2.2 可靠性需求分析 |
| 3.2.3 可扩展性需求分析 |
| 3.3 中间件总体设计 |
| 3.4 消息服务端优化设计 |
| 3.4.1 路由中心设计 |
| 3.4.2 消息存储模型设计 |
| 3.4.3 消费模型设计 |
| 3.5 通信协议设计 |
| 3.6 本章小结 |
| 第四章 中间件详细设计与实现 |
| 4.1 路由管理机制设计与实现 |
| 4.1.1 服务注册与路由分配 |
| 4.1.2 集群健康状态感知机制 |
| 4.1.3 Topic路由动态发现机制 |
| 4.1.4 路由管理机制实现 |
| 4.2 消息发布机制设计与实现 |
| 4.2.1 消息结构设计 |
| 4.2.2 消息发布流程 |
| 4.2.3 消息顺序发布与批量发送 |
| 4.2.4 消息发布机制实现 |
| 4.3 消息持久化机制设计与实现 |
| 4.3.1 目录组织结构设计 |
| 4.3.2 消息持久化机制与消息落盘策略 |
| 4.3.3 历史消息清除机制 |
| 4.3.4 消息持久化机制实现 |
| 4.4 消息消费机制设计与实现 |
| 4.4.1 消息拉取与长轮询机制 |
| 4.4.2 队列动态映射机制 |
| 4.4.3 消息消费与本地消费进度反馈 |
| 4.4.4 消息消费机制实现 |
| 4.5 网络通信模块实现 |
| 4.5.1 核心实现类 |
| 4.5.2 Netty客户端实现 |
| 4.5.3 Netty服务端实现 |
| 4.6 本章小结 |
| 第五章 中间件测试 |
| 5.1 测试环境介绍 |
| 5.1.1 硬件环境 |
| 5.1.2 软件环境 |
| 5.2 功能测试 |
| 5.2.1 集群搭建 |
| 5.2.2 客户端交互 |
| 5.2.3 消息持久化 |
| 5.3 性能测试 |
| 5.3.1 测试指标 |
| 5.3.2 测试场景介绍 |
| 5.3.3 性能测试结果及分析 |
| 5.3.4 与Kafka对比测试 |
| 5.4 可靠性测试 |
| 5.5 本章小结 |
| 第六章 工作总结与展望 |
| 6.1 工作总结 |
| 6.2 展望 |
| 致谢 |
| 参考文献 |
| 作者简介 |
（7）电商交易数据实时计算平台设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 课题背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 研究方案及工作基础 |
| 1.4 本章小结 |
| 第二章 相关技术综述 |
| 2.1 My SQL日志解析框架canal |
| 2.2 分布式消息队列Apache Kafka |
| 2.3 实时计算框架Aapche Storm |
| 2.4 分布式应用程序协调服务Aapche Zoo Keeper |
| 2.5 分布式全文检索技术elasticsearch |
| 2.6 本章小结 |
| 第三章 需求分析和总体设计 |
| 3.1 功能性需求 |
| 3.2 非功能性需求 |
| 3.3 平台整体架构设计 |
| 3.4 本章小结 |
| 第四章 平台核心模块设计与实现 |
| 4.1 平台运行环境 |
| 4.2 MySQL实时数据采集 |
| 4.3 Apache Storm集群部署 |
| 4.4 订单实时计算核心代码实现 |
| 4.5 Elasticsearch写入性能优化 |
| 4.6 Elasticsearch异常数据存储索引设计 |
| 4.7 Zoo Keeper优化 |
| 4.8 本章小结 |
| 第五章 测试和结果展示 |
| 5.1 高可用测试 |
| 5.2 性能测试 |
| 5.3 Kafka管理平台展示 |
| 5.4 Storm ui界面展示 |
| 5.5 实时计算结果展示 |
| 5.6 本章小结 |
| 第六章 总结和展望 |
| 6.1 论文工作总结 |
| 6.2 不足与展望 |
| 参考文献 |
| 致谢 |
| 附件 |
（8）基于RDMA的分布式内存文件系统的设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 RDMA介绍 |
| 1.2.2 分布式内存系统 |
| 1.3 本文主要的工作 |
| 1.4 本文的组织结构 |
| 第二章 相关背景与理论基础 |
| 2.1 RDMA技术 |
| 2.1.1 RDMA技术优势 |
| 2.1.2 RDMA网络协议 |
| 2.1.3 RDMA通用性优化 |
| 2.1.4 RDMA在分布式事务中的应用 |
| 2.1.5 RDMA在 Key-Value系统中的应用 |
| 2.2 数据备份技术 |
| 2.3 虚拟地址空间与页表技术 |
| 2.4 本章小结 |
| 第三章 基于RDMA的分布式内存系统整体设计 |
| 3.1 应用场景与需求分析 |
| 3.2 系统整体结构设计 |
| 3.2.1 设计原则 |
| 3.2.2 系统整体架构 |
| 3.3 MASTER节点架构设计 |
| 3.4 SLAVE节点架构设计 |
| 3.5 网络服务架构实现 |
| 3.5.1 基于RDMA的高性能网络库 |
| 3.5.1.1 基本网络传输方式 |
| 3.5.1.2 基于RDMA的低延迟传输方式 |
| 3.5.1.3 基于RDMA的高吞吐数据发送方式 |
| 3.5.2 网络连接服务 |
| 3.5.3 心跳报文与监控服务 |
| 3.5.4 注册管理服务 |
| 3.6 系统主要工作流程 |
| 3.6.1 开机自检和初始化 |
| 3.6.2 读写任务流程 |
| 3.6.2.1 写任务流程 |
| 3.6.2.2 读任务流程 |
| 3.7 数据一致性保证 |
| 3.7.1 租约机制 |
| 3.7.2 读异常处理和恢复 |
| 3.7.3 写异常处理和恢复 |
| 3.8 本章小结 |
| 第四章 基于RDMA的分布式内存系统的详细设计与实现 |
| 4.1 MASTER节点模块实现详细设计 |
| 4.1.1 元数据管理 |
| 4.1.1.1 超级块 |
| 4.1.1.2 文件索引页表 |
| 4.1.1.3 文件索引快速查找机制 |
| 4.1.2 NVM空间管理 |
| 4.1.2.1 Master的 NVM空间管理 |
| 4.1.2.2 Slave的 NVM空间管理 |
| 4.1.2.3 Slave节点的NVM空间分配负载均衡 |
| 4.1.2.4 Slave节点的NVM空间分配机制 |
| 4.1.2.5 Slave节点NVM空间预分配回收机制 |
| 4.1.2.6 Slave节点的NVM空间回收机制 |
| 4.1.3 文件系统管理 |
| 4.1.3.1 文件写请求索引过程 |
| 4.1.3.2 文件读请求索引过程 |
| 4.1.3.3 Slave节点不可用处理 |
| 4.1.3.4 数据备份对读写的影响 |
| 4.1.4 存储节点管理 |
| 4.2 SLAVE节点模块实现详细设计 |
| 4.2.1 配置管理模块 |
| 4.2.1.1 Master节点相关的配置信息 |
| 4.2.1.2 Slave节点配置信息 |
| 4.2.1.3 RNFS文件系统相关的配置信息 |
| 4.2.1.4 Slave配置更新管理 |
| 4.2.2 NVM管理模块 |
| 4.2.2.1 NVM存储空间隔离 |
| 4.2.2.2 物理地址DAM映射 |
| 4.2.2.3 NVM存储空间信息管理 |
| 4.2.3 状态监控模块 |
| 4.3 本章小结 |
| 第五章 系统测试与结果分析 |
| 5.1 测试环境 |
| 5.1.1 硬件配置 |
| 5.1.2 系统部署 |
| 5.2 RDMA网络库性能测试 |
| 5.3 系统性能测试 |
| 5.3.1 查询性能测试 |
| 5.3.2 读写性能测试 |
| 5.3.3 数据备份测试 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 全文总结 |
| 6.2 展望未来 |
| 致谢 |
| 参考文献 |
| 攻读硕士期间取得的研究成果 |
（9）基于分布式技术的IC制造数据存储处理系统的设计与实现（论文提纲范文）
| 致谢 |
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 课题研究背景以及意义 |
| 1.1.1 课题背景 |
| 1.1.2 研究意义 |
| 1.2 国内外研究现状以及存在的问题 |
| 1.2.1 MES数据存储系统 |
| 1.2.2 数据存储平台 |
| 1.2.3 国外研究现状 |
| 1.2.4 国内研究现状 |
| 1.3 论文研究的主要内容 |
| 1.4 论文结构 |
| 2 系统概要 |
| 2.1 系统架构 |
| 2.2 数据收集模块 |
| 2.2.1 SEMI通信标准 |
| 2.2.2 SECS/GEM协议簇 |
| 2.3 分布式消息队列 |
| 2.3.1 分布式消息队列的优势 |
| 2.3.2 Kafka消息队列 |
| 2.4 No SQL分布式数据库 |
| 2.4.1 相关理论 |
| 2.4.2 Cassandra介绍 |
| 2.4.3 Cassandra物理架构 |
| 2.4.4 Cassandra的数据模型 |
| 2.4.5 Cassandra读写过程 |
| 2.4.6 特点以及优缺点 |
| 2.5 数据计算与处理 |
| 2.5.1 流式处理框架 |
| 2.5.2 Kafka Stream |
| 2.6 小结 |
| 3 系统设计 |
| 3.1 需求分析 |
| 3.2 数据收集模块设计 |
| 3.3 Kafka消息队列的应用设计 |
| 3.3.1 Kafka消息队列在系统的总体设计 |
| 3.3.2 Kafka配置设计 |
| 3.4 Cassandra数据库的应用设计 |
| 3.4.1 数据模型的设计 |
| 3.4.2 Cassandra配置设计 |
| 3.4.3 分区器 |
| 3.5 数据处理框架的设计 |
| 3.5.1 数据处理结果模型设计 |
| 3.5.2 流式处理框架的设计 |
| 3.5.3 批式处理框架的设计 |
| 3.6 小结 |
| 4 系统开发与调优 |
| 4.1 数据收集模块开发 |
| 4.1.1 数据序列化与反序列化模块 |
| 4.1.2 生产者模块 |
| 4.1.3 不同数据类型的配置文件设计 |
| 4.2 Kafka消息队列应用的开发 |
| 4.2.1 Kafka Connect API |
| 4.2.2 Kafka Sink Connector |
| 4.2.3 Kafka Source Connector |
| 4.3 Cassandra数据库应用的开发 |
| 4.3.1 可调节分区器开发 |
| 4.4 数据处理框架的开发 |
| 4.4.1 流式处理框架的开发 |
| 4.4.2 基于Inline数据的流式处理框架实例 |
| 4.4.3 批式处理框架的开发 |
| 4.4.4 基于WAT数据的批式处理框架实例 |
| 4.5 系统调优 |
| 4.5.1 Kafka集群的可用性与集群的性能调优 |
| 4.5.2 Kafka吞吐量与数据延迟调优 |
| 4.5.3 Cassandra性能调优 |
| 4.6 小结 |
| 5 系统部署与测试 |
| 5.1 系统部署 |
| 5.1.1 Linux系统 |
| 5.1.2 模块部署 |
| 5.1.3 数据收集模块的部署 |
| 5.1.4 数据传输模块的部署 |
| 5.1.5 数据库模块的部署 |
| 5.1.6 数据监控模块的部署 |
| 5.2 Kafka消息队列传输系统测试 |
| 5.2.1 Kafka吞吐性能测试 |
| 5.2.2 Kafka集群延迟的测试 |
| 5.2.3 Kafka集群的可靠性 |
| 5.3 Cassandra数据库系统测试 |
| 5.3.1 Cassandra数据库的性能 |
| 5.3.2 Cassandra数据库的负载均衡测试 |
| 5.4 数据处理系统性能测试 |
| 5.4.1 流式处理性能测试 |
| 5.4.2 批式数据处理框架性能测试 |
| 5.5 系统应用前景 |
| 5.6 小结 |
| 6 总结与展望 |
| 6.1 总结 |
| 6.2 创新与应用点 |
| 6.3 展望 |
| 参考文献 |
| 科研成果 |
（10）备份系统数据高并发处理与系统高可用性的研究与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 缩略语对照表 |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外发展现状 |
| 1.3 论文工作内容 |
| 1.4 论文组织结构 |
| 第二章 相关技术研究 |
| 2.1 流处理计算框架Flink |
| 2.1.1 Flink架构与数据流模型 |
| 2.1.2 与流处理计算框架Spark Streaming及Sotrm的对比 |
| 2.2 分布式日志收集系统Flume |
| 2.3 分布式消息系统Kafka |
| 2.4 Rsync算法 |
| 2.5 文件系统监控机制inotify |
| 2.6 本章小结 |
| 第三章 系统需求分析 |
| 3.1 备份系统功能 |
| 3.2 备份系统数据高并发处理需求 |
| 3.3 整体系统高可用需求 |
| 3.4 本章小结 |
| 第四章 备份系统数据高并发处理方案研究与实现 |
| 4.1 备份系统数据高并发处理方案架构 |
| 4.2 备份系统数据高并发处理方案实现 |
| 4.2.1 数据收集部分 |
| 4.2.2 数据处理部分 |
| 4.3 测试与验证 |
| 4.3.1 实验环境搭建 |
| 4.3.2 实验结果分析 |
| 4.4 本章小结 |
| 第五章 整体系统高可用方案研究与实现 |
| 5.1 远程文件同步方案 |
| 5.1.1 远程文件高效同步算法的研究 |
| 5.1.2 文件系统监控机制的研究 |
| 5.1.3 远程文件双向同步方案 |
| 5.2 服务系统切换方案 |
| 5.3 测试与验证 |
| 5.3.1 远程文件同步方案 |
| 5.3.2 服务系统切换方案 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 工作总结 |
| 6.2 工作展望 |
| 参考文献 |
| 致谢 |
| 作者简介 |
四、基于消息的主从式数据一致性更新策略（论文参考文献）
- [1]云计算系统的形式化建模与验证方法研究[D]. 周文博. 吉林大学, 2021(01)
- [2]基于区块链的软件定义网络安全机制研究[D]. 王琛. 兰州理工大学, 2021(01)
- [3]多路实时监控视频数据处理与分析系统的设计与实现[D]. 杜爽. 电子科技大学, 2021(01)
- [4]面向分布式存储系统Ceph的遥感影像瓦片存储及其关键技术[D]. 曹晓裴. 浙江大学, 2020(02)
- [5]物联网平台分布式数据融合管理的研究与实现[D]. 袁迎迎. 北京邮电大学, 2020(05)
- [6]一种高吞吐分布式消息中间件的设计与实现[D]. 王帅. 东南大学, 2020(01)
- [7]电商交易数据实时计算平台设计与实现[D]. 陈振华. 华南理工大学, 2020(02)
- [8]基于RDMA的分布式内存文件系统的设计与实现[D]. 李江川. 电子科技大学, 2020(08)
- [9]基于分布式技术的IC制造数据存储处理系统的设计与实现[D]. 夏宇杰. 浙江大学, 2021(01)
- [10]备份系统数据高并发处理与系统高可用性的研究与实现[D]. 李琳. 西安电子科技大学, 2019(02)