分片
- 一种基于分片的断点续传方法的实现
，提出了一种基于分片的文件断点续传方法，对需上传的文件按照一定的规则进行分片，并结合多线程，提高上传效率，同时采用断点续传的方式，解决上传失败后要全部重新上传的问题。1 常用的文件上传方法文件上传的方式一般分为简单文件上传和文件断点续传两种[6]。简单文件上传是指用户通过客户端（如浏览器）将文件传输到服务器进行保存，在传输过程中，服务器不保存文件上传的状态，如果传输过程中出现任何问题造成文件传输中止，文件需要重新传输。文件断点续传是指在使用文件断点续传服务
电子设计工程 2023年23期2023-12-09
- 针对区块链状态分片合谋攻击的改进方案
,开发者们提出了分片[6]、DAG[7]、状态通道[8-9]、侧链[10]等多种扩容方案。对比各种扩容方案,分片是最有希望能够实现高性能而不降低去中心化程度的扩容方案。分片包括网络分片、交易分片和状态分片[11]。其中网络分片在网络层将所有节点划分到了不同的分片中[12]。交易分片将全网交易划分到不同的分片中验证和打包,全网多个分片可以同时打包和验证不同的交易,并行处理,从而提升全网的整体性能。状态分片将完整的账本信息分别存储到各个分片当中,各个节点不再存
计算机应用与软件 2023年9期2023-10-09
- 面向工业互联网的区块链分层分片研究
联网场景［7］。分片技术是提升区块链吞吐量最直接有效的手段［8］。将分片技术应用于区块链就是将原始的区块链网络拆分为若干小规模的区块链网络，每个网络都由原始网络中的一部分节点构成，称为分片。在整个网络中的交易会被分配到不同分片进行并行处理，因此能够近似线性地提升区块链的吞吐量［9］。文献［10］提出一种基于公有链的分片方案ELASTICO。在ELASTICO 的每个共识周期中，参与者都需要计算出工作量证明（Proof of Work，PoW）答案，该答案用
计算机工程 2023年3期2023-03-16
- MinIO分片大小对文件上传性能的影响
当前主要采用文件分片技术在服务器端对分片文件进行合并[5-6]，MinIO原生就是支持文件分片。文中利用MinIO支持文件分片的特性，采用不同分片大小对文件上传在响应时间、并发数目和持续时间上进行性能实验，找到当前集群部署环境下适合的分片大小。1 MinIO简介MinIO 是一个基于Apache License v2.0 开源协议的对象存储服务，它兼容亚马逊S3 云存储服务接口。MinIO 对象存储系统是为 海量数据存储、人工智能、大数据分析而设计，它适合
计算机时代 2023年1期2023-01-30
- 状态分片中交易过载处理的节点竞选方案
包括侧链[4]、分片技术[5]、DAG（directed acyclic graph）技术等[6]。分片是目前最有效的实现高性能而不降低去中心化程度的区块链扩容方案。分片的思想是“分而治之”，在区块链系统中，分片是指将事务和存储划分为不同的分组，每个分组并行处理交易，从而提升区块链的性能[7]。分片包括网络分片、交易分片、状态分片等，其中状态分片难度最大，状态分片在网络分片和交易分片的基础上，不仅将交易处理并行化，且因每个分片只存储与本分片交易相关的状态信
计算机工程与应用 2022年22期2022-11-20
- 结合深度强化学习的区块链分片系统性能优化
为有效的方式是将分片技术应用到区块链中，并对区块链体系结构进行重新设计。因此，近年来学术界不断探索在改进的体系结构中利用分片技术的优化控制方法提高区块链吞吐量。目前对于提高区块链吞吐量的主要方法分为静态优化方法与动态优化方法。静态优化方法是指区块链采用分片技术时，使用的分片策略一直固定不变。采用静态优化方法的研究有文献[2-5]。以上研究对于区块链的分片选择均是静态策略，这不符合动态的区块链环境。因此，有研究提出动态优化方法，将分片技术与深度强化学习（de
计算机工程与应用 2022年19期2022-10-18
- 基于MongoDB 分片集群的海量数据存储设计
。MongoDB分片复制集群，将数据分散到不同的MongoDB 节点，具有负载均衡、故障切换和故障恢复等特点，适合存储卫星影像等海量小文件数据，能够提供更大的读写吞吐量。2 MongoDB分片复制集群MongoDB 高可用集群有主从复制（Master-Slaver）、副本集（Replica Set）和分片（Sharding）模式三种部署模式。如表1 所示。表1：分片、副本集集群对比主从复制（Master-Slaver）模式不推荐使用，主节点宕机不能自动恢复
电子技术与软件工程 2022年7期2022-07-11
- 利用状态归约处理跨分片交易的多轮验证方案①
扩容技术主要包括分片方案[5]、DAG[6]、扩块[7,8]、侧链技术[9]、状态通道[10]等. 其中分片方案是目前扩容技术中最为可行的方案, 它利用“分而治之”的思想, 将区块链的存储和负载分散到并行分片上. 目前分片分为网络分片、交易分片和状态分片, 网络分片是将全网节点划分到不同分片中, 是交易分片和状态分片的基础[11]; 交易分片是将全网交易划分到不同的分片中进行验证和打包, 全网多个分片通过并行对交易进行验证和打包可以在一定程度上提升公链的性
计算机系统应用 2022年5期2022-06-27
- 联合分布算法对区块链分片的稳定性分析优化研究
块链网络可以通过分片实现吞吐量的提高，但分片会降低区块链的稳定性，因此需要在分片前针对各个委员会失败概率进行预评估，得到具有较高稳定性的分片方案[1-6].Hafid等提出的使用Hoeffding边界算法分析区块链协议的稳定性，计算单个委员会的失败概率并乘以委员会数量得到分片失败概率的精确边界，适用于二项分布和超几何分布的随机变量[7].Zamani等提出了一种RapidChain方案，其中的稳定性分析算法使用超几何分布对分片节点进行建模采样，能准确地计算
四川大学学报（自然科学版） 2022年3期2022-06-17
- 区块链分片技术综述
将数据库中扩容的分片方式［2-4］与区块链技术相结合，自此之后，关于区块链分片技术的研究一直层出不穷，不少学者从分布式账本、共识机制、分片方式等方面针对分片技术进行了大量研究。区块链主要包括网络分片、交易分片、状态分片3 种分片方式，其中，网络分片是基础，状态分片是瓶颈。网络分片通过一定的组织方式将整个网络分成不同分片，各个分片并行处理整个区块链中的部分交易，各部分交易完全不同，从而同时完成多笔交易验证。交易分片使得各个网络分片对交易具有更强的处理能力，其
计算机工程 2022年6期2022-06-16
- 物联网区块链中基于演化博弈的分片算法
提出。其中，网络分片被认为是解决区块链可扩展性问题及提升区块链性能最主要的技术之一[7-10]。分片通过将整个区块链网络拆分为多个子网络，每个子网络由一个不同的节点集合进行维护，交易在不同的子网络内并行处理。由于每个区块链节点不必处理系统中所有的交易，因此极大地提升了网络的交易处理性能。尽管如此，现有的区块链分片算法仍存在一些挑战[8]。首先，网络分片大小是需要考虑的问题，当网络分片数目较多，即每个分片内节点较少时，会导致共识的安全性问题。相反，当网络分片
电子科技大学学报 2022年3期2022-05-28
- 网络数据自适应组包传输方法
干较小的部分进行分片传输，对网络通信各传输节点的承载能力以及整个传输链路的可靠性和适应性提出了严峻挑战。针对IP分片现象，介绍了超长数据包网络传输过程中会存在的问题，提出了基于网络数据包的自适应组包方法，并通过案例进行了测试分析，证明了该方法的可行性。关键词：网络；分片；自适应中图分类号：TP393文献标志码：A文章编号：1008-1739（2022）04-62-40引言网络协议的主要作用是在网络上的设备之间传输和传递数据，为了完成任务，数据经常被封装成特
计算机与网络 2022年4期2022-04-04
- 面向工程数据检索的ElasticSearch索引优化策略
S索引建立、索引分片以及索引段合并方面来对ES进行改进的策略。基于此，本文首先在索引创建时对ES的分词器进行修改并配置自定义词典，其次提出基于集群节点性能与索引数据量大小的索引分片策略，最后根据节点性能来选择合适的段合并时机，通过以上优化来提升ES的性能。1 技术基础本文提出的相关策略是对ES的索引创建、索引分片以及索引段合并方面进行改进，因此先对ES进行一个简单的介绍。ES是基于Lucene构建的分布式全文智能检索引擎，具有近实时、高性能、分布式和零配置
计算机与现代化 2022年2期2022-03-10
- 基于分区型区块链医疗电子病历共享方案
量与可扩展性，将分片（Sharding）技术引入区块链系统进行水平扩容（也称为横向扩展，Scale-Out），使其在保证网络去中心化和安全性的情况下可有 效提高性能，如 Elastico［5］、RapidChain［6］、Omniledger［7］、Monoxide［8］、ZILLIQA［9］等系统就引入了分片技术，由分片技术缓解了单链结构下数据存储与节点共识的压力，并利用分片间的并行特性增大吞吐量，可扩展性也得到了一定程度的提升，但应用到医疗数据共享场景
计算机应用 2022年1期2022-02-26
- 降低跨分片交易回滚概率的多轮验证方案
扩容技术主要包括分片方案[6]、DAG[7]、扩块[8-9]、侧链技术[10]、状态通道[11]等。其中分片方案是目前扩容方案中最具可行性的方案，受到广大学者和社区人员的关注和重视。区块链分片的核心思想是将区块链网络节点划分为若干个集合，每个集合独立运行共识协议，对交易进行共识验证，并且每个集合可以并行地处理不同的交易集合甚至只存储部分网络状态，从而达到提高交易吞吐量的效果。分片技术虽然可以提升区块链系统的性能，但同时也带来了新的挑战。分片后网络中必然存在
计算机工程与应用 2022年2期2022-01-25
- 基于区块链的中医电子病历高效查询方法研究
g 等［6］通过分片技术提高了区块链数据交易性能；刘懿中等［7］从共识机制方面对区块链进行了详细研究；方维维等［8］对PBFT 共识算法进行优化，提高了区块链的可扩展性。区块链技术在中医药领域的应用主要集中在中医电子病历方面。汤颖［9］分析了区块链技术在电子病历中的应用；肖勇等［10］指出中医信息化建设中存在的问题，并提出建设性意见。在安全性方面，牛淑芬等［11］提出基于聚合密钥的密文检索方案，提高了中医电子病历的安全性；侯姝言等［12］将可追踪性安全机制
软件导刊 2021年12期2022-01-07
- 网络分片技术在舰船网络中的应用
范颖 胡士毅网络分片是5G时代的一个非常重要的特征,通过对同一物理网络进行切片划分,能够更好地不同业务对网络SLA的不同服务质量要求,同时可以更好更快速的提供新型业务的部署能力。本文介绍了IP承载网的网络分片基本概念、目标、切片技术及其方案,重点探讨切片技术在舰船网络中应用,并提出部署建议。1 网络分片概念与目标3GPP组织对网络分片的定义如下:在一个物理网络中,将相关的业务功能、网络资源组织在一起,形成一个完整、自治、独立运维的逻辑网络,满足特定的用户和
数字技术与应用 2021年10期2021-11-21
- 提升分片规模和有效性的多轮PBFT验证方案
扩容方案主要包括分片技术[5]、DAG[6]结构、代理共识协议、增大区块[7]等。Layer2扩容方案主要包括侧链[8]、状态通道[9-10]等。区块链分片的概念最早是在文献[5]中提出，本质是一种将计算和存储分散到对等网络的分区方式，每个节点只维护与其分片相关的信息。分片方案通过切割网络中的节点和交易，以实现每秒处理数千笔交易的区块链网络。POW 类共识算法属于概率性算法，采用最长链竞争原则[11]，不适合分片内；POS 类共识算法的逻辑是从整体上假定少
计算机工程与应用 2020年24期2020-12-26
- CDN存量MP4视频播放优化方法
如把MP4切成小分片，每个小分片有一个MP4BOX，或直接使用DASH等MP4分片新格式。对于CDN已经存储的海量MP4文件而言，对其进行重编码和重新注入是一件极为费时费力的工作。本文提出了一种CDN存量MP4视频播放优化方法，并在实际应用取得了较好的效果。2 CDN虚拟分片方案为优化CDN MP4存量内容的播放速度，可在现有MP4文件的基本上为其增加相应索引，如图1所示。图1 CDN对MP4文件虚拟分片的交互架构CDN扫描存量的MP4文件，并成生一个外部
广东通信技术 2020年10期2020-10-26
- 基于SDN的分片网络资源编排系统设计
0）为解决传统的分片网络资源编排系统无法将网络控制面与网络数据面分离的问题，利用SDN技术对分片网络资源编排系统进行优化。SDN指的就是软件定义网络，在2006年由美国斯坦福大学CLean State课题研究组提出。SDN可以作为新型网络创新架构，能够利用OpenFlow核心技术将网络虚拟化。分片网络资源编排在本质上来讲是将网络设备的网络控制面与网络数据面分离，形成分片网络资源，进而实现网络资源的灵活编排。分片网络资源编排系统能够使网络以管道的形式变得更加
数字通信世界 2020年9期2020-10-09
- 一种面向公有链的轻量级可扩展技术
和可扩展.目前，分片技术被广泛视为一种能够解决区块链三角难题的有效方法，通过将交易和状态进行分割，使得不同的分片能够并行处理不相关的交易，线性提升系统的处理能力.然而，为了避免恶意节点集中到某个特定分片发起攻击，需要周期性地将分片节点进行重组.由于分片节点只存储了当前分片的数据，当被划分到其他分片后，需要下载新分片的数据，这个过程被称为状态迁移.状态迁移需要下载大量数据，不仅中断了系统的处理，同时也限制了分片切换的频率.针对节点存储资源占用高的问题，研究人
计算机研究与发展 2020年7期2020-07-18
- 5G+区块链网络分片技术
5G+区块链网络分片建模，仿真对比了保证分片网络可信和保证全网可信的两种网络分片方案的性能差异，分析了单点受控概率、分片可信度、分片数量、全网可信度等参数对分片规模、网络规模的影响，给出了在满足一定可信度条件下，区块链网络分片的最优规模，并提出一定网络规模下，区块链网络从保证分片网络可信向保证全网可信方案演进再向更大规模分片网络可信方案演进的路线。【关键词】 5G;区块链;扩容;网络分片doi：10.3969/j.issn.1006-1010.2020.0
移动通信 2020年4期2020-05-07
- MongoDB负载均衡算法优化研究
ngoDB的自动分片原理，提出一种改进的基于节点实时负载的负载均衡算法[3]，以有效解决其自身算法存在的部分问题。1 MongoDB的自动分片1.1 MongoDB简介MongoDB是10gen公司使用C++编写开发的基于分布式文件存储的开源NoSQL数据库系统，由于其性能高效、功能丰富，在生产中得到了广泛应用。MongoDB除了具有NoSQL 数据库的相关特性外，还具有自动分片、集群扩展、单点故障自动恢复、复杂查询等优点，非常符合存储海量的半结构化或非结
计算机技术与发展 2020年3期2020-04-09
- 散乱数据拟合的自适应分片逆尺度空间算法
种带有删除机制的分片逆尺度空间算法，核心是将分片稀疏性引入到ISS算法中。在稀疏恢复问题上，相较于ISS算法，该算法能够更好地保护信号的小尺度非零元素，在应用于散乱数据拟合问题中得到了较好的拟合效果。分片稀疏性是一类描述向量中非零元素散乱分布现象的稀疏性。DONOHO和HUO[24]针对片稀疏信号对应观测矩阵具有的分块结构，引入分块矩阵互相干(mutual coherence)条件，可将分块正交矩阵的精确恢复信号的稀疏度理论上界推广到一般分块矩阵之中, 改
图学学报 2020年1期2020-03-19
- 区块链节点存储优化方案
献[13]提出的分片方案在减少区块存储和提高新节点加入区块链效率方面都有明显的优势.该方案根据恶意节点概率计算分片区块数量，利用区块链中节点总数计算得到分片保存的副本数量.然而，这种方法存在以下2 个问题：1）将每个分片中编号最小区块被恶意节点攻击的概率设置为分片概率，使得分片中较新区块存在安全问题，因为相比于同一个分片中编号最小的区块，分片中编号较大的区块只有存储更多的分片副本才能保证安全；2）将最少副本数量设定为某个定值也存在安全问题，因为少数分片副本
应用科学学报 2020年1期2020-01-17
- 飞机蒙皮机器人化制造曲面分片算法研究
加工方式采用手动分片，在规划加工轨迹的过程中便已完成各功能区域划分[4]，或是根据机械臂可达范围对模型进行分片处理[2-3]。文献[5-7]在规划轨迹前对工件三角网格模型进行分片处理，对每一个分片区域分别进行轨迹规划，实现分操作的自动运行，拓展了机器人自动化加工的涵盖范围，但从实现角度来看依然存有一些问题：（1）分片结果不能保证任意两三角面片间法向矢量偏角或近似曲率小于设定阈值，而这正是保证加工质量的关键所在；（2）分片结果面积小数量多，极为琐碎，不利于加
民用飞机设计与研究 2019年3期2019-11-04
- 结式在分片代数曲线的研究
张静【摘要】分片代数曲线为二元样条函数的零点集合，下面主要利用MATLAB程序，探讨结式定理在分片代数曲线中的研究，并通过具体实例证明结式定理在求分片代数曲线的Bezout数的过程中存在着缺陷.在计算几何以及数学分析中，利用多元样条函数对给定散乱数据进行插值是一个重要的课题[1]，在多元样条函数的插值的过程中，如何选取适当的插值结点组是一个关键的问题，因为并不是对任意给定的插值结点组，多元样条插值的存在都是唯一的，王仁宏、Oleg Davydov等学者
数学学习与研究 2019年17期2019-10-18
- 移动通信基站天线的设计与研究
数管理;数据库;分片;备份与恢复引言近几年，移动互联网蓬勃发展，导致通信产业结构持续发生变化，传统语音和短信业务收入也随之下降。其主要原因是业务市场饱和以及来自新的市场进入者的竞争，尤其是OTT业务（COver The Top，基于开放互联网的各种视频及数据服务业务）对语音、短信业务的冲击。此外，随着更多智能终端的使用，可供用户选择的新业务、应用数目增长，催生了数据流量消耗的增加。这要求未来的天线具有更高的频带利用率和频谱效率。一、基站天线对通信、雷达、导
科学导报·学术 2019年17期2019-09-10
- Spark框架中RDD缓存替换策略优化
典的算法没有考虑分片的计算成本问题[6].现有的研究大多数基于此类算法改进,其中部分改进算法诸如GreedyDual[7]、GD-Wheel[8]均考虑了访问历史和计算成本,但在一个作业中待处理任务的执行逻辑在Spark中是已知的,对访问RDD历史次数进行优化的缓存策略效果不明显.类似的研究还有不考虑RDD的访问历史次数的LCS[9]算法,以及考虑计算成本次数加权的WR[10]算法.本文针对内存占用率与RDD替换时的权重,考虑了分片的历史访问次数和计算成本
小型微型计算机系统 2019年6期2019-06-06
- 基于MongoDB的数据分片与分配策略研究∗
和完全索引、自动分片、支持故障恢复、支持各种语言驱动程序，自动处理碎片等功能［7～9］，能够适应现代Web应用飞速增长的海量数据，并且在分布式架构下可以达到很好的性能［10］，是目前最有影响力的NoSQL数据库之一。然而在分布式的系统架构下，如何将数据进行分片和分配［11～12］是必须要考虑的，因为两者策略的选择会直接影响到整个系统的扩展性以及负载均衡性能［13］。因此本文选择MongoDB数据库，通过剖析其工作机制以及自动分片的实现算法，提出了分片键选择
计算机与数字工程 2019年4期2019-05-07
- SpaceWire-D的调度表生成方法
短帧(本文称之为分片)处理，当Fij只占用1个时间槽时则无需分片，因此下文按两种情况讨论顺序约束。3.2.1 不分片的情况当帧Fij在调度表中只出现一次时，显然其起始位置应不小于0，结束位置应不大于N，即:当帧Fij在调度表中多次出现时，其多个周期偏移值满足下式所示的约束条件:3.2.2 分片的情况(1)对分片先后顺序的约束Fij的各个分片具有固定的先后顺序关系，若Fij在调度表中只出现1次，则可表示为如下的约束:式中:(βij)s+1为帧Fij第s+1个
中国空间科学技术 2019年1期2019-04-04
- 基于模糊二分查找的帧分片算法设计与实现
对上层数据帧进行分片处理，并在接收端对分片进行聚合处理，恢复原先的上层数据帧[2]。对数据帧进行分片处理需要耗费处理时间，如何设计一种性能优越的帧分片处理算法，对减小协议开销，提高数据吞吐量，降低系统实现难度具有重要意义。本文设计了一种高效的帧分片算法，并基于C语言对其进行了实现。1 帧分片算法1.1 算法简介下层数据帧最典型的为物理层帧，常见物理层数据帧的有效载荷长度具有以下两个特点：1)最大有效载荷长度会根据下层某些动态变化的发送参数(例如调制编码方式
火控雷达技术 2018年4期2019-01-15
- 以分段分片验收为基础的新型项目过程管理
我公司创立了分段分片验收程序。通过分段分片验收,在支付进度款上有依据,在项目整体的管理上进行联动,每到一步就有人会要求验收,使项目有机成为一体,在后续中间交接时减少三查四定项,减少后期尾项整改的风险。1 “分段分片验收”产生的背景1.1 工程建设项目周期短，管理要求高随着全球经济持续增长,各类工程项目日益复杂,建设规模日益庞大,项目外部环境变化频繁,政府和企业对项目工期、质量、环境、安全以及经济目标的要求越来越高,传统的工程项目管理,如业主通过组建一个临时
石油化工建设 2018年5期2018-03-21
- 基于DASH标准的视频自适应传输方案
、不同码率的视频分片和相应的MPD索引文件，客户端根据当前网络状况等因素向服务器请求相应码率的视频分片进行播放。图1[5]形象展示了DASH的基本原理。图1 DASH的基本原理当播放视频内容时，DASH客户端通过获取并解析MPD文件，向服务器请求合适码率的视频分片。通过适当的缓冲，客户端在适应了网络带宽变化后，并同时监测网络带宽的波动，根据其测量结果，继续获取后面的视频分片，以保持缓冲区有足够的缓冲内容。MPD文件格式和视频分片Segment是DASH技术
计算机工程与设计 2018年3期2018-03-19
- 《六州歌頭》分片、用韻考論
《六州歌頭》的分片存在歧異：通常被視爲上片結句的三言短韻，在劉潛、李冠二人詞中卻是下片開頭。劉、李二人詞雖有相混，分片卻一致，又是現存最早的此調作品。宋初鼓吹曲《六州》不是大曲，類似换頭重複的曲子，詞調《六州歌頭》的音樂與之相同。以《六州》可證較早的《六州歌頭》的三言短韻在下片開頭處。通過對三言短韻特點的分析，上下片首尾位置的統計，創作手法的分析等，可知三言短韻在早期作品中爲下片换頭，後來則多爲上片結句。此調在北宋錯叶、通叶押韻，在南宋則多押平韻。押韻不
词学 2018年2期2018-03-05
- 基于分片一致性哈希负载均衡策略与应用
00000)基于分片一致性哈希负载均衡策略与应用苏跃明1,2，李 晨2，田丽华2(1.西安交通大学 软件学院，陕西 西安 710000；2.百度(中国)有限公司，北京 100000)采用一致性哈希进行数据分区和负载均衡的分布式键值存储系统具有高可扩展性的特点，但一致性哈希中哈希函数静态负载均衡的特性不能满足日益多样化的应用场景需求。为了适应以上需求，从一致性哈希策略出发，结合动态负载均衡技术，设计了一种基于一致性哈希的动态负载均衡策略。该策略使用与物理节点
计算机技术与发展 2017年11期2017-11-20
- NAPT技术对数据包分片的处理实验
含标示符的数据包分片如何处理？在H3 Cloud Lab模拟器上进行仿真实验，对数据包进行分片，探究NAPT对分片的处理过程。实验发现地址转换设备记录并保存了数据包首片的标示符信息，以便对后续分片（不合标示符）的处理。关键词：网络端口地址转换；分片；传输层；路由；MTU1概述局域网内的IP地址大多为私有地址，但私有地址只能在局域网内部网中使用，不能在Internet公网上使用，现行的路由器设置也不转发带有私有地址的数据包。当私有网络内的主机需要与位于Int
电脑知识与技术 2017年16期2017-07-14
- 探索数据库分片技术
分即对数据库进行分片处理，对一个数据库中的相关表进行水平拆分，存放到不同实例的数据库中。在大多数情况下，MySQL的分库分表就是指的该种方式。数据库分片的得失探讨在实际的项目规划中，如果没有必要最好不要进行分片处理。当相关业务正常运行时，如果数据库的并发操作没有达到临界值，就贸然对其进行分片，反倒变得难以维护，对运维产生不利影响。为了提高运维效能，应该首先考虑通过性能调优或者提高应用程序以及数据库设计水平，来推迟分片操作。例如，对于上述产品库中的衣服表来说
网络安全和信息化 2017年6期2017-03-09
- IP分片数据包真实体验
层传输时采用的了分片的技术手段。下面我们将通过PING命令发送ICMP数据包来真实体验一下IP分片的全过程。基础知识：以太网数据传送大小限制传统的以太网是共享性局域网，采用载波侦听多路访问/冲突检测CSMA/CD协议。最小帧长必须大于整个网络的最大时延位(最大时延时间内可以传输的数据位)。如果帧长度太小，就可能出现网络上同时有两个帧在传播，就会产生冲突(碰撞)而造成网络无法发送数据。如果数据帧太长就会出现有的工作长时间不能发送数据，而且可能超出接受端的缓冲
网络安全和信息化 2016年9期2016-11-26
- 抗IP分片逃避技术的设计与实现*
NIDS缺乏IP分片的重组功能，不能够还原出原始的报文，使得NIDS不能进行正常的过滤和检测。现在的大部分NIDS都具备重组IP分片的功能，但是攻击者通过精心设置TTL构造的报文[2]，使得报文在NIDS和终端主机之间被丢弃，之后又重传了内容不同的报文(如图1所示)，这样NIDS无法判断对于同一个序列号(SEQ)，终端主机到底会接收哪个数据包，除非NIDS能够将所有的情况都列出，才能检测出“root”这种情况。为了能够正确地分析一条流[3]，NIDS必须首
计算机工程与科学 2015年2期2015-07-10
- 6LoWPAN的Enhanced Route-over的分片和重组机制
te-over的分片和重组机制陈晶晶1，2，李晓记1，郑 霖1，2（1.桂林电子科技大学，广西 桂林 541004；2.通信网信息传输与分发技术重点实验室，河北 石家庄 050081）针对Route-over路由在6LoWPAN中存在需要在每一跳节点进行分片和重组的问题，提出了一种Enhanced Route-over机制，该机制通过在Route-over转发过程中增加映射表和构建虚拟IP帧，改善了Route-over路由在数据报端到端传输时延方面的性能，
无线电工程 2015年10期2015-06-23
- 基于TCP／IP协议栈的数据包分片技术
P／IP协议栈的分片技术把数据包进行分片，并在接收端对其进行重组。众所周知，TCP／IP本身是有内部分片的［1］，但是其大小不能大于65 535字节，并且只能按照默认的1 514字节的大小在以太网中进行传输，但是，网络传输时延、路由器处理时延、丢包率等网络参数均与数据包长度相关［2］，1 514字节的长度在网络环境良好时，可以使音视频应用具有良好的效果，这一点在我们的音视频聊天系统中可以看到，但是一旦网络环境不好，可用带宽减小的时候，只依靠IP本身的分片已
长春工业大学学报 2015年6期2015-06-12
- 一种改进的主从节点选举算法用于实现集群负载均衡
务器需要完成2个分片的查询工作,而另一台服务器处于完全空闲的状态.查询性能不均衡[4].该缺点主要由两个原因导致:1)因为每个分片的注册线程是完全独立的,每台服务器上有两个不同的分片需要注册,而由于服务器的启动速度和网路情况都不相同,往往会出现一台服务器上的两个分片都首先注册到zookeeper[5]的分片管理目录下而成为主节点,而注册速度慢的服务器上的两个节点都会成为从节点.2)即使首次创建时主节点的分配是均衡的,即每台服务器上有一个主节点和一个从节点,
中国计量大学学报 2015年3期2015-02-27
- 基于纠删码冗余技术中的数据可靠性技术的研究
RS纠删码的数据分片方法，把用户数据分成若干分片分别存储到不同存储节点。在拜占庭故障的情况下，不同的m个分片的子集可能解码出不同的数据块，所以使用分片验证技术来确保分片来自于唯一正确的数据块，从而保证数据的可靠性。关键词：纠删码冗余技术；数据分片1.纠删码冗余技术的原理一般来说，纠删码可以用一个四元组（n，k，b，k）来表示，其中，k是编码前文件块的个数，b是每个文件块包含的比特数，k是一个不小于k的数，n是编码后的文件块个数[1]。纠删码冗余技术用于存储
卷宗 2015年12期2015-01-07
- 面向分布式环境的信号驱动任务调度算法
预先计算各个任务分片的EFT(earliest finish time)，以确定任务分片的先后关系。2) 层次优先选择算法。如 PCH(path clustering heuristic)[14]、优先工序集调度[15]等，此类算法以最大化同一层任务分片的并行处理为手段，将任务分片的层数作为优先级，以确定任务分片的调度次序。3) 堆栈式回退算法。如 HEFT-lookahead[16]、回退抢占算法[17]等，此类算法考虑了后续调度中空闲时段被占用的情况，
通信学报 2015年7期2015-01-06
- 6LoWPAN适配层分片重组的研究与实现＊
地址配置、报文的分片和重组、IPv6报头压缩、路由、网络管理等。本文主要分析和研究报文的分片和重组功能［3］。根据RFC2460协议规定，IPv6以下的链路层的最大传输单元MTU（Maximum Transmission Unit）最小应该是1 280字节［5］。因此作为链路层的6LoPAN就要能够接收1 280字节的数据包，并将其分成127字节以内的IEEE 802.15.4能够接收的MAC层的数据帧。1.2 IPv6报文格式根据RFC2460协议规定I
单片机与嵌入式系统应用 2014年4期2014-06-25
- 基于Solr的海量日志信息查询性能优化的研究
性能优化；集群；分片中图分类号：TP393 文献标识码：A 文章编号：1671-7597（2014）03-0037-03随着传统互联网和移动互联网的持续发展，网络带给我们的是不断增长的各种不同价值信息，然而如何在信息海洋中快速检索到有价值信息，对于我们来讲至关重要。目前一些搜索公司在公共互联网领域提供了很好的解决方案，但是企业或者政府机关内部相关信息往往需要应用独立的搜索系统，Solr Cloud则是很好的一个平台选择。1 概述随着企业和政府信息化建设的持
新媒体研究 2014年3期2014-04-21
- 网络分片网络安全威胁就在眼前
网络分片是自IT兴起以来就有的一种经过检验且可靠的网络安全原则。早在上世纪70年代，James Martin、Saltzer和Schroeder研究提出的最小权限和职责分离等概念让企业懂得了只能给用户提供业务所需要的系统访问权限，而不提供在此范围之外的权限。但是，在几十年的时间里，有无数的安全事件都是因为一些人获得了本不应该获得的未授权系统访问权限。显然这里出现了问题。例如，最近出现了来自中国的攻击入侵欧洲网络的事件，黑客攻破了网络，并使用高访问权限盗取数
计算机与网络 2014年11期2014-04-15
- IP报文分片技术及其在故障分析中的应用
问题多与IP报文分片有关。2 IP报文分片的原理2.1 MTU在TCP/IP协议族中，链路层的报文叫做“帧”，每种链路层协议对数据帧的长度都有一个限制，这个特性称作最大传输单元 (Maxitum Transmission Unit，MTU)[1]，单位为字节（Byte）。如常用的EthernetII网络MTU为1500，IEEE 802.3网络MTU为1492。如果IP层有一个数据报要传，而且数据的长度比链路层的MTU还大，那么IP层就需要分片，使每一片的
计算机与网络 2014年8期2014-03-29
- 基于云平台NoSQL的海量天文图像存储研究
验结果表明，数据分片存储以及选择最佳的分片大小能有效提高天文数据的存储和访问效率。海量天文数据云存储NoSQL MongoDB数据分片1 引言虚拟天文台天文数据存储基本采用“Linux+IDE硬盘+软RAID技术”模式[1]。实际上，传统的直接存储技术难以满足天文领域每日TB级动态增长的海量数据存储以及数据的实时处理、同步传输和多点备份等一系列需求[2]。近些年来，由于微软、苹果、google、IBM、戴尔和Amazon等知名服务商的加入，云存储技术发展更
计算机与网络 2014年15期2014-02-04
- 6LoWPAN适配层协议的分片与重组测试方法设计
重要。1 适配层分片与重组技术分析IPv6协议规定的链路层最小MTU 为1 280字节，对于不支持该MTU 的链路层，协议要求必须提供对IPv6透明的链路层的分片和重组。而IEEE 802.15.4MAC层最大帧长仅为127字节［2］，因此，适配层需要通过对IP报文进行分片和重组来传输超过IEEE 802.15.4MAC层最大帧长的报文。1.1 分 片当上层递交一个超过适配层最大载荷长度的报文给适配层后，适配层需要对该报文分片进行发送。适配层分片的判断条件
单片机与嵌入式系统应用 2013年2期2013-08-27
- OpenFlow网络中虚拟网络分片的动态迁移
辑网络被称为一个分片（slice）。FlowVisor对OpenFlow网络进行分片的主要资源包括：带宽，拓扑，流表项的个数，设备CPU。目前在系统中主要体现的是流表项个数和带宽。对分片的区别是用流空间的概念来实现的，每一个流空间是一系列统配规则。与流表项不同的是它并没有转发规则。对于进入交换设备的数据包，FlowVisor首先要将其拦截并且确定它属于哪一个分片。每一个分片都有其可见范围和权限，这需要交换设备对每个分片内的包进行改写。比如，一个分片内进行广
网络安全技术与应用 2013年9期2013-07-23
- P2P流媒体数据调度策略研究
中节点能力和数据分片的优先级,提出了最少最小优先调度算法（LRFA）.算法结合了现有的最少优先策略,将数据的稀缺性和时间特性作为重要因素,对节点能力进行了动态估算,最终实现了节点资源的充分利用.P2P网络；数据调度；数据优先级；稀缺优先；节点能力近年来基于P2P技术的流媒体应用已成为研究热点[1].P2P流媒体系统中普通主机节点（对等节点,简称Peer节点）从其他Peer节点获取流媒体数据的同时,也承担起为其他Peer节点转发数据的任务,充分利用了空闲的网
河南科技学院学报(自然科学版) 2013年1期2013-06-07
- 入侵躲避技术初探
境中。下面就重叠分片躲避与多线程躲避为例，分析一下网络躲避技术的原理。重叠分片躲避技术分析把一个大的数据包分成多个切片(IP包)传输，是TCP协议的功能之一。正常的情况下接收端按照切片的编号、偏移量，再重新组装成完整的数据包。正常的协议解析过程是每个分片顺序排列，并且按序号送达目的主机。由于网络的不同路径延迟不同，造成到达目标的分片不一定是顺序的;某个分片或许中途损坏要重传，延迟自然更大一些;有些系统本身的Bug，分片时偏移量写错了，造成分片之间有重叠…这
计算机与网络 2013年8期2013-04-16
- 模糊系统中方形分片线性函数依K－积分模的泛逼近性
）模糊系统中方形分片线性函数依K－积分模的泛逼近性段晨霞，王贵君（天津师范大学 数学科学学院，天津 300387）首先引入方形分片线性函数和K－拟可加积分的概念，应用诱导算子及积分转换定理证明了方形分片线性函数在K－积分模意义下对一类可积函数的泛逼近性.该结果表明：模糊系统中方形分片线性函数对连续函数的逼近能力可以推广为对一般可积系统的逼近能力.方形分片线性函数；K－拟可加积分；＾μ－可积函数；K－积分模；泛逼近性模糊系统是模拟人脑推理性能的一类有效模型，
天津师范大学学报（自然科学版） 2012年3期2012-01-05