压缩算法
- 基于改进哈夫曼编码的Haar 小波WSN 数据压缩算法
中常用的数据压缩算法主要可以分为两大类：有损压缩算法和无损压缩算法。有损压缩算法主要有离散余弦变换和小波变换[2]，无损压缩算法主要有游程编码和哈夫曼编码[3]。有损压缩算法在数据压缩率方面具有一定的优越性，但是在数据恢复方面显得略为逊色，而无损压缩算法则正好相反。关于有损压缩算法，前人已经做了一些相关的改进，比如文献[4]提出了一种可以动态改变压缩位率的小波压缩算法，文献[5]提出了一种减少数据空间相关性的分布式小波压缩算法。但是，这些文献中提到的压缩算
电子设计工程 2023年21期2023-11-10
- 列式数据库的数据压缩技术研究
；数据压缩；压缩算法；预处理中图分类号：TP391 文献标识码：A 文章编号：2096-4706（2023）14-0042-06Research on Data Compression Technology of Column-oriented DatabaseDING Ruiheng1， LIANG Bo2（1.Faculty of Information Engineering and Automation， Kunming Univers
现代信息科技 2023年14期2023-09-06
- 多媒体数据压缩算法及其实现研究
多媒体数据；压缩算法；研究中图分类号：TP311 文献标识码：A文章编号：1009-3044（2023）14-0096-030 引言当今发展数字信息产业，已成为人们首要关注的目标。其中以计算机技术为主的现代信息技术与其他学科结合而形成的一门新型技术——计算机多媒体技术，更是得到了迅猛发展。目前多媒体技术已经广泛地应用于社会生活的各个领域中，如电视、广播、电影、音乐等方面，并取得了良好的效果。但是，在网络高速发展的今天，多媒体数据亦逐步呈现爆发式增长态势。由
电脑知识与技术 2023年14期2023-07-10
- K-means 聚类-DCT 压缩算法在振动传感器中的研究与应用*
是所有的数据压缩算法都可以达到这一目的的[1]。针对上述问题，本文首先对现有多种振动数据压缩算法进行了研究，对现有压缩算法存在的问题进行了分析，并在此基础上提出了一种面向无线通信的数据压缩算法——K-means 聚类-DCT 双重压缩算法。通过实际验证表明，采用该算法对振动数据进行数据聚合，可以非常明显地提高数据压缩的效率，从而在传输时将冗余数据有效减少[7]。而在相同数据量情况下，采用改进算法的峰值信噪比与其他算法相比，具有更好的性能。1 振动数据压缩研
电子技术应用 2023年1期2023-02-14
- 基于子块差特征的分形图像压缩编码技术
的要求，图像压缩算法作为多媒体信息传输的关键技术之一，提高图像传输效率是当前社会的重中之重。分形图像压缩算法具有高压缩比、解码快等优点，但因其编码时间较长而使其应用场景受限。为提高分形图像压缩算法的应用性，提高分形编码效率是研究人员专注的研究方向。参考现有的相关研究，提出一种根据重要区域与非重要区域判定方法，将图像的码本分为重要区域码本与非重要区域码本，在匹配搜索过程中，针对不同区域的图像块，在不同区域中进行搜索，能有效缩减定义域块与值域块之间进行匹配搜索
科技创新与应用 2023年1期2023-01-17
- 基于带宽预测与自适应压缩的容器迁移方法
应网络环境的压缩算法，对镜像等数据进行压缩，但压缩算法单一，数据压缩不彻底，并且未考虑压缩计算的时间开销，使得服务迁移时间过长，降低了服务质量。针对上述问题，本文提出一种基于带宽预测和自适应压缩的容器迁移方法（BP-ACM）。利用CRIU 技术为服务生成检查点，并对检查点数据应用压缩去重算法。考虑到网络带宽和计算开销之间的折衷，自适应压缩算法能够根据网络带宽预测结果动态调整压缩速率以及压缩强度，从而充分利用网络带宽和处理器的计算效率。通过结合带宽预测和自适
计算机工程 2022年5期2022-05-14
- 一种基于两级缓存的高效时序数据库系统
la[6]等压缩算法的稳定性、适用性，选择Gorilla压缩算法提升OpenTSDB在空间利用率方面的不足.该系统创新性地加入了两级缓存机制，使得存储速率得到了极大的增强.此外，利用Socket[7]的Server/Client模式进行数据接收，可以实现多数据源的同时接入，提高了系统的并发性.在对数据查询做可视化处理后，最终在OpenTSDB的基础上形成一个写入速度快、空间利用率高、稳定性好的时序数据库系统.1 相关工作伴随着大量时间序列数据的采集与应用，
测试技术学报 2022年2期2022-04-18
- 应用主成分分析和KL变换的体育视频压缩算法
效的体育视频压缩算法，当前体育视频压缩算法可以划分为3类：一类为传统算法，另一类为现代算法[4-6]。传统算法主要有基于小波变换的体育视频压缩算法，基于傅里叶变换的体育视频压缩算法以及基于压缩感知理论的体育视频压缩算法，传统算法虽然可以对体育视频进行有效压缩，但是易丢失体育视频中的一些重要信息[7]。第三类为现代算法，主要为人工神经网络的体育视频压缩算法，如卷积神经网络等，它们具有较强的学习能力，通过模拟人类大脑神经网络的工作原理进行体育视频压缩，获得了比
微型电脑应用 2022年1期2022-02-21
- 数据库数据分类压缩算法研究
使用到的数据压缩算法的要求不断提高，实现对数据高效准确的压缩和解压过程，对大量数据进行存储的实时数据库通常需并行采取多种存储方式完成。在现有压缩技术研究成果中，目前以旋转门算法、PPM压缩算法较为常用，但普遍存在有损压缩的问题，无法满足高精度的数据存储要求。为此本文主要对实时数据库中的数据压缩算法进行了研究，设计了一种无损数据压缩方案，以期更好的为生产活动服务。2 数据压缩算法设计2.1 数据的划分针对实时数据库需以被压缩数据特点为依据对压缩算法进行设计，
电子测试 2021年11期2021-07-02
- 一种使用帧间差值的图像传感器片上视频压缩算法∗
蒋永唐徐江涛∗陈全民衡佳伟(.天津大学微电子学院,天津30007；.天津市成像与感知微电子技术重点实验室,天津30007)With the development of fifth-generation mobile communication and multimedia technology,real-time video transmission with higher resolution is widely distributed in vari
传感技术学报 2021年3期2021-06-16
- 基于人工智能技术的运动教学视频压缩算法
运动教学视频压缩算法压缩帧数少，信噪比低。为了解决上述问题，提出基于人工智能技术的运动教学视频压缩算法，利用多线性子空间KL变换技术进行运动教学视频编码，引用人工智能技术中的钻石搜索法构建视频压缩算法，分析视频图像运动中矢量的基本规律来检测算法的有效性，确定多个子空间的数据，将视频帧数进行分辩，分辨出新的变量进行XL变换处理来完成教学视频编码，编码后采用钻石搜索法的两种模式进行互补，从而确定出最小误差点，利用SAD算法算出最佳匹配矢量，完成运动教学视频的压
现代电子技术 2020年21期2020-12-07
- 面向医疗文本数据压缩的主流算法及发展趋势*
生领域的文本压缩算法改善此难题。调研并阅读文本数据压缩类文献，阐述各类经典文本压缩算法的简单原理，发掘近年来文本数据压缩算法的新发展，尝试分析和探索适用于当前医疗文本数据的压缩算法。1 经典文本压缩算法1948年，信息论之父香农提出了“香农编码”，自此数据压缩方法层出不穷，各种变体衍生而出[1]。立足于文本数据压缩问题，依次介绍三种经典的无损压缩算法，即Huffman编码、串表压缩算法(Lempel-Ziv and Welch，LZW)编码和基于部分匹配预
中国医学装备 2020年11期2020-12-05
- 基于Huffman编码的区域控制器记录数据压缩算法的研究
出了一种软件压缩算法对其进行处理[3]。1 数据压缩数据压缩是一个减小数据存储空间的过程，是信息论的最重要成果之一，其利用数学工具采用多种方法来管理和处理信息[4]。按照压缩精度划分，数据压缩一般有无损压缩和有损压缩两种。在有损压缩算法中，可以接受一定的损失，用以换取更大的压缩比。在某些应用中，如图像处理和音频处理，一定的损失是可以接受的，因为这种损失会受到严格控制，不会影响播放效果。而ZC系统日志数据需采用无损压缩，以保证解压缩时准确地还原原始数据。无损
控制与信息技术 2020年3期2020-08-03
- 一种快速解压的无损压缩算法*
在当前的无损压缩算法领域中，主要存在两种技术思路。一种是基于数学统计的编码压缩方法，另一种是基于数据查找及匹配的词典编码压缩方法。早期的压缩方法大都采用基于数学统计的编码方法，该编码方法最早由Shannon 和Fano 在1949 年提出[1]。在此基础上，1952 年Fano 的学生Huffman 提出了著名的霍夫曼编码[2]，是一种极为有效的二进制编码压缩方法，一直沿用至今。基于词典编码的压缩方法是1977 年在以色列人Jacob Ziv 和Abrah
通信技术 2020年5期2020-06-08
- 浅谈面向云计算数据中心的新型解压缩方法
级语言完成解压缩算法的描述，然后通过Altera SDK for OpenCL高层次综合工具实现解压缩算法到FPGA硬件执行比特流的自动化映射。结果：本发明采用FPGA硬件平台执行解压缩算法核心模块，能够通过并行流水的优化方式提高算法的并行度，从而改善算法执行时的吞吐率性能。与通用的RTL硬件描述语言实现方式相比，本发明采用OpenCL语言进行FPGA硬件比特流的生成，能够有效改善算法实现效率，减少算法实现的开发周期。结论：设计合理的OpenCL描述的gz
中国信息化 2020年4期2020-05-19
- 倒排索引压缩算法研究综述
针对倒排索引压缩算法及其在搜索引擎系统应用中的性能优化研究[9，11].倒排索引压缩技术可以直接提升单个服务节点对索引数据的存储性能.在磁盘上，索引压缩技术可以使数据的存储更加紧密，这就降低了数据访问过程中的磁盘寻道延迟[12].更重要的是，索引压缩使得更多的索引数据可以直接加载到内存中，现代计算机采用存储器层来为处理器提供数据访问支持，最上层的缓存容量小，速度很快.依次向下层存储器的容量将变大，但是速度变慢[13].倒排索引压缩能够使得更多的索引数据存入
小型微型计算机系统 2020年4期2020-04-10
- 基于时空相关性的传感器网络数据压缩算法
输数据量. 压缩算法是目前一种重要的减少传输数据量的技术, 其可适当去除数据之间的冗余, 降低传感器网络数据存储空间, 提高传感器网络数据传输速度和成功率, 因此设计一种效果良好的传感器网络数据压缩算法至关重要[4-6].目前针对数据压缩原理不同, 传感器网络数据压缩算法可分为两类： 无损数据压缩算法和有损数据压缩算法. 其中无损数据压缩算法可对数据进行逆向恢复, 最早的无损数据压缩算法为Shannon编码的压缩算法, 根据数据冗余特性, 引入信息熵理论计
吉林大学学报（理学版） 2020年2期2020-03-25
- 海量数据归档系统数据压缩算法选择方法研究
择恰当的数据压缩算法已成为提升归档系统存储管理能力的重要前提。目前许多学者对数据压缩算法展开了大量的研究[12-15]，但是仍没有解决归档系统选择数据压缩算法问题。由于算法选择问题涉及内容复杂，全面定量评估算法对系统的影响困难等因素的存在，致使选择面临下列挑战。(1)由于增加数据压缩算法会对归档系统的硬件使用、归档业务流程等多方面引起变化，如何选择一些综合评价指标来反映算法对系统的影响是一个挑战。(2)由于不同数据压缩算法在数据压缩比例、压缩解压时间、处理
中国电子科学研究院学报 2019年7期2019-12-23
- JPEG和JPEG2000图像压缩算法差异对图像质量影响的比对分析
要 文章从压缩算法的原理入手，分析、探讨JPEG2000相对于JPEG是否有更好的图像压缩性能。再通过主、客观实验，并考虑场景依赖对图像质量影响因素，对相同条件下的JPEG和JPEG2000压缩图像质量进行比对，分析两种压缩算法对图像视觉呈现效果的影响。结论发现JPEG2000压缩算法比JPEG压缩算法对图像质量有较好提的视觉呈现效果，成功避免了使用过高的压缩比例时图像质量下降呈现马赛克效果的缺点。关键词 JPEG和JPEG2000；压缩算法；图像质量；
科技传播 2019年7期2019-04-16
- 利用数据冗余性的高速缓存压缩校验技术
冗余模式选择压缩算法，提升单一压缩算法的数据压缩率.3) 设计了支持多标签的高速缓存结构，和基于数据模式校验的高速缓存访问流程，动态权衡容错高速缓存空间开销与压缩算法时间开销，提高了存储空间利用率.2 相关工作目前国内外主流的处理器高速缓存大多采用纠一检二的海明码或EDAC码，算法简单、开销低，但是纠错能力有限.为了在容错能力和开销之间实现权衡，学术界提出大量的编码算法，表1总结了典型的Cache校验算法.表1 典型Cache校验算法分析Table 1 A
小型微型计算机系统 2018年9期2018-10-26
- 一种改进的基于压缩感知的心电压缩算法
最先进的有损压缩算法相比，它的压缩比是有限的。直接差分位压缩算法是一种无损压缩算法[6]，不会影响基于CS算法的重构精度，为了充分利用二进制表示，对大数移位进行操作，将该算法命名为移位差分位压缩算法(SDCA, shift difference bit compression algorithm)。将基于压缩感知理论的压缩与移位差分位压缩结合的算法称为CS-SDCA。 CS-SDCA的压缩比等于CS算法的压缩比乘以SDCA的压缩比，大大提高了压缩比，降低了
计算机测量与控制 2018年7期2018-07-27
- SPIHT图像压缩算法在防空武器系统中的应用
HT三种图像压缩算法特点的基础上，将具有实时性特点，并支持多分辨率渐进传输的SPIHT图像压缩算法应用到防空武器系统中，以不影响人在回路视觉效果为前提，对导引头产生的红外图像进行压缩，降低无线图像传输过程中对数据率的要求，文中还通过红外图像压缩实例分析了该算法的实用性和有效性。1 问题分析无线通信系统的信道容量即数据的传输速率由香农定理决定。香农指出，加性高斯白噪声信道的信道容量C由信道带宽B和信号的传输信噪比SNR决定[3]，具体如式(1)所示。C=Bl
空天防御 2018年3期2018-07-11
- 基于混合编码的FPGA系统配置文件压缩算法
能不受改变，压缩算法必须采用无损压缩方式.配置文件经过压缩后可以在一定程度上减少系统配置时间，但并不是配置文件经过压缩处理过后就能够提高配置速率，解压缩过程也是很重要的一个环节.若解压缩过程所消耗的时间代价过大或者消耗硬件资源过多，那么该压缩算法就不适合对配置文件压缩.近几年，国内外学术界对压缩配置文件提高可重构系统配置速率展开了广泛的研究，现有的压缩技术分别侧重4个方面：压缩算法、降低解压缩代价、动态可重构和修改硬件结构.1) 提升压缩率研究主要集中在通
计算机研究与发展 2018年5期2018-05-28
- 一种自适应深度压缩算法设计与实现
，常见的深度压缩算法有：深度偏移DO算法[5]、锚编码Anchor算法[6]、差分脉冲编码调制DDPCM算法[7]和二维DDPCM算法及其改进[8]等，这些压缩算法的原理都是基于“深度数据值是通过线性插值得到，相邻的像素之间的深度值分布范围较窄”的特点进行压缩的[9-10]。本文首先分析了图形处理器中最常用的DDPCM压缩算法和二维DDPCM压缩算法，结合DO偏移算法提出了一种自适应的压缩算法，最后对该算法的实现进行了评估。1 国内外相关研究1.1 DDP
无线电工程 2018年4期2018-03-21
- 基于移动PDM系统的数据压缩算法的选择研究
的方法是通过压缩算法对数据进行压缩从而降低数据传输量。在此，针对移动PDM系统的应用提出一套数据压缩算法的评价体系，通过建立一种自动化程度较高的客观评价方法，以便对压缩算法的算法优化及应用选择提供参考[3]，并且基于此评价体系，对目前比较常用的几种压缩算法进行性能评价，从中选择一种更加适合移动PDM系统的压缩算法。1 移动PDM系统特点和评价指标确定1.1 移动PDM系统特点移动PDM系统在继承了传统PDM系统大部分优点的同时，又存在稍许不同。表1为移动P
自动化与仪表 2017年2期2018-01-12
- 基于主成分分析和分层树集合划分的Huffman算法图像压缩研究
SPIHT)压缩算法相结合的有损图像压缩算法.首先对图像进行主成分分解，选取主要特征值进行压缩，再利用SPIHT算法将图像分解成不同子带的小波系数进行压缩，对SPIHT压缩系数进行哈夫曼编码，实现图像二级压缩.将本文提出的算法与SPIHT、SPIHT的哈夫曼编码、JEPG2000、PCA压缩算法进行了比较，结果表明本算法较其他压缩算法具有更好的性能，在压缩比相同的情况下能获得更高的PNSR和 SSIM.PCA；SPIHT；Huffman；图像压缩；PNSR
浙江大学学报（理学版） 2018年1期2018-01-08
- 图片格式的新兵？解读TPG格式
使用了不同的压缩算法（其中BMP未压缩）。和我们常见的RAR、ZIP压缩格式一样，我们在压缩同一个文件的时候，如果使用不同的压缩率，最终得到的文件体积也不一样。因为对于很多高品质格式的图片，其中包含很多冗余信息，而对这些信息的压缩不会对肉眼观看这些图片带来明显的影响。比如上述例子，PNG格式体积大约只有BMP的十分之一，但是图片显示质量在我们看来并没有降低多少，原因就在于PNG格式中将原本BMP中的很多冗余色彩信息进行了压缩（图2）。体小质大 TPG背后的
电脑爱好者 2017年13期2017-07-31
- 基于MapReduce的轨迹压缩并行化方法
1.1 轨迹压缩算法简介轨迹压缩从几十年前开始就有研究，轨迹压缩方法从技术上主要分为三类：第一类是线段简化压缩方法，第二类是基于路网结构的压缩[9-10]，第三类是基于语义的压缩[11-12]，其中较为经典的还是线段简化压缩。滑动窗口轨迹压缩算法[13-15]和开放窗口轨迹压缩算法[16]就是基于线段简化压缩方法中较为经典的两种轨迹压缩方法。滑动窗口轨迹压缩算法是目前公认的经典轨迹处理算法[13-14]，它不需要明确轨迹数据的终止轨迹点，适用于很多实际的应
计算机应用 2017年5期2017-07-31
- 一种基于嵌入式实时操作系统Vxworks下的数据压缩技术
据压缩技术；压缩算法中图分类号：TP316 文献标识码：A 文章编号：1007-9416（2017）03-0070-021 引言随着现代信息技术的快速进步，特别是计算机技术的高速发展，计算机存储技术面对诸多困难和挑战。数据压缩技术是在保证信息完整性的前提下，通过数据量的缩减达到存储空间减少的或按照某种算法重新组织原始数据，减少数据冗余、提高其传输存储和处理效率的一种技术方法。Vxworks是美国风河公司研制的一种具备发展能力强、性能极其优越及人机交互友好的
数字技术与应用 2017年3期2017-05-17
- Hadoop日志压缩算法的研究与实现
doop日志压缩算法的研究与实现王煜骢（四川大学计算机学院，成都 610065)Hadoop集群由于规模增大、运行时间增长使得日志量持续增加，导致存储压力过大。为了节约存储资源，研究并实现一种高效的Hadoop日志无损压缩算法。实验结果表明，该压缩算法与传统的LZW压缩算法的压缩比基本相同，但压缩和解压操作的耗时均小于LZW压缩算法且受文件大小影响更小。Hadoop；日志；压缩0 引言Hadoop[1]作为目前较为流行的分布式计算框架，已被广泛地应用于大数
现代计算机 2017年9期2017-05-12
- 一种气象雷达数据混合压缩算法*
雷达数据混合压缩算法*陈 璐1马 可2李重阳2(1.西安航天天绘数据技术有限公司 西安 710100)(2.西安电子工程研究所 西安 710100)针对气象雷达数据压缩的问题,提出了一种气象雷达数据压缩混合算法。该算法由预压缩、有损压缩和无损压缩三个步骤组成。首先根据气象雷达数据说明不同用户对数据的需求;其次介绍预压缩算法,并按照不同用户的需求,提出可以采用无损压缩和有损压缩两种数据压缩算法对气象雷达数据进行压缩;最后给出混合压缩算法的流程图,并利用实测数
计算机与数字工程 2017年3期2017-03-31
- 基于Java的大数据压缩研究
泛的无损数据压缩算法，论文中实现大数据压缩是按照无损压缩技术的方法，从基于统计和字典的数据压缩优缺点进行比较研究，基于Java大数据BWT压缩算法的不足，提出了一种改进的NBWT大数据压缩算法。对大数据的三个构成元素：数据、时间标签和压缩码采用不同的数据编码策略进行压缩，在数据压缩过程中，提出了使用矢量方式压缩数据的概念。通过设立大数据压缩缓冲池的方法，最后对本文的改进大数据压缩算法进行了仿真测试，测试结果表明，一种改进大数据压缩算法的压缩率与压缩时间都有
数码世界 2017年1期2017-02-06
- 测量报告数据的谱分析压缩算法
数据的谱分析压缩算法程 飞,刘 凯,丁文文,时 欢,张百戬(西安电子科技大学计算机学院,陕西西安 710071)针对网络带宽难以满足海量测量报告传输要求,定义了测量数据的谱,并提出了测量报告数据的谱分析压缩算法.该算法通过分析测量数据的谱,提出了对数据完成两次排序的预处理方案,减少了数据冗余的间隔距离,以期提高上下文的命中率.其次,该压缩算法构建了测量数据的多个上下文模型,并作为单层神经网络的输入结点.神经网络通过对每个上下文模型的预测概率线性组合,得到对
西安电子科技大学学报 2016年4期2016-12-06
- 多载频相位编码雷达信号自适应脉冲压缩方法
号自适应脉冲压缩算法,通过利用循环迭代获取每个距离单元的最优匹配滤波器,从而有效抑制了距离旁瓣,提高了对邻近距离单元弱小目标的检测能力。仿真实验验证了该方法的有效性,并进一步分析了编码方式对脉冲压缩距离旁瓣的影响。多载频相位编码; 弱小目标; 自适应脉冲压缩; 旁瓣抑制; 编码序列0 引 言多载频相位编码(multi-carrierphase-coded,MCPC)雷达信号最早是Levanon[1]在正交频分复用(orthogonalfrequencydi
系统工程与电子技术 2016年9期2016-09-07
- 关于无线通信中一类二次约束二次规划问题的混合算法
，提出了可行压缩算法，迭代得到的点作为逐步二次规划算法的初始点，从而很快收敛到QCQP问题的KKT点。该文的具体结构如下：第一节介绍要求解的一类QCQP问题的具体形式，第二节给出可行压缩算法的流程，第三节在数值实验中将本文提出的算法与其他方法做出比较。1 二次约束二次规划该文考虑的二次约束二次规划问题如下所示：这里为不定矩阵，…为半正定矩阵。当（1）中均为半正定矩阵；≤0，对…都成立，（1）可以等价地转化为（2），且，，，…。问题（2）是一个非凸的二次约束
科技创新导报 2016年3期2016-05-30
- 基于Hadoop平台的数据压缩技术研究
析和研究，对压缩算法进行比较及使用场景。关键词：Hadoop 压缩 压缩算法中图分类号：TP333 文献标识码：A 文章编号：1007-9416（2016）08-0094-02近年来文本、声音、图像等各类信息数据量迅速增长，而人们对数据的研究往往关注于存储效率、存储量、安全性、完整性和带宽等方面，产生的数据会有一定的冗余，而冗余数据也占用了磁盘空间和网络带宽，随着数据量的增大，数据的存储效率和存储量受到限制，导致磁盘和带宽利用率降低。信息技术的普及使产生的
数字技术与应用 2016年8期2016-05-14
- 超声平面波两种数据压缩方法初步比较
选择了LZW压缩算法来尝试无损压缩的效果，而根据平面波特点，提出频域切割压缩算法作为有损压缩方法。将LZW算法在FGPA进行了实施，通过对超声仿真数据进行测试，可以达到一定的压缩比。在已知分数带宽的条件下，可以求出频谱中需要保留的带宽，而其余部分频率信号对图像影响的意义不大。通过对超声仿真数据的测试，频域切割压缩算法可以达到较高的压缩比，而比较原始图像和压缩重建图像，其差异是微小的。所以从压缩比角度，频域切割压缩算法是进行超声数据压缩的优先选择。超声；平面
中国医疗器械杂志 2016年3期2016-02-09
- 数据包位图索引压缩算法研究
据包位图索引压缩算法研究◆袁沐春 郭育辰（中国人民公安大学 北京 102600）为解决从存储海量数据包的数据库中快速找到少量的被需要的数据包的时间效率问题，本文引入位图索引数据库，并对三种常见的位图索引压缩算法做简要分析。数据包；位图索引；数据库；算法0 引言传统的关系型数据库是面向更改的，存储在数据库中的数据需要经常改动。而位图索引数据库专门为科学数据设计，这些数据通常是由科学仪器或是科学仿真产生的，特点是数据量极其大，而且不再更改。位图索引数据库解决了
网络安全技术与应用 2016年8期2016-02-06
- LZMA压缩算法FPGA硬件实现
究.LZMA压缩算法是LZ77压缩算法的一个改进版本，由Pavlov于1998年发明，目前在7zip压缩算法中被作为默认的压缩算法［1-2］.虽然LZMA能够提供较高的压缩率，但处理过程中需要大量的随机访问存储器(RAM，Random Access Memory)，并且会耗费较多CPU资源.对海量数据进行处理时，长时间占用大量CPU资源，使得在执行LZMA数据压缩的同时进行其他操作变成了难题.目前一个高性能FPGA中包含了上千个独立的双端口RAM块，一个或
北京航空航天大学学报 2015年3期2015-12-20
- 一种基于CCSDS压缩算法的红外图像传输方案
于CCSDS压缩算法的红外图像传输方案任潇潇（上海机电工程研究所，上海201109给出了一种基于CCSDS压缩算法的红外图像传输方案，其适用于某红外图像实时传输系统。重点从CCSDS图像压缩算法设计和图像编码器方案设计两个方面进行介绍。在工程实际应用中，该设计方案得到了验证，图像传输效果良好，性能稳定。CCSDS压缩算法红外图像1 引言在某工程实际应用中，其获取的红外图像信息需要进行实时传输。原始红外图像信息为PAL制式模拟信号，经转化后图像大小为3522
计算机与网络 2015年11期2015-11-08
- 应用行程编码的航天器分包遥测压缩算法研究
天器分包遥测压缩算法研究闫国瑞 李志刚 史简 赵婷 李国军（航天东方红卫星有限公司，北京 100094）针对航天器延时遥测存储数据量较大的问题，提出了一种应用行程编码（RLE）的分包遥测压缩算法。根据遥测数据的特点，对压缩算法进行改进，使压缩效果得到进一步提升。此外，对压缩数据生成符合空间数据系统咨询委员会（CCSDS）标准的分包遥测机制进行了阐述。对某卫星的试验表明，使用改进后的压缩算法，能够获得6.11倍的遥测压缩比，可提高延时遥测采样频率，增加航天器
航天器工程 2015年2期2015-10-28
- 压缩对Hadoop性能影响研究*
、复制因子、压缩算法等。这些参数直接影响Hadoop 的I/O性能：块大小和内存分配对Hadoop性能影响并不十分明显[12]；减少复制因子能大大减少集群的写操作[13]，从而减少磁盘访问来提高Hadoop性能；压缩技术是提高文件系统效率的重要手段之一，并行数据库系统比Hadoop性能好很多的一个重要原因是使用了压缩。Intel内部测试表明：相比未压缩，使用LZO的作业运行时间减少60%[4]。从这些方面来看，压缩是Hadoop I/O调优的一个重要方法。
计算机工程与科学 2015年2期2015-07-10
- 振动信号无线传输压缩算法的能效分析
信号无线传输压缩算法的能效分析刘 锁1，何 青1，石志刚2(1.华北电力大学 能源动力与机械工程学院，北京 102206；2.中国能源建设集团 鞍山铁塔有限公司，辽宁 鞍山 114042)通过传感器节点采集设备振动信号，借助无线网络传输技术将大量的振动数据传送到数据处理和信号分析中心。通常采用数据压缩算法来减少数据传输量，一方面减少了数据传输量，同时也增加了节点的能量消耗，因此，对于能量有限的节点来说必须考虑这两者之间的能量平衡问题。根据振动信号特点，研究
电力与能源 2015年6期2015-03-15
- 嵌入式织造系统无损压缩算法研究
织造系统无损压缩算法研究卢小杰，叶明全，黄道斌皖南医学院计算机教研室，安徽芜湖，241000针对嵌入式织造系统内存不足和计算能力较低的问题，提出了一种改进的LZW压缩算法。采用变长编码和动态存储的方法保障数据字典的完整性和优化非编码数据，同时使用Hash表查找算法来缩短算法时间。实验结果表明：改进的LZW压缩算法压缩效果得到了提高，也优于其他压缩算法。嵌入式技术；数据压缩；LZW算法；Hash表；WINRAR/WINZIP为了满足现代纺织企业生产的需要，嵌
宿州学院学报 2015年12期2015-02-15
- WSN中降低喷泉码存储冗余量的方法研究
帧长LT码；压缩算法；网络编码；多比特打包1 概述数字喷泉码在近几年飞速发展，能够在各种网络通信或者节点通信中充分利用节点之间的互信息，提高信息传输的鲁棒性，接收端在接收到网络编码后的数据时便于进行信息提取，当接收到的数据包数量足够多时，可进行错误恢复，并且其编译码复杂度较低，满足一定条件时可进行线性编译码。无线传感器网络(Wireless Sen sor Net work, WSN)能高效提取及处理信息，并实时监控传输信息数据，在通信领域中具有重要的地位
计算机工程 2014年5期2014-08-05
- 基于HBASE的大数据压缩算法的研究
E 中支持的压缩算法，并对这两种压缩算法做对比，对以后的建设提供了指导作用。对于大数据时代的到来，如何提高查询时间和存储容量、系统的稳定性和使用廉价的硬件设备，研究压缩算法具有重要的现实意义。关键词：压缩算法； HBASE ；列存储中图分类号：TP302.7 文献标识码：A 文章编号：1009-3044（2014）13-3146-02Research on HBASE Based Big Data Compression AlgorithmCHEN Jie
电脑知识与技术 2014年13期2014-07-18
- 数字化控制系统数据压缩方法分析
。一般的数据压缩算法从数据压缩的效果方面可分为无损压缩和有损压缩两种技术：1）典型的无损压缩算法可以归结为两种类型的算法模型的实现，它们分别是基于统计模型的压缩算法和基于字典模型的压缩算法。前者是根据字符在待压缩字符群中出现的概率进行的编码，早期的压缩算法，如Huffman编码和算术编码都是属于这一类型的算法；而基于字典模型的压缩算法是在算法计算过程中产生一个具有压缩关键字定义的压缩字典，在对信息进行压缩和解压缩过程中都对其进行查询操作，最典型的字典模型压
仪器仪表用户 2014年3期2014-03-25
- 国外星上数据压缩算法发展研究
国外星上数据压缩算法发展研究徐 冰（北京空间科技信息研究所）星上数据压缩技术是与对地观测卫星相伴产生的。近年来，随着新型遥感技术的快速发展，以及用户对遥感图像质量需求的日益提高，对地观测卫星所获取的图像分辨率也在不断提高。在这样的发展情况下，海量的高分辨率对地观测卫星图像数据对数传系统形成了巨大的压力，也直接影响了卫星对地观测的时效性。为解决这个问题，国外的对地观测卫星（特别是高分辨率对地观测卫星）普遍采用了星上数据压缩技术，在满足成像质量的前提下，进行可
国际太空 2014年1期2014-03-13
- 高性能路由器FIB压缩方法*
在对ORTC压缩算法及信息熵理论研究的基础上，提出了一种基于多位特里算法，通过消除信息冗余的方式实现对FIB的压缩方法．该方法具有不改变路由语义和外部路由器行为特征，在典型的路由器应用环境下，可以节省约50%的存储空间，路由查找效率可提高25%．IP转发表; 数据压缩; 前缀树FIB（Forwarding Information Base）表的快速增长成为存储空间和管理的负担．如果采用已在Linux内核中实现的fib_trie数据结构存储这些路由前缀，需要
深圳职业技术学院学报 2014年3期2014-03-08
- 一种支持TCAM规则更新与压缩方法＊
则集采用规则压缩算法对其进行压缩处理，压缩算法处理结束后服务器向TCAM芯片发出规则更新来替换TCAM更新区和压缩区的规则.该结构一方面能够满足OpenFlow中的实时更新要求，另外一方面又防止控制器不断产生的更新规则导致规则集过大而无法用容量较小的TCAM芯片来存储的问题.图1 实时更新与压缩Fig.1 Real-time updates and compression1 相关工作与本文工作最为相关的研究工作是数据包的分类以及防火墙领域的规则压缩.文献［
湖南大学学报（自然科学版） 2014年8期2014-03-05
- 改进的SDT算法
时数据库系统压缩算法:有损压缩、无损压缩和结合前两种方法的二级压缩。无损压缩不能满足存储海量数据要求。而最著名的有损压缩算法是PI的旋转门算法。本文针对旋转门算法进行了分析，改进了旋转门中由于必须存储原始数据点而限制压缩比的缺点。实验证明改进后的算法确实能够在不提高压缩误差的情况下有效提高压缩比。1 有损压缩算法介绍1.1 工业标准死区压缩算法［1］很早提出的线性有损压缩算法，基本思想是:如果当前点和最后一个记录点的差值在一个阈值范围以内，就压缩当前点，否
计算机工程与设计 2013年2期2013-07-25
- 基于能量的自适应小波变换图像压缩算法
小波变换图像压缩算法万智萍（中山大学新华学院，广东广州510520）针对现有压缩算法计算量大以及压缩质量差等问题，文章根据图像能量的分布特性，提出了一种基于能量的自适应小波变换图像压缩算法。通过优化扫描法以及小波的分解模式来提高算法的准确率，并根据低频子带的扰动性大小，来对低频子带进行量化处理，而高频子带则是利用边缘检测算法的高效性，来提取高频子带中的有效信号，进而保证图像压缩的高效性与准确性。实验结果表明，文章算法的仿真结果与预期目标相符，有效证明了算法
激光与红外 2013年11期2013-06-07
- 基于奇异值分解和小波变换的图像压缩算法
2]。在有损压缩算法中，小波变换压缩算法效果较好，应用领域最为广泛。然而二维小波是一维小波的张量积，只有有限个方向，不能很好地表达图像中的曲线奇异性特征[3]，从而导致压缩后的图像边缘和纹理可能出现明显失真。奇异值分解(SVD)是一种简单的矩阵变换方法。文献[4]和文献[5]将SVD分别应用于储粮害虫和遥感图像压缩，取得了较好的压缩效果。SVD压缩具有图像重建误差小，无方块效应，以及计算复杂度和压缩比有较好的折中等优点。另外，图像的奇异向量构成的矩阵没有明
火炮发射与控制学报 2012年4期2012-11-23
- 曲线数据压缩方法与实现
线矢量数据的压缩算法，分析将其运用到等高线或其他曲线矢量数据压缩。在Spliting算法基础上提出了一种针对无拓扑矢量数据的快速压缩算法，并在AUTOCAD中实现该算法过程。【关键词】矢量数据，压缩算法，精确度，等高线中图分类号：U212.33+2曲 文献标识码：A 文章编号：一﹑引言在计算机自动制图中应用计算机处理已得到的数字化的资料就不能不注重计算机的容量和计算量。因此，就产生了计算机自动制图中的曲线压缩问题。曲线压缩实质上是信息压缩问题，从信息论上讲
城市建设理论研究 2012年35期2012-04-23
- 小波变换在遥感影像压缩中的应用
过与其他图像压缩算法相比较，比较全面地揭示出小波压缩算法的特点及其在遥感影像压缩中的应用。图像压缩；小波变换1 引 言随着新型传感技术的高速发展，遥感影像在空间、时间和光谱分辨率上都有了显著提高，与此同时，影像数据量正在呈几何级数增长。如何对这些日益庞大的海量遥感数据进行方便的存储和高效、快速的传输，成为行业迫切需要解决的难题之一。图像压缩技术是解决这一问题的有效途径，对影像数据进行压缩，可以实现遥感影像的海量存储以及快速、实时传输。如何在保持信号少量失真
城市勘测 2011年2期2011-04-18
- 一种支持ANSI编码的中文文本压缩算法
G5等编码。压缩算法的研究及开创性的工作是由西方国家完成的，因此，几乎所有数据压缩算法的实现都是基于单字节的，这些基于单字节的数据压缩算法，在处理多字节编码的数据时，人为地割裂了数据编码中蕴含的语义信息，严重地损害了压缩率。对于基于ASCII的单字节英文文本，现有的压缩工具已经达到0.8bpc (bits per char/byte)左右的压缩率，而对于中文文本仅能达到3.0bpc左右，远远低于英语文本。因此需要针对中文语言，充分考虑其在编码、语义方面的特
中文信息学报 2010年5期2010-06-05