海量数据
- 基于客户分类的海量数据动态路由存储策略研究
电商行业的海量数据存储，多采用以客户为切分键进行分库分表的策略，但由于大客户和普通客户数据体量差距巨大，往往会导致数据在各库表中分布严重不均。本文基于分布式数据库存储，设计了区分大客户和普通客户的分库分表策略、能够及时识别客户数据变化的实时数据监控，以及基于客户分类动态选择存储策略的动态路由组件，可有效保障数据的均匀分布。关键词： 客户分类； 海量数据； 分库分表； 动态路由策略； 实时数据监控中图分类号：TP311.1 文献标识码：A
计算机时代 2023年6期2023-06-15
- 基于云计算技术的分布式网络海量数据处理系统构建
于分布式网络海量数据处理系统的构建中，能充分发挥云计算技术与分布式网络的优势，从而提高海量数据的处理效率。关键词：云计算技术；分布式網络；海量数据;处理系统中图分类号：TM73中图分类号 文献标志码：A文献标志码0 引言随着我国互联网技术的不断发展，截止到2020年，我国的互联网用户已经超过了10亿，互联网技术进入千家万户，成为人们日常生活的必备工具，这也为网络技术的发展带来了新的机遇［1］。庞大的互联网用户中的大部分会参与到网络购物中，以淘宝、拼多多、
无线互联科技 2023年2期2023-06-15
- 基于HHS的离线数据分析平台的设计与实现
adopp；海量数据；离线业务分析中图分类号：TP311 文献标识码：A文章编号：1009-3044（2023）10-0075-030 引言如今，计算机和信息技术发展迅猛，并且得到了普遍应用，各大行业的数据量都在以爆炸性的速度增长，全球已经进入了“大数据”时代[1]。在大数据时代下，企业可以从庞大繁杂的数据背后挖掘和分析用户的行为习惯和爱好，其创造的价值和人们的生活息息相关。在实际的商业案例，信用卡公司VISA需要处理两年中730亿单的交易，由于采用了Ha
电脑知识与技术 2023年10期2023-06-03
- 一种分布式数据存储方案设计与实现
可以有效实现海量数据的分布式存储。关键词：关系型数据库；分布式存储；分布式ID；海量数据中图分类号：TP311 文献标识码：A文章编号：1009-3044（2022）33-0068-031 引言目前比较常用的分布式数据存储[1]方案，主要是在关系型数据库中間加一层数据库分库中间件，通过将查询键值作为拆分字段，用一定的路由算法，将原始SQL进行解析后构建出新的SQL路由到指定的分节点，最后对结果集进行归并。比较常用的中间件有dble[2]、Sh
电脑知识与技术 2022年33期2022-04-02
- 人工智能数据恢复关键技术研究
法有效地处理海量数据集合中发生的数据灾难。本文探索以人工智能数据技术应用于数据恢复领域，提升传统数据恢复算法的计算能力，对海量数据进行实时、高效、准确地处理，实现数据准确、高效的重构和恢复。关键词：人工智能; 数据恢复; 海量数据; 重构;0 引言大数据时代的到来，标志着数据将成为人类发展的关键。随着大数据、5G技术、互联网技术、人工智能技术、区块链技术的不断完善和发展，对传统的数据恢复技术带来了变革和挑战，传统的数据恢复技术已经无法有效地处理海量数据集合
科学与生活 2021年20期2021-11-18
- 基于Kubernetes的海量网络数据存储方法研究
，从而实现对海量数据的存储。对比实验结果显示，该存储方法相比能够减少约62%的运算内存占用，并且存储操作速度快，更能满足实际需求。关键词：Kubernetes;海量数据;网络数据;数据存储中图分类号：TP392 文献标识码：A文章编号：1009-3044（2021）27-0028-02Kubernetes是用于管理云平台中多个主机上的容器应用部署方式[1]。相比于传统系统绑定并通过插件、脚本或者沉重的虚拟机来安装应用的应用部署方式，Kuberne
电脑知识与技术 2021年27期2021-11-08
- 基于VS的FTP文件传输设计与实现
宋毅摘要：海量数据时代，文件传输需要解决准确率与传输速度问题，通常的网络下载速度有些不能满足用户需求，为适应用户海量下载需求，为此开发FTP文件传输系统，该系统基于Visual Studio环境开发，功能具有访问ftp、文件上传、文件下载、删除、显示目录等功能，给用户提供方便快捷的文件传输下载。关键词：海量数据;FTP;文件传输中图分类号：TP311 文献标识码：A文章编号：1009-3044（2020）32-0232-03Abstract：
电脑知识与技术 2020年32期2020-12-29
- 用电检查与反窃电在线智能分析系统设计
;智能分析;海量数据引言在我国经济高速增长，科学技术飞速发展的同时，一些不法分子利用先进的技术手段，巧妙、隐蔽地减少表计计算量，从而少缴纳电费，不仅使供电企业的合法权益受到损害，还扰乱了正常供电秩序，造成电力故障和安全事故。针对窃电问题，供电企业需采取科学有效的对策，提高用电安全和反窃电能力。1用电检查的重要性用电检查是指根据电力公司的规定，主要对电力系统计量、设施性能、安全等进行监测和评价。这可以保证电力系统用电正常，也可以查处违章用电、节电或盗窃等一系
锦绣·下旬刊 2020年7期2020-12-23
- 基于大数据背景下的贵州旅游数据分析与研究
;数据仓库;海量数据;数据挖掘技术;旅游发展1旅游业格局在近几年中国经济的高速发展，国民生活水平的提高，人们的物资生活得到了满足的背景下，逐步开始了建立精神生活。开始寻找放松与缓解压力的方式，而到国内各地旅行，看国内各处的美丽风景与体验国内各地的风土人情不仅能开阔自身的眼界，更是缓解自身精神压力与疲劳的放松方式，尤其是近几年来，随着国内旅游业的发展，国内各省对旅游行业越来越重视。由于旅游行业所具备的三大动力效应，使得旅游行业在发展的过程中，促使当地的一系列
科学与信息化 2020年30期2020-11-30
- 面向电力电缆状态监测综合云计算平台架构设计
理方式在应对海量数据增长时也暴露出很多不足，本文在传统数据处理分析方法的基础上，面向电力电缆的故障数据监测的应用场景，设计出一种能够满足全方位实时需求的综合云平台架构，能够满足海量数据的处理和存储要求，为故障的及时发现与处理提供支持。关键词：电力安全;海量数据;云平台1、引言电力电缆作为电力传输的重要载体，一旦出故障，对于人民的生产生活将造成极大影响。为了保障电力传输的安全，对电缆的状态信息进行实时监测分析，及时发现电缆故障意义十分重大。随着网络技术和传感
装备维修技术 2020年15期2020-11-28
- 基于大数据背景下的食堂服务平台研究
服务系统中的海量数据为研究对象，基于大数据背景下的食堂服务平台的研究展开讨论。该系统应用HTML5，JavaScript，MySQL，Hadoop集群数据处理等技术，实现了在线订餐功能并生成数据分析。实验结果表明：该平台方便了师生订餐的同时也减少了食堂管理成本，解决了学生就餐难，排队久的难题;系统通过大数据分析来了解消费者的需求，从而更好地提高食堂服务水平。关键词：大数据;线上订餐;校园食堂;Hadoop集群;海量数据;数据处理中图分类号：TP391.7文
物联网技术 2020年9期2020-10-09
- 一种考虑句子结构的移动客服对话文本建模方法
法。关键词：海量数据;智能化;建模方法中图分类号：TP391.1 文献标识码：A 文章编号：2096-4706（2020）03-0033-03Abstract：With the development and application of machine learning and deep learning methods in various fields，more and more industries begin to explore th
现代信息科技 2020年3期2020-07-04
- 基于海量数据优化管理的分布式文件存储系统应用研究
的优势实现对海量数据资源处理的水平和能力，让企业数据资源发挥了最有效的价值。关键词：海量数据;分布式文件存储;优化管理中图分类号：TP311.1 文献标志码：A 文章编号：2095-2945（2020）18-0181-02Abstract： The data of big data era has become a very valuable resource for enterprises， and it has becom
科技创新与应用 2020年18期2020-06-22
- 新能源汽车充电桩海量数据分析研究
车;充电桩;海量数据;数据分析【中图分类号】F426.61 【文献标识码】A 【文章编号】1674-0688（2020）01-0040-040 引言随着新能源汽车使用人数的增长，电动汽车充电需求迅速提升，截至2019年4月，全国充电基础设施累计数量已达到95.3万台。然而，由于布局不合理、维护不到位、缺乏平台管理等问题，可充电设施的利用率却长期偏低。2015年10月9日，国家发展改革委、国家能源局、工业和信息化部、住房城乡建设部共同印发了《电动汽车充电基础
企业科技与发展 2020年1期2020-05-22
- 协同过滤算法在位置推荐上的运用
据时代。面对海量数据，如何寻找感兴趣的信息已经成为困扰用户的问题。由于每个人的兴趣爱好不太相同，使用一个大众版的排行榜并不能满足每个人的需求。位置推荐算法就是在大量数据作为支撑的情况下，对用户进行相似性计算，最后根据相似用户的签到地点做出推荐。本文主要通过经典的协同过滤方式实现一个位置推荐算法。关键词：海量数据;位置推荐;协同过滤随着移动互联网的兴起，用户可以方便快捷地记录当前的位置坐标，产生了许多有名的软件，比如微博、forsqure、ins等。Four
发明与创新·职业教育 2020年2期2020-04-07
- 基于Elasticsearch的HBase海量数据二级索引方案
器）不稳定及海量数据检索速度较慢等问题，设计了一种新的基于Elasticsearch的HBase二级索引方案ELHBase（ElasticsearchIndexing HBase）。该方案借助Flume、Kafka、HBase及Elastic-search搭建了一套数据采集、高速解析和录入大数据处理框架，使用Flume自定义Sink采集数据同时生成相应ID存入到Kafka，通过解析技术分别把数据存储到HBase，相应ID作为索引存储到ElasticSear
电脑知识与技术 2020年1期2020-03-30
- 应用Hbase高效存储海量数据的实现
基础有效解决海量数据存储过程中服务器均衡负载问题，并通过构建文件索引二进制码序列的方式实现数据信息的高效存储效果，应用Hbase协处理器实现分布式序列记录单提交多表插入等功能效率，最终多种方式结合实现分布式多格式高效存储。【关键词】Hbase;分布式序列;高效存储;海量数据引言Hbase作为一种开源的非关系型分布式数据库，其模型参考了谷歌的BigTable建模，因此Hbase不仅具有分布式、版本化、可拓展等特性，而且还与MapReduce、Spark等分布
理论与创新 2020年23期2020-03-08
- 基于pHash分块局部探测的海量图像查重算法
复图片检测;海量数据;感知Hash;局部探测;传递性中图分类号：TP391文献标志码：ADeduplication for massive images based on pHash block detectionDuplicate detection algorithm for massive images based on pHash block detectionTANG Linchuan， DENG Siyu， WU Yanxue， WEN Liu
计算机应用 2019年9期2019-10-31
- 基于Hadoop的海量数据处理平台的架构与研究
来临，成就了海量数据的衍生，但如何快速聚类高价值数据，深度挖掘电商行业客户和服务数据，搭建海量数据服务着陆平台，监测行业数据舆情，提升公共服务水平，拓宽数据资源应用市场是“互联网+”行业转型的关键。借助Hadoop分布式存储与计算平台，以高效、可靠、可伸缩的方式维护数据精确度、缓解数据冷启动问题，增强数据多样化推荐。【关键词】Hadoop平台;海量数据;服务处理平台;HDFS架构中图分类号： TP391 文献标识码： A 文章编号： 2095-2457（2
科技视界 2019年20期2019-08-29
- 基于海量数据的HBase写入性能测试与优化
，实验表明在海量数据应用条件下采用MapReduce计算框架能够利用HBase集群的计算性能，相比传统的单线程和多线程数据写入方式具有更好的实用性和有效性，同时结合这三类数据写入方式的性能特征提出了以写入数据量为依据的选择策略。关键词：MapReduce，Hadoop，HBase，海量数据中图分类号：TP392 文献标识码：A 文章编号：1009-3044（2019）06-0009-05Testing and optimization of HBase w
电脑知识与技术 2019年6期2019-05-22
- 基于海量数据的企业营销资源优化研究与分析
于此，本文对海量数据视角下企业单位营销资源优化进行研究分析，期望能够为我国企业单位提供借鉴。关键词：海量数据;企业;营销资源优化信息技术以及网络技术的广泛应用使得我国企业单位的信息环境发生了根本上的转变，企业单位营销资源继续进行整合优化，借此有效改善企业单位营销资源未能得到充分利用的问题，同时有效加快信息资源效用的实现。虽然传统资源整合平台为企业单位提供了许多资源整合引擎，但是由于检索渠道比较单一，耗费时间较长以及被动相应企业单位需求等多方面的不足之处，导
商场现代化 2019年2期2019-03-21
- 大数据时代下企业管理模式创新研究
；管理模式；海量数据；创新思考互联网的高速发展改变人们参与信息交流的方式，也对企业整体管理带来不一样的挑战，需要对其发展进行思考。大数据给企业发展带来更多的智能终端以及视频监控等数据，让人们感受到不同的发展数据。可以说，大数据给企业发展提供更多的发展空间，也带来更多的发展潜能，给企业带来更多的洞察力。但是，大数据也给企业发展带来数据整合以及保障海量数据安全等挑战。企业要想在该时代下实现更好地发展，就应该改变之前的管理思维，运用全新的视角对其进行思考，促使企
商场现代化 2018年19期2018-12-26
- 基于VBA的石油地质数据处理
利摘 要： 海量数据处理是石油地质项目开展过程中的重要工作，若依靠纯手工处理工作量巨大。文章提出了基于VBA数据批量处理方法，以气藏数值模拟工艺改造数据的处理为例，在EXCEL中运用VBA进行编程，实现海量射孔數据的提取与标准化处理。首先从井史数据出发，借助文件对象打开对应井单的射孔数据文件，然后循环提取射孔数据中的相关数据信息，进行标准化处理后写入工艺改造数据表格中，生成气藏数值模拟的基础数据体。针对示范工区数据处理表明，该方法不但极大地提高了气藏数值模
计算机时代 2018年9期2018-10-25
- 浅谈数据挖掘技术及其应用
据挖掘就是从海量数据中提取潜在有趣模式的过程。数据挖掘技术现已广泛应用于零售业、金融业、电信、网络安全分析、农业、医疗卫生等领域，研究十分广泛。关键词： 海量数据；数据挖掘；应用研究【中图分类号】 TP311.1 【文献标识码】 A【文章编号】 2236-1879（2018）14-0178-01一、数据挖掘概念数据挖掘比较公认的定义是由U.M.Fayyad等人提出的：数据挖掘就是从海量数据中提取潜在有趣模式的过程[1]。还有一些术语，具有和数据挖掘类似但稍
科学导报·学术 2018年14期2018-10-21
- 烟支重量反馈控制系统相关参数的海量数据分析
的多项指标的海量数据。首先，对海量数据进行预处理，并通过假设检验得出数据服从正态分布。其次，计算各项指标间的灰关联度，得到各项指标间的关联度矩阵。最后，通过逐步回归分析得到各项指标间具有显著相关性的最优回归方程，并给出能够根据各监测指标的变化对烟支重量进行反馈调节的控制系统模型。关键词：海量数据；正态分布；灰关联度分析；逐步回归分析中图分类号：TS47 文献标志码：A 文章编号：2095-2945（2018）21-0012-04Abstract： In t
科技创新与应用 2018年21期2018-09-14
- 大型输水工程网络三维场景建设关键技术研究
的无缝集成及海量数据的流畅加载问题，实现了大型输水工程三维场景的网络在线快速浏览和三维分析应用。该技术在南水北调中线一期工程三维场景建设中取得良好应用效果，为类似长距离大范围输水工程网络三维场景建设及分析应用提供参考。关键词：长距离输水工程：三维场景；Skyline；海量数据；无缝集成；南水北调中线工程中图分类号：TV68；TV222.1文献标志码：Adoi：10.3969/j.issn. 1000- 1379.2018.06.031水资源分布不均匀性和人
人民黄河 2018年6期2018-09-10
- 基于Spark的数据抽取整合决策分析系统设计
层无法快速从海量数据中获得有效的决策数据支持。因此如何有效的数据收集，数据存储，数据抽取，整合不同来源的基础数据是当前我们需要解决的主要问题。关键词：海量数据；决策；spark；数据抽取背景随着数据量的不断增加各企业对如何实现海量数据的收集存储抽取整合为一体系统需求比较强烈，因为海量的数据只有合理有效的被利用才能发挥出数据本身的最大价值，为了能够准确快速高效的为企业管理者提供决策支撑，解决数据源分散、数据冗杂等特点，并对海量数据集整合，实现数据实时可视化查
信息技术时代·下旬刊 2018年4期2018-09-10
- 大数据视域下的高校英语教学模式创新分析
。【关键词】海量数据；英语教学；模式创新；云计算【作者简介】程启荣，廊坊师范学院。大数据时代下带来的影响已经渗透在国内的高等教育中，使其面临着全面信息化的发展机遇。而在当下，高校现有的英语课程教学开始融入了大数据技术的运用，使其教学模式必须得到优化与创新，才能充分发挥大数据技术的支撑性优势作用。一、大数据背景下的教学变化分析大数据融入到教学工作中，其带来的教学变化可以归结为三点。其一，大数据背景下的教学模式呈现出灵活性的特点，强调开放学生的思维，利于锻炼其
校园英语·中旬 2018年8期2018-09-08
- 大数据技术在电网运营管理中的应用研究
智能电网 海量数据1 引言智能电网的理念是通过获取更多电能信息，来优化电的生产、传输、调度、分配以及消费。未来智能电网将承载电力流、信息流、业务流，在传输能源的同时实现数据的采集、深度挖掘和分析，最终实现清洁发电、高效输电、动态配电、合理用电的智慧电力的目标。在本质上，智能电网是大数据在电力上的应用。随着坚强智能电网的建设，电力行业产生了一大批面向电力各个领域的信息采集与管理系统，包括：用电信息采集系统、营销系统、电网运营管理系统等。这些系统构成了电力大
电子技术与软件工程 2018年5期2018-04-09
- 基于Hadoop的海量数据存储平台设计与开发
，特别是在对海量数据进行繁杂处理期间，部分无序信息的智能化分析及就显得尤为重要，通过智能化分析能了解到网络海量数据信息的高度异构性特点，在多项海量数据信息异构结构使用中，提出新的云计算数据存储管理模式。根据对其研究，能初步获悉，系统开设的海量数据管理任务分析能让整个管理的效率更高、安全性更好、维护性更强。【关键词】海量数据 平台设计 开发由于数据信息开始从GB、TB持续到PB的量级爆炸式模式进行增长，所以数据的整体变化具有多样性，特别是地理上分散性极好，能
电子技术与软件工程 2017年16期2018-03-30
- 海量数据的支持向量机优化挖掘方法
度较大。提出海量数据的支持向量机优化挖掘方法，构造静态粒子空间，局限海量数据挖掘离散程度，形成小规模的、多簇团的粒子挖掘数据集；将单粒子挖掘数据进行离散性拟合，以多簇团粒子整合离散运算，保证挖掘计算进行周期性运行；对同轨挖掘计算进行条件约束，实现小离散程度的数据挖掘。仿真实验验证结果表明，支持向量机优化挖掘方法在复杂多变环境下具有较高的稳定性，并且挖掘离散度小、挖掘信息精度较高。关键词： 海量数据； 支持向量机； 多簇团粒子； 数据拟合； 整合运算； 挖掘
现代电子技术 2018年6期2018-03-13
- 海量数据挖掘过程相关技术研究进展
平不断提升，海量数据的复杂性与多样性对数据挖掘形成了较大困难。基于大数据环境下，为了更深入、充分地掌握是数据挖掘相关技术的研究进展与应用，可以从海量数据挖掘过程的技术框架、算法、理论、模式等方面进行尝试。综上所述，该文将对海量数据挖掘过程相关技术研究进展进行分析。关键词：海量数据;数据挖掘技术;研究进展;讨论中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）36-0001-02数据挖掘的过程是在海量
电脑知识与技术 2018年36期2018-03-04
- 大数据时代的计算机信息处理技术
生了待处理的海量数据信息，目前计算机信息处理水平难以达到对大数据处理的要求，这对于计算机技术革新具有一定的促进作用。本研究针对计算机信息处理技术在大数据时代的发展及计算机信息处理技术有关问题进行初步探讨，并分析了计算机信息处理技术在大数据时代的的机遇与挑战。【关键词】信息处理 海量数据 大数据时代1 前言大规模的数据共享随着计算机技术的日益普及而成为一项重要的信息处理工作，数据总量近年来高速增长，增大了数据信息处理的难度。高效应用数据的基础就是不断发展的计
电子技术与软件工程 2018年15期2018-02-26
- 城市海量数据实时流通技术框架
。[关键词]海量数据 技术框架 共享交换 智慧城市智慧城市建设涉及规模庞大的数据交换与共享，面对如此海量的数据，如何做到实时流通已经成为了智慧城市建设的关键。就我国对城市海量数据实时流通的处理现状来看，众多数据、信息与资源未得到充分的开发，在数据利用与资源共享等各方面都受到了不同程度的限制，由此也浪费了大量资源大量浪费，这给智慧城市的建设和发展带来了严重的阻碍。本文结合城市级海量数据实时共享交换的背景和总体需求，就城市海量数据实时流通技术框架进行了深入研究
电子技术与软件工程 2018年11期2018-02-25
- 基于海量数据消息队列的性能比较及其优化
速发展促进了海量数据的产生，而实时处理海量数据离不开具有良好性能的分布式消息队列，可明显提高数据处理的效率，海量数据采用何种消息队列进行传输是关键问题之一。分析研究应用最频繁的Apache Kafka、Rocket-MQ及Rabbit-MQ三种消息队列特点及实现原理，在实时大数据计算场景下基于此对消息队列分别搭建集群测试环境，比较有关结果后实现对消息队列的性能设计优化。關键词 海量数据；消息队列；大数据时代中图分类号 G2 文献标识码 A 文章编号 167
科技传播 2018年3期2018-02-09
- 物联网海量异构传感器采样数据存储与查询处理
词：物联网；海量数据；异构数据；海量数据；数据查询DOIDOI：10.11907/rjdk.172023中图分类号：TP392文献标识码：A 文章编号：1672-7800（2017）012-0182-02Abstract：The datas in the IoT are massive and heterogeneous， the good storage strategy has been a research hotspot. The storage
软件导刊 2017年12期2018-01-09
- 基于Spark的大数据分析工具Hive的研究
数据仓库为海量数据分析提供了方便的操作。随着实时查询需求的增加，基于Spark的Hive操作得到了很好的应用。文章主要介绍了Hive on Spark的整合步骤以及与Hadoop运行模式的比较。对 MovieLens 数据集的实验测试显示，新模式的执行速度提高了17.42-46.35倍，这对进一步了解Hive的运行机制及海量数据的实时分析具有重要的意义。关键词： Hadoop； Hive； Spark； 海量数据； 实时分析中图分类号：TP399 文献标
计算机时代 2018年11期2018-01-04
- 海量数据环境下可破坏性数据定位算法研究
提出一种新的海量数据环境下可破坏性数据定位算法。在不同信道NAV任务的优先排队模型状态空间中，针对局部性交叉项信息量，在计算吞吐量下，建立信道数据传输模型。构造可破坏性数据信号模型，将相空间重构与非线性时间序列分析法结合在一起，对可破坏性数据产生的原因进行分析，完成可破坏性数据特征提取。把数据符号属性值映射为数字值，完成对所有数字特征的归一化处理。对原始可破坏性数据特征进行改进，通过Fisher线性分析法在改进后特征空间中对可破坏性数据特征进行分类，实现可
计算机时代 2018年11期2018-01-04
- 基于知识图谱的人员关系预测方法研究
技术路线，在海量数据中，实现实体的显性关系和隐性关系的深度挖掘和关系拓展。关键词：知识图谱；公安业务；海量数据；关系预测中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2018）28-0176-03Research on Prediction Method of Personnel Relationship Based on Knowledge MapZHU Zhen-hua， YU Xiao-yun，LI Chao（The First
电脑知识与技术 2018年28期2018-01-04
- “分布式”存储结构存储方法研究
分布式存储；海量数据；存储算法中图分类号 TP3 文献标识码 A 文章编号 1674-6708（2017）198-0142-021 常见的分布式存储算法1.1 NFS网络文件系统早期的分布式文件系统，多数都是基于NFS的[1]。NFS的设计，主要是对硬件和操作系统提供异构支持，即容许不同操作系统的终端接入NFS系统，访问同一个共享存储区，进行文件的共享。它的适用范围包括局域网和广域网，而且NFS还形成了Internet标准-NFS协议。被大多数企业构建局域
科技传播 2017年21期2017-11-27
- 大数据下的安防存储研究
防；非结构；海量数据；云存储；智慧中图分类号：TP309 文献标识码：A0.概述视频监控安防其主要特点是图像信息量大，所以对存储空间需求明显。视频监控步入高清化时代，存储与安防的存在着紧密结合，存储容量的有限与信息容量的巨大， 而海量的非结构化视频、特征数据，带动了大数据的存储、管理、分析等一系列问题，存在不少的矛盾需要解决，吸引着更多人的关注与研究。1.当前存储存在的问题1.1后端存储技术当前，在安防监控中，后端存储系统从“模拟时代”到”数字时代”到如今
中国新技术新产品 2017年22期2017-10-30
- 基于WebGIS的暴雨灾害决策系统设计与应用
；暴雨灾害；海量数据；GP；及时率中图分类号：S422 文献标志码：A 文章编号：2095-2945（2017）24-0111-021 概述近年来，暴雨灾害频繁发生，造成严重的经济损失和社会影响，成为各界普遍关注的自然灾害问题。政府各级防汛部门高度重视暴雨及其引发的山洪地质灾害防御工作，为了有效地预测灾害并减少造成的损失，迫切需要建立一个科学合理的暴雨决策服务指挥系统。随着气象监测与预报技术的发展、应急部门对各防汛部门的统一组织协调的力度加强，对暴雨灾害的
科技创新与应用 2017年24期2017-09-08
- 基于神经网络与MapReduce的科技云数据清洗模型
。关键词： 海量数据； 数据清洗； 神经网络模型； 多任务优化； MapReduce中图分类号：TP399 文献标志码：A 文章编号：1006-8228（2017）07-06-03Data cleaning model of the science and technology cloud based onneural networks and MapReduceYang Shuo， Yang Wei， Tao Li， Jin Fengfei（Zhejia
计算机时代 2017年7期2017-07-20
- 在线地图服务中的地理信息价值提升研究
求。关键词：海量数据 在线地图 提升价值 不切片 司南超擎中图分类号：TP701 文献标识码：A 文章编号：1672-3791（2017）06（c）-0028-03在线方式提供的地理信息数据主要是通过WMTS提供地图服务、通过WFS提供矢量服务，响应速度和数据量、服务器、网络环境相关性大，而且地图服务还存在事先切片费时费力，切片后属性信息缺失而无法支持空间分析和在线编辑两个主要问题，严重制约了地理信息数据价值的共享与应用。因此，发展快速、有效的海量地理信息
科技资讯 2017年18期2017-07-19
- 基于云计算的大数据处理技术研究
作都会接触到海量数据，已然进入了大数据时代。对于海量数据信息，如果采用传统的数据处理办法，很难保证数据信息传输的安全性、快速性。云计算的出现为大数据存储、传输提供了便利，也为数据处理提供了重要保障。文中首先对大数据与云计算之间的关系进行分析，然后探讨了云计算及其关键技术，最后提出云计算背景下的大数据处理技术，希望能够为相关人员提供参考。关键词：云计算；大数据；处理技术；海量数据中图分类号：TP274 文献标识码：A 文章编号：2095-1302（2017）
物联网技术 2017年6期2017-06-23
- 云平台下海量数据冲击中的可视化调度平台设计
设计云平台下海量数据冲击中的可视化调度平台，其由海量数据采集模块、云平台模块和可视化调度模块组成。海量数据采集模块中的天线开始对海量数据进行采集和调频，并传递给数字信号处理器进行处理，其处理结果将传递给云平台模块。云平台模块利用Hadoop分布式计算技术，对海量数据采集模块的处理结果进行分析和计算，给出调度方案。调度方案将传递给可视化调度模块进行调度方案的可视化，以及调度工作的具体实施。平台软件对云平台模块中调度方案的产生流程进行设计。实验结果表明，所设计
现代电子技术 2017年8期2017-05-09
- 海量教育多媒体数据高效分类存储技术研究
。关键词： 海量数据； 教育多媒体数据库； 分类存储； 数据检索中图分类号： TN911?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）08?0042?04Research on efficient classification and storage technology of mass datain educational multimediaYUAN Yanxing1， GUO Xianzhou2（1. Guangd
现代电子技术 2017年8期2017-05-09
- 函数局部扫描解决在线题库海量数据读取
析了局部扫描海量数据库方法，实现了基于函数局部扫描解决在线题库海量数据读取的问题。给出了不同类型利用函数实现局部范圍扫描的SQL语句写法，总结了函数使用需要注意的问题。关键词：函数；局部扫描；SOL；海量数据中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）29-0014-031概述在数据处理过程中，最苦闷的事情是，很难找到提高大范围数据处理执行速度的对策，处理少量数据时，不论怎样都能够轻易地获得较快的执行速度；但对于大范围的
电脑知识与技术 2016年29期2017-04-27
- 基于云计算的海量高校体育数据建模与分析
云计算； 海量数据； 数据挖掘； K均值中图分类号： TN911.1?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）07?0105?04Mass college sports data modeling and analysis based on cloud computingWANG Ningtao（Zhongzhou University， Zhengzhou 450044， China）Abstract： In o
现代电子技术 2017年7期2017-04-14
- 海量数据机器单词中关键语义筛选方法研究
义信息抽取的海量数据机器单词中关键语义筛选方法。首先构建海量数据机器单词的文本语义主题词概念决策树模型，采用语义信息转换方式计算机器单词中关键语义的利用规则、聚类中心等信息参量；然后采用主题词表自然语义信息抽取方法进行语义评估和翻译可靠性测试，实现关键语义自动筛选控制；最后进行仿真测试。结果表明，采用该方法进行机器单词中关键语义筛选， 提高了文本机器翻译的自适应配准能力，翻译的准确性得到有效提高。关键词： 海量数据； 机器翻译； 单词； 语义筛选中图分类号
现代电子技术 2017年6期2017-04-10
- 云存储服务端海量数据安全存储的加密解决方案
储服务端； 海量数据； 安全存储； 数据加密解决方案中图分类号： TN915.08?34 文献标识码： A 文章编号： 1004?373X（2017）03?0079?03Encryption solution for mass data secure storage of cloud storage serverZHU Rong1， ZHOU Cailan2， GAO Rui1（1. Hanjiang Normal University， Shiyan 4
现代电子技术 2017年3期2017-03-04
- 基于海量数据的校园公共安全管理研究
术逐渐成熟使海量数据应用成为可能，也为校园公共安全管理提供了新思路。校园公共安全管理应在海量数据新技术应用基础上，解决数据收集、加工处理难题，转变事后“应对”模式，具有公共安全“预防”思维，从各部门的协同联动构建公共安全管理机制。[关键词]海量数据；“预防”思维；校园；公共安全管理机制doi：10.3969/j.issn.1673 - 0194.2016.24.154[中图分类号]G647 [文献标识码]A [文章编号]1673-0194（2016）24-
中国管理信息化 2016年24期2017-02-04
- 基于HADOOP集群的数据采集和清洗
果。关键词：海量数据；Hadoop；hive；数据采集；数据清洗中图分类号：TP311 文献标识码：A1 引言（Introduction）Hadoop框架本身大多是用Java编程语言编写的，一些本地代码是使用C语言编写的，命令行实用程序写成shell脚本，同时随着不同公司的工作需要，随之产生了许多不同的版本，极大的丰富了Hadoop的内容，如同后续出现的Hive、Zookeeper。截至2013年，已经有超过一半的世界500强企业采用Hadoop。Hado
软件工程 2016年11期2017-01-17
- 商业银行海量金融数据分析中数据分析技术的实践探究
商业银行 海量数据 数据分析技术 实践应用当前计算机技术已经渗透到生产生活中的方方面面，并且随着计算机技术的发展和成熟，出现了越来越多的新型计算机技术，推动社会进入了大数据时代。大数据时代的到来，对商业银行来说是把双刃剑，在带来发展机遇的同时，使得商业银行面临着更大的挑战。多种网络平台的出现，极大地丰富了商业银行的在线支付方式，催生了虚拟交易体系，在这个过程中所产生的金融数据量是非常庞大的。为了更好地迎接发展机遇和挑战，就需要充分发挥数据分析技术优势，快
经营者 2016年19期2016-12-23
- 海量数据库的设计与优化
的高速发展，海量数据库的设计成为大型软件系统不得不面对的棘手难题。在一个每天数千万甚至数亿条数据量的软件系统中，海量的数据对于系统的平稳运行造成了非常大的问题。关键词：海量数据；设计；优化中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）28-0024-01数据库技术是信息技术的基础和核心，随着各种应用的数据量飞速增长，海量数据不断产生，在对稳定性，实时性要求高的系统中，良好的数据库设计变得非常迫切。1 数据库设计在软件系统处
电脑知识与技术 2016年28期2016-12-21
- 太湖流域水资源信息管理系统设计与实现
的工作，存在海量数据存储、查询和处理的问题，针对这些困难，应用GIS和数据库技术进行二次开发，设计并实现太湖流域水资源信息管理系统，从而解决了海量数据的管理问题，提高了数据管理能力和工作效率。关键词：GIS、海量数据、信息管理系统1、引言太湖流域河流縱横交错，湖泊星罗棋布，形成江南水网，是全国河道密度最大的地区。流域内河道水系以太湖为中心，分上游水系和下游水系两个部分。近年来，太湖流域水污染严重，湖泊富营养化严重，已造成太湖流域供水水源的严重污染，对此，应
科学与财富 2016年9期2016-10-21
- 基于hadoop平台海量数据的快速查询与实现
rk；查询；海量数据 中图分类号：TP31 文献标识码：A 文章编号：1009-3044（2016）21-0003-03 Abstract： With the development of Internet technology， The amount of data generated by humans is growing exponentially. Hadoop as a common tool in the field of big dat
电脑知识与技术 2016年21期2016-10-18
- 基于海量POI数据的城市小学教育资源信息的提取与分析
词：POI；海量数据；城市小学教育资源；可达性；数据挖掘大数据在近几年是一个热门话题。大数据(bigdata)是体量巨大(volume)、多种多样(variety)、高速变化(velocity)、真实质差(veracity)、价值密度低(value)的复杂数据集合[1-3]。这种定义指出大数据最为核心的问题就是如何从规模巨大、种类繁多、生成快速的数据集中挖掘出有用的信息，进而转变成知识，为用户提供决策服务，实现大数据的价值。大数据中约有80%的数据是与空间
测绘工程 2016年10期2016-08-02
- 基于MPI的高性能UVFITS数据合成研究与应用*
VFITS；海量数据；MPI；并行计算；高性能计算中国明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph, MUSER)是同时以高时间、空间和频率分辨率对太阳进行射电频谱成像的设备[1]。随着进入系统联调和试观测阶段，当前迫切需要实现试观测结果的存储、处理，以推进设备误差修正、设备定标等一系列工作。这其中，需要应用当前射电天文领域的相关软件，如天文应用软件公共包(Common Astronomy
天文研究与技术 2016年2期2016-07-09