大数据背景下的软件工程关键技术分析

陈天宇，潘凌皓

（中移<苏州>软件技术有限公司 江苏 苏州 215000）

1 引言

伴随计算机技术的发展，大数据就成为其必然路径，软件设计自然就有了大数据背景。软件的发展是不断进步的，传统结构化信息逐渐被淘汰，信息处理要求极高，并与网络结合。大数据背景下的软件工程中的服务工程和组件工程发挥着越来越重要的作用。现在，面向服务的软件服务工程以服务为中心，依实际需要以分布式、虚拟化管理维护软件工程，解决系统集成与协作问题[1]。

网络化、服务化的大环境下，软件开发变得开放，通过信息共享、学术交流方式协同合作开发，在用户参与中完成高性价比软件系统。

开源软件是一种成功的软件开发模式，是学术界的重点研究对象。组件工程中提倡的是在众包基础上的开发模式，众包是分布式的解决方案和生产模式。密集型数据科研第四范式对密集数据研究时，建立统一理论和研究方法，强调大数据存储的重要性。

2 大数据和软件工程技术概念

2.1 大数据

伴随计算机技术的广泛应用，大数据技术逐步成熟，大数据由此产生。大数据技术是可以对网络环境巨量信息做筛选、分析和处理的一套应用实现。传统数据信息处理系统面对网络上巨量数据信息处理能力较弱，往往只能将大量数据当成无用数据而舍弃，自然会将许多有价值的信息一同丢弃。大数据技术实现了网络巨量数据的分类整理，为巨量数据的应用和挖掘提供基础支持。

大数据简单理解就是数量巨大的数据信息，是软件技术促成的一项变革，其影响广泛，促进社会的发展。大数据背景下，应用者可方便快捷地获取海量数据信息，分析大数据内涵，可将大数据精髓应用到需求实践中去[2]。

2.2 软件工程技术

软件工程技术是以应用程序工程化设计实现系统化专业应用的计算机技术。软件工程技术内涵一般分解为软件工程的原理、过程和方法等，是以计算机网络技术，通过程序设计语言实现软件的功能集，并作优化和提升，是在程序设计发展到成熟过程中逐步形成的。大数据背景下，软件工程技术被广泛应用于不同行业领域，整体提升了社会经济的发展效率。

计算机软件工程技术在互联网时代取得了高速发展，软件工程技术与大数据技术相结合，提升了软件工程服务社会的能力。大数据技术的专业实用性对软件工程技术提出了更高要求，数据处理能力兼顾安全有效性。

3 大数据下软件工程关键技术

3.1 软件服务工程

面向服务的软件工程简称作软件服务工程，以服务为中心，具有虚拟化管理优势，能建构分布式应用，通过虚拟化强化了操作性，适应分布和动态应用。针对用户情况做调试，保障用户系统的稳定性和安全性。同时，服务软件工程技术实现数据整合，提高管理能力，操作流程明晰。

软件工程在云计算、大数据领域的应用得到长足发展，在网络服务大环境的应用更开放，通过信息共享和学术交流，工程师可协同开发，快速建设高性价比的软件系统。

软件服务开发适合主流需求，工程化地实现服务功能应用软件开发。该技术应用的投资大，应用能力要求较高，应用不广泛。

3.2 众包软件服务工程

众包是指分布式生产模式，众包提供更多解决问题的创意，在软件开发各阶段都可使用。众包软件服务工程技术以流式数据、密集数据为主要研究对象，构建系统化服务平台，服务能力是其核心应用价值，以群体服务方式优化自身应用。众包软件服务工程技术以专业理论分析为依据，能以整体角度完成数据传输和处理，发展空间广阔。

众包软件服务工程技术优势明显，分析密集型数据时，不仅分析原生数据，还要分析数据所属领域，大数据技术使数据处理更具整体性，突出了软件工程的服务。

3.3 密集型数据研究

密集数据研究要建立统一理论和研究方法，强调大数据的重要性，用第四范式对密集型数据做研究，确认方法和结构，分析关键性问题。密集型数据的研究不同于传统方式，需转变思维模式。要建立科学完整的第四范式，建立完整统一的理论体系，再逐步转化为第三范式。

密集型数据及其动态分布、价值隐藏和动态交互的演化都是原始形式的大数据。在密集数据研究模式中，要分析数据的整合驱动、需求的度量价值以及情境约束等。知识和价值服务是研究重点，针对密集型数据服务，研究密集型数据的管理和应用，使用一致的理论和方法。

3.4 计算机信息处理技术

大数据的特点是结构复杂、容量巨大，相比于独立型数据形式，大数据的各数据间相互联系，现有框架下的计算机信息处理技术难以及时有效处理。硬件模式搭建的网络有局限性，制约网络性能的发展，需要创新性探索计算机网络架构技术，用网络处理大数据。计算机网络须先有开放式的传输功能和网络结构，使信息处理能力不依赖于计算机硬件基础，定义网络架构，利用网络软件使网络技术取得发展。

大数据时代，硬软件和网络融为一体，形成新型网络结构，支撑大数据发展。一是结构突破传统处理技术和网络的限制，为计算机处理技术创新打下基础；二是使众多信息处理技术趋于网络多元化，使小机构也有机会参与大项目开发。

4 大数据背景下软件工程技术分析

4.1 软件工程技术分析的思路和方法

软件工程技术分析经长期发展逐步形成固有的思想和方法，对软件工程技术整体起到促进作用。在大数据背景下，实用性软件工程技术要符合新的要求，在现有体系基础上，需要更符合实际需求的软件工程思想和理念支撑。

首先，针对大数据特点和处理要求，应开发出数据处理能力强大的软件系统，并配以大数据为对象的软件工程技术思想，使用符合大数据要求的软件工程技术方法。其次，在软件工程过程中，技术人员常会接触到很多过程数据，都具备大数据的特点，软件工程技术人员应分析数据特征，找出有价值的数据群，并充分利用，探求软件工程规律，并运用于后续工作中，这样分析思想和方法的交替更新，必能形成基于大数据的软件工程技术分析方法[3]。

4.2 全新的软件工程技术手段和工具

软件工程技术手段长时间单一，技术分析工具相对简单，仅适用单纯的分析对象，不能胜任大数据背景下的数据处理，更难全面研究大交汇数据的处理，因此，软件工程需要新的技术手段和工具。

大数据的范围很广泛，在这些数据中，事务数据一般是结构化的，软件技术人员在处理这类数据时，可用传统技术手段和工具，但大交汇数据多是属于半结构化甚至是非结构化的，单纯以传统方式是无法处理这类数据的。不论是存储和管理，还是分析和应用，都需要软件技术人员应用新的技术手段和工具。由于大数据具有范围广、数据复杂的特点，软件技术人员须具备大数据并行分析能力，并可挖掘出有价值信息，这要求软件技术人员探究针对分布式存储的大数据的处理方法，增强对数据的实时处理能力。

4.3 全新的软件工程技术需求分析方式

软件工程技术分析首先要做的是需求分析工作，准确理解应用者的真实需求，再确定软件系统的功能、性能等目标，在此基础上开始开发、测试和交付，需求分析甚至决定了项目成败。

传统的需求分析方式的过程较耗时，软件设计时效性不能保证。大数据特点要求软件工程技术分析结果必须快速推出，还要支持软件快速升级换代，软件工程技术人员须短时间全面收集用户需求，并快速反应以完成相应的设计开发和测试，从测试回馈到软件系统优化完善也是快速反应的。

在大数据背景下，获取需求并非需要应用者现场参与，通过网上问卷调查形式广泛收集需求，再借助大数据分析手段获取价值需求。大数据背景下的需求分析的思想变革，能有效指导软件设计思维和过程的变革。

4.4 软件工程技术人才培养方案和师资

软件工程技术人才的培养要以时代需要为目标，培养方案也应是不断优化更新的，大数据时代对人才培养方案的要求更高。大数据时代的软件工程技术人员须有快速反应能力、敏锐观察能力、综合分析能力和实践创新能力，软件工程技术需全新的思维和创新模式，技术人员队伍需要新鲜血液。

大数据时代软件工程技术人员的培养刻不容缓，要制订与大数据相适应的专业培养方案，更需要储备与之相适应的师资力量。

5 结语

综上所述，大数据时代的全面到来，使社会各领域都不断渗透着大数据的思想以及软件工程创新思维，大数据会彻底改变人们工作和生活方式。作为一项重要新兴技术，国家和企业都应当加大投入，研究大数据并应用于实践，深入探索大数据背景下软件工程的发展之路，为人们提供安全、可靠的技术，保障社会健康、稳定的发展[4-5]。

大数据不断发展，已成为科学技术领域的主流驱动力。科技全球化既是机遇，也是挑战，面对社会经济发展巨大推动力带来的机遇与挑战，软件工程技术在未来发展中应致力于创新与应用。大数据不断发展过程中，软件工程技术会越来越完善，在技术上能给予应用者全面优质服务，在信息处理的速度和稳定性上都会有大幅度提高。

软件工程要在实践中展开研究，改革传统软件理论，以创新的软件技术解决限制软件工程发展的诸多问题，结合现代网络的发展，在大数据时代全面加速行业的发展。