大数据背景下经济普查的难点与对策

马郡泽

大数据技术为经济普查提供了新的手段，也带来了数据量激增、数据安全隐患加剧、数据管理与分析难度增加等一系列新挑战。为有效解决这些难题，需要通过与多个领域的数据关联应用，发掘数据更大的价值，服务于经济管理的多个决策层面。

随着信息技术的快速发展，大数据技术的应用为各行各业的数据发掘与分析提供了新的思路。然而大数据条件下经济普查也面临一定的难点与挑战。数据量与数据类型的多样性使得数据的真实性和有效性难以保证，数据的隐私性与安全性也面临威胁。此外，不同系统异构数据之间关联度的提高给数据分析的广度与深度带来挑战。为此，需要从保证数据质量、强化数据安全以及扩大数据应用等多个层面入手，综合应对大数据条件下经济普查中的难点，发挥大数据技术对经济研究与决策支持的重要作用。

一、大数据背景下经济普查的难点

（一）数据质量问题

在大数据时代，数据的质量是影响数据分析的关键因素。然而，经济普查中的数据质量面临着严峻的挑战。首先，由于数据来源广泛，真实性难免受到影响。例如，一些数据可能来自不可靠的渠道，或者存在人为的篡改、伪造、误报等现象。这些都会导致数据的真实性降低，影响数据的可信度和有效性。其次，异构数据之间存在语义不匹配的问题。例如，不同的数据源可能采用不同的数据格式、编码、标准、定义等，导致数据之间的一致性和互操作性差。

（二）数据安全问题

在大数据环境下，经济普查数据规模巨大，涉及个人、企业的隐私数据。这些敏感数据很容易受到外部的攻击、盗取或篡改，数据安全问题凸显。一旦出现数据泄密，后果严重。例如，个人的身份信息、收入情况、消费行为等，如果被泄露，可能会导致个人的财产损失、信用受损、隐私侵犯等。企业的经营状况、市场占有率、核心技术等，如果泄露，可能导致企业的竞争力下降、商业机密泄露、知识产权被侵权等。

（三）数据处理问题

大数据时代数据类型复杂、变化快，给数据处理带来困难。如何快速高效地对海量经济普查数据进行收集、存储、清理、转换、加载、运算分析，是数据处理面临的难题。例如，数据收集过程中，需要考虑数据的来源、时效、完整、准确等因素，并采用合适的数据采集方法和工具。数据存储过程中，需要考虑数据的规模、结构、分布、可访问性等因素，并采用合适的数据存储模式和技术。数据清理过程中，需要考虑数据的质量、一致性、有效性等因素，并采用合适的数据清理方法和工具。这些数据处理的各个环节都需要大量的时间、资源、技术和人力，并且存在相互依赖和影响的关系，难度不小。

（四）数据应用问题

如何扩大经济普查大数据的应用范围，让数据发挥更大的价值，也是目前面临的难点。比如开发符合决策需求的应用，实现与其他领域数据的有效融合等，仍有不少工作要做。例如，如何将经济普查数据与社会、政治、文化、环境等其他领域的数据进行有效整合，形成更全面、更深入的数据分析，从而为各级政府和社会各界提供更有价值的数据支持和服务。如何将经济普查数据与互联网、物联网、人工智能等其他技术进行有效结合，形成更智能、更便捷的数据应用和服务，从而为个人、企业和社会提供更有用的数据产品和解决方案。这些都是经济普查大数据应用的方向和目标，但也存在着技术、资源、管理、法律等方面的障碍和挑战。

（五）信息共享问题

在大数据背景下，经济普查数据的信息共享是提高数据利用效率和价值的重要途径。然而，目前经济普查数据的信息共享还存在着一些难点。首先，信息共享的法律法规不完善，缺乏统一的标准和规范，导致信息共享的主体、范围、方式、责任等不明确，存在法律风险。例如，数据的所有权、使用权、许可权等不清晰，导致数据的共享受到限制或阻碍。其次，信息共享的技术平台不健全，缺乏统一的数据交换和共享机制，导致信息共享的效率和质量低下，存在技术障碍和困难。例如，数据的格式、编码、标准、定义等不统一，导致数据的转换和匹配困难。最后，信息共享的管理制度不健全，缺乏有效的数据监督和评估机制，导致信息共享的秩序和效果不理想，存在管理漏洞和問题。例如，没有对数据的共享过程和结果进行有效记录和反馈，导致数据的共享缺乏透明度和可追溯性。

二、对策分析

（一）建立健全数据质量管理体系

首先，建立全面的数据质量监测机制，加强对数据来源的管理，确保入库数据的真实可靠。例如，可以通过数据源的认证、数据的抽样检验、数据的交叉验证等方法，对数据的来源进行筛选和评估，排除不可信的数据源，提高数据的真实性。同时，要不断完善数据标准，强化数据之间的关联与匹配，减少异构系统数据之间的语义偏差。例如，可以通过制定统一的数据格式、编码、标准、定义等，对数据进行规范化和标准化管理，提高数据的一致性。还可以通过建立数据字典、数据目录、数据地图等，对数据进行描述和注释，提高数据的可理解性。

（二）加强数据安全保护措施

首先，建立严密的数据安全体系，运用加密、脱敏、权限控制等技术手段，防范外部攻击和内部泄密，保护数据的完整性和隐私性。例如，可以通过对数据进行加密处理，使数据在传输和存储过程中不被窃取或破解，保护数据的完整性。还可以通过对数据进行脱敏处理，使数据在使用和展示过程中不暴露敏感信息，保护数据的隐私性。此外，还要加强安全意识培训，营造所有员工共治的数据安全氛围。例如，可以通过定期的安全教育、安全演练、安全考核等方式，增强员工的安全意识和技能，规范员工的数据使用行为，防止数据的滥用或泄露。

（三）利用大数据技术和工具

面对数据类型和数量的爆炸式增长，需要使用大数据处理平台，选择高效的分布式存储系统，建立高性能的分析计算框架，使用流式处理、内存计算等技术加速数据处理，使之能够适应数据量大、速度快、类型复杂的特点。例如，可以使用Hadoop、Spark等大数据处理平台，对海量经济普查数据进行收集、存储、清理、转换、加载、运算分析等操作，提高数据处理的效率和质量。还可以使用Kafka、Storm、Flink等流式处理技术，对实时经济普查数据进行快速的处理和分析，提高数据处理的时效性和实时性。

（四）拓展数据的应用领域

主动拓宽经济普查大数据应用的范围，通过和其他领域数据的有效融合，服务于更广泛的决策需求。比如，支持经济状况评估与预测、构建知识图谱、进行数据可视化展示等，让数据应用惠及更多领域，提升数据分析的价值。例如，可以通过将经济普查数据与社会、政治、文化、环境等其他领域的数据进行有效整合，形成更全面、更深入的数据分析和挖掘，从而为各级政府和社会各界提供更有价值的数据支持和服务。还可以通过将经济普查数据与互联网、物联网、人工智能等其他技术进行有效结合，形成更智能、更便捷的数据应用和服务，从而为个人、企业和社会提供更有用的数据产品和解决方案。

（五）推进数据开放和共享

从法律、技术、管理等方面推进数据的开放和共享。首先，完善数据的法律法规，明确数据的权属和责任，制定数据的共享标准和规范，保障数据的合法合规共享。例如，可以通过制定数据的分类和分级制度，确定数据的共享主体、范围、方式、条件等，规范数据的共享行为。还可以通过建立数据的保护和惩罚制度，保护数据的安全和隐私，防止数据的滥用和泄露。其次，建立数据库技术平台，实现数据的统一交换和共享，提高数据的共享效率和质量。例如，可以通过建立数据的共享中心，提供数据的发布、查询、申请、下载等服务，方便数据的共享使用。还可以通过建立数据的共享协议，实现数据的格式、编码、标准、定义等的统一。最后，健全数据的管理制度，加强数据的监督和评估，优化数据的共享秩序和效果。例如，可以通过建立数据的共享日志，记录数据的共享过程和结果，提高数据的共享透明度和可追溯性。还可以通过建立数据的共享指标，评估数据的共享质量和价值，提高数据的共享效益和水平。

三、大数据背景下经济普查的优化措施

（一）多源异构数据关联分析，支持经济状况评估与预测

在大数据环境下，可以收集更多类型的经济运行数据，并与普查数据实现有效关联，从更多维度解析经济状况，进而通过模型运算，得出经济形势评估分析以及未来趋势预测。例如，可以收集社会、政治、文化、环境等其他领域的数据，并与经济普查数据进行关联分析，从宏观和微观的角度，揭示经济状况的影响因素、变化规律、发展方向等。还可以通过机器学习、深度学习等模型，对经济普查数据进行运算分析，从历史和现状的角度，评估经济状况的优劣、问题、风险等。此外，还可以通过时间序列分析、趋势预测等模型，对经济普查数据进行运算分析，从未来的角度，预测经济状况的变化、趋势、机遇等。

（二）建立经济普查知识图谱，支持问答、决策等服务

基于知识图谱，可以构建智能问答、决策分析等服务，辅助管理决策。例如，可以通过知识图谱技术，将经济普查数据中的经济活动主体、经济状况、经济指标等，作为实体，将实体之间的从属、关联、影响等关系，构建经济普查知识图谱，形成经济普查领域的概念体系。还可以通过知识图谱技术，将经济普查数据中的新的数据、信息、知识等，不断融入知识图谱，丰富图谱内容。此外，还可以基于知识图谱，构建智能问答、决策分析等服务，辅助管理决策。例如，可以通过智能问答服务，根据用户的自然语言问题，从知识图谱中检索相关的实体和关系，给出精准的答案。还可以通过决策分析服务，根据用户的决策目标，从知识图谱中提取相关的实体和关系，进行数据分析和模型运算，给出优化的方案。

（三）数据可视化展示分析成果，直观反映经济动态

充分利用可视化的展示手段，将抽象的数据转化为直观的图表，通过动态的、交互式的可视化应用，将经济普查数据分析的结果和经济发展动态更好地呈现出来，提升分析成果的说服力。例如，可以利用柱状图、折线图、饼图等常见的图表，将经济普查数据分析的结果，如经济活动主体的数量、结构、分布等，以及经济状况的评估、预测等，以简洁明了的方式展示出来，突出数据的重点和趋勢。还可以利用地图、仪表盘、故事板等高级的图表，将经济普查数据分析的结果，如经济活动主体的地理位置、经济状况的区域差异等，以及经济发展动态的变化、影响等，以生动形象的方式展示出来，增加数据的吸引力和感染力。此外，还可以利用动态的、交互式的可视化应用，让用户可以根据自己的需求，对数据进行筛选、排序、比较、聚合等操作，实现数据的个性化和定制化展示，提高数据的可用性和灵活性。

（四）建立经济活动场景和portrait，支持精准识别与画像

大数据技术可以为经济普查提供更丰富、更准确、更及时的数据来源和分析方法。一方面，可以利用定位服务、交易数据等，实现对不同经济活动的实时监测和动态评估。例如，可以通过分析用户的位置轨迹、消费行为、社交网络等，判断用户是否参与了旅游、购物、餐饮等经济活动，并对这些活动进行分类、统计和评价。这样，就可以对经济活动的规模、分布、特征、影响等进行全面了解和分析，为经济决策提供有力的支持。另一方面，可以依托portrait技术，从数据层面深入绘制经济活动主体的画像，作为经济普查的重要内容。portrait技术是一种利用数据挖掘、机器学习等方法，对经济活动主体的属性、行为、偏好、需求等进行综合描述和预测的技术。通过portrait技术，可以将经济活动主体划分为不同的群体或个体，并对其进行详细描述和分析。例如，可以根据用户的消费习惯、信用评级、收入水平等，为其提供合适的金融产品、优惠政策、营销策略等。这样，就可以提高经济普查的精度、质量和效率，促进经济的发展和创新。

结语：

大数据为经济普查提供了新的机遇，也带来一定的挑战。要认识到大数据条件下的数据特性，主动应对数据质量问题、数据安全问题、数据处理难题以及数据应用局限等方面的难点。同时，要充分利用大数据技术，建立数据治理体系，优化数据分析流程，拓展数据应用范围，推动经济普查大数据分析向规范化、系统化、智能化方向发展，造福社会经济。