跨境电商信息化监管系统中数据挖掘和清洗的运用

唐雪涛

摘 要： 随着当前社会经济的发展，跨境电商已经成为推动我国外贸产业发展的主要动力之一。相比于传统对外贸易方式而言，在现有经济条件下，跨境电商具有极大的发展潜力。作者所在的检验检疫部门负有对出入境货物进行行政监管的职责，近年来建立了一整套跨境电商信息化监管系统，为了应对跨境电商的海量数据，建立了大数据平台，运用了数据采集、挖掘、清洗等技术手段。本文主要就对跨境电商信息化监管系统中数据挖掘和清洗的运用进行分析和探讨。

关键词：跨境电商 信息化 数据挖掘 清洗

中图分类号：F713 文献标识码：A 文章编号：1003-9082（2016）09-0088-01

一、跨境电商的定义及类型

跨境电商，根据其商业模式可以分为如下三种类型。跨境B2B是指分属不同关境的商业企业之间，通过电子商务手段使商品展示、信息交流、业务洽谈和交易环节信息化，以规模化现代跨境物流送达货物给关境外的商户，并通电子化方式支付和结算，完成商品交易活动的国际商业行为。这类交易模式在进出口检验检疫可走传统贸易模式，也可走保税备货模式。

跨境B2C是指分属不同关境的企业直接面向消费者个人开展在线商品展示、宣传、销售产品和服务，并采用快件、小包等行邮的方式通过跨境物流将商品送达消费者手中的商品交易行为过程。在检验检疫监管中，电商企业先在报税园区备货再转邮包的形式属于保税备货模式，直接从海外发邮包的，属于直邮模式。

跨境C2C是指分属不同关境的个人卖方对个人买方开展的在线销售产品和服务，由卖家通过第三方电商服务平台发布产品和服务价格等相关信息，个人买方进行筛选，最终通过电商服务平台达成商品在线交易，通过电子化手段进行支付结算，并采用快件、小包等行邮的方式通过跨境物流将商品送达到消费者手中的商品交易行为。在检验检疫监管中，属于直邮模式。

二、跨境电商对监管带来的挑战

1.如何落实经营主体责任。传统国际贸易中货物所有权转移给国内进口商的过程规范合法，涉及的国外供货商较少，在产品质量、消费维权等方面完全可以按照中国的法律来落实中间商的主体责任，而中间商也有能力肩负起主体责任的义务。跨境电商的经营主体和传统贸易企业相比，数量多规模小，一家跨境电商涉及的国外供货商数量可以成千上万，且有部分跨境贸易是由国外卖家直接到国内消费者，中间缺少经营责任承载主体。因此在对国内经营主体追责上存在困难，在对国外卖家身份识别、产品溯源等方面也难以运用中国法律进行规范。

2.如何落实产品溯源管理。传统国际贸易买卖双方通过订立合同方式对产品来源渠道、质量要求予以明确，因此一旦发生质量问题或被消费者要求退货，能够快速有效地进行溯源。跨境电商贸易由于批量小而多，供货状况复杂，难以使用传统手段完成在溯源工作，必须依靠新技术，建立信息化的溯源体系。

三、数据挖掘的过程

1.数据清洗

数据清洗是纠正数据纰漏的步骤，通常情况下大数据包的质量都不高，存在数据缺失、噪声数据、重复数据，甚至离群点数据的情况，数据清洗的工作就是删除重复冗杂数据、补充缺失的数据，并对数据的一致性进行核查和筛选，采用不同的处理方法可能对分析结果产生影响，尤其是当缺失值的出现并非随机且变量之间明显相关时。因此，在调查中，应尽量避免出现无效值和缺失值，保证数据的完整性。只有通过了数据清洗，才能为数据挖掘的结果提供优质而坚实的基础。

2.数据集成

数据集成是把不同来源、不同格式、不同特点性质的数据在逻辑上或物理上进行有机的结合，数据集成可以有效地为需求方提供全面的数据基础。数据集成步骤可以有效解决在数据库管理工作中，因为数据来源问题造成的数据不一致和冗余的问题，让数据有一个良好的逻辑或物理结构，并保持统一格式。在一些工作中不存在多个数据源时，本步骤可以省略。

3.数据归约

数据归约是一个关键的过程，能够大量减少海量数据在运算时候的时间。通过数据归约，数据可以得到一定的压缩，由于数据归约基本保持了数据的完整性，归约处理后的数据挖掘结果与不归约的结果相差无几，但工作效率则有明显的提升。

4.数据转化

数据转化又称为数据变换，通过平滑聚集、数据概化、规范化等方式，将数据转化为数据挖掘所需要的形式，一般情况下，该形式为数据规范化技术。对于某些实数型数据，通过概念分层和数据的离散化来转换数据是重要的一步。

5.数据挖掘

数据挖掘是选择适合的分析工具，按照统计学中的方法，事例推理、决策树、规则推理等方法对信息进行处理，得出有用的分析处理信息。

四、数据挖掘在跨境电商信息化系统中的应用

1.数据挖掘在检验监管方面的应用

杭州作为全国最早设立的跨境电子商务综合试验园区之一，跨境电子商务的发展排在全国前列，早在2015年，作者所在的浙江出入境检验检疫局就建立了跨境电子商务监管信息化平台。

平台通过电子口岸获取数百家电商平台的跨境电子商务交易信息，每天处理10万左右的跨境订单数据，在双十一峰值时，平台日处理单量为百万级别。

每月都有300～400万订单数据沉淀到监管平台中，对这些数据进行有效的挖掘分析，利用数据化手段实现监管

2.数据挖掘在风险监测方面的应用

目前浙江受国家质检总局委托，在杭州建立全国跨境电子商务风险监测中心，作为中心的信息化支撑，同步建设跨境电子商务风险监测平台。风险监测平台的数据来源多种多样，有天猫国际等电商平台传输给我局的风险信息，有我局自建网络爬虫在各大电商网站上抓取的信息，也有国外监管部门通报退运的信息。运用数据清洗技术手段，从这些数据中找出真正的风险点，形成能够切实指导一线业务人员对货物进行抽查检验的警示通报。

结语

跨境电商作为新鲜事物，新的交易模式，新的经济增长点，有着巨大的市场潜力和生命力。同时，跨境电商的业态和传统模式不同，从其诞生开始就和信息化系统紧密结合，其数据有着全面、海量、实时性高等诸多的特点。作为检验检疫部门，就必须在信息化系统建设上紧跟时代，建立大数据平台、运用数据采集、挖掘、清洗等先进手段，依托检验监管系统、风险监测预警系统，从而合理有效的履行对跨境电子商务行业的监管职责。

参考文献

[1]穆承刚.我国小额跨境电子商务模式研究[D].上海社会科学院，2014.

[2]金虹，林晓伟.我国跨境电子商务的发展模式与策略建议[J].宏观经济研究，2015，09：40-49.