大数据分析及其在医疗领域中的应用

邹北骥

摘要：互联网和物联网技术的快速发展给数据的上传与下载带来了前所未有的便利，使得互联网上的数据量急剧增长，由此产生了针对大数据的存储、计算、分析、处理等新问题，尤其是对大数据的挖掘。文章分析当前大数据产生的背景，阐述大数据的基本特征及其应用，结合医疗领域，论述医疗大数据分析的目的、意义和主要方法。

关键词：大数据；物联网；医疗；大数据挖掘

1 大数据早已存在，为何现在称之为大数据时代

计算与数据是一对孪生姐妹，计算需要数据，数据通过计算产生新的价值。数据是客观事物的定量表达，来自于客观世界并早已存在。例如，半个世纪前，全球的人口数量就有数十亿，与之相关的数据就是大数据；但是在那个时代，由于技术的局限性，大数据的采集、存储和处理还难以实现。

互联网时代之前，采集世界各地的数据并让它们快速地进入计算系统几乎是一件不可想象的事情。20世纪80年代兴起的互联网技术在近30年里发生了翻天覆地的变化，彻底地改变了人们的工作和生活方式。通过互联网人们不仅可以下载到新闻、小说、论文等各类文字数据，而且可以轻而易举地下载到音乐、图像和视频等多媒体数据，这使得互联网上的数据流量急剧增长。据统计，现在互联网上每分钟流入流出的数据量达到1000 PB，即10亿GB。

推动大数据产生的另一个重要因素是物联网技术。近几年发展起来的物联网技术通过给每个物品贴上标签并应用RFID等技术实现了各类物品信息的快速采集。如新研发的各种穿戴式设备可实时在线获取人体运动过程中的各种数据，各类带有USB接口或网络接口的电子仪器可迅速地将仪器中的数据上传到互联网并进入计算系统，智能化生产过程中产生的各种数据、GPS导航系统和飞机汽车等现代交通工具在行进中产生的数据均可通过移动互联网上传。所有这一切表明，由于互联网技术的发展和物联网技术的推动，使得原本存在的大数据可快速地进入到计算系统，大数据时代到来了。

大数据的产生也与其他领域的技术发展密不可分。如生物遗传学领域近几年开展的一项巨大工程——人类基因组计划，要对人类23对染色体基因中30亿个碱基对进行测序，其数据量之巨大，以至于当前高性能计算机系统都难以在可接受的时间内完成。高能物理实验一天产生的数据高达几个TB，这些数据都在排队等待处理，当前的计算系统已难以满足它们的处理要求了。

人们关注大数据的最重要原因是因为大数据中隐藏着具有丰富价值的信息。互联网上传递的商品订购信息反映了消费者的意向、对商品质量的评价等，于是不断地收集互联网上的这些信息并进行挖掘分析将有助于企业分析其产品前景，从而不断改进以获得更多利润。分布在全球各地的气象设备采集的气象数据通过互联网汇集并通过挖掘分析后可用于预测天气情况，来自世界各地的地震监控仪采集的大量地下数据通过互联网收集形成大数据，采用数据挖掘方法分析并预测地震。大数据最早应用于电子商务领域，美国亚马逊公司的电子商务平台每天获得大量的客户订单和消费数据，应用机器学习和数据挖掘方法分析这些数据，发现了商品销售中的关联性，如商品A和商品B经常被客户同时购买，于是有意识地将这两种商品（也许它们是毫不相干的两类商品）摆在同一个货架上，使得商品的销售量大增。这就是典型的大数据分析的结果。因此大数据时代我们所要做的事情就是对隐藏于大数据中有价值的信息进行分析与挖掘，以便利用它们为人类服务。

2 大数据的特征与计算系统面临的新问题

来自于各个领域的大数据尽管代表着不同的事物，隐藏着不同的价值信息，但都具备4个重要特征，称为4V特征，即Volume（大容量）、Velocity（快速更新）、Variety（多类型）和Value（高价值）。所谓Volume是指数据量极大，虽然没有一个绝对的容量标准，但一般都在数十个TB以上。Velocity是指数据产生和更新的速度很快，大数据的产生是一个快速的动态过程。Variety是指数据的种类多，除了文字数据外，还包括图像、图形、视频以及声音等多媒体数据。Value是指大数据中隐藏了具有高价值的信息，这些信息需要通过机器学习与数据挖掘方法才可能提取到。以医院电子病历数据为例，它是典型的大数据。首先，电子病历的数据量大。以一个小规模城市的数家医院形成的区域医疗系统为例，每大门诊量和住院病人人数都在数万人以上，每人每次的病历、检验数据可达到几个GB，因此每天的数据都在几个TB甚至数十个TB以上。其次，数据的更新速度快。每天在线检查化验的人数快速增加，其数据也在快速更新。第三，电子病历的数据类型包括了文本、图像、图形和视频等多类型数据。最重要的是电子病历数据中隐藏着极有价值的医疗和医学信息。通过数据挖掘方法可以挖掘出这些信息以便医生进一步分析患者的病因，形成更好的治疗方案。

大数据给计算机科学与技术领域带来了以下的新问题和挑战。

（1）大数据的存储。大数据一般来自互联网，是动态的多类型数据。尽管当前的存储器容量在不断增加，但选择一种什么样的结构来存储大数据以便能更好地存取是一个需要解决的问题。以电子病历数据为例，多家医院产生的电子病历数据是集中存储于某一个医院还是分布式存储于各家医院，这里不仅有一个管理、隐私和医院利益的问题，也有技术上实现的问题，有待进一步研究。近几年发展起来的云存储或许是一种很好的选择。借助于第三方提供的云存储服务，在保证数据安全和各个医院权益的条件下，各家医院可以将自己的电子病历数据存储到云服务器上，实现数据共享。

（2）计算系统的结构和计算模式。传统的单机系统和分布式系统难以处理这些动态实时更新的大数据，于是以集群方式构建的多机系统再加上以互联网相连的云计算平台将成为大数据的有效计算平台。分布在各地的数据需要由当地的集群式计算平台对数据做预处理，然后通过互联网将数据传输到数据处理中心，以更高性能的集群式系统进行处理并将结果反馈到各个分布式系统中。近几年美国Google、IBM公司还有中国的曙光、联想等大公司相继推出了用于处理大数据的各种集群式计算机系统，它们可为大数据的处理提供更好的服务。endprint