数据科学研究的近况与趋势全解

　　大数据时代的到来催生了一门新的学科——数据科学。首先，本文探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题，并提出了专业数据科学与专业中的数据科学之间的区别与联系；其次，分析现阶段数据科学的研究特点，并分别提出了专业数据科学、专业中的数据科学及大数据生态系统中的相对热门话题；接着，探讨了数据科学研究中的10个争议及挑战：思维模式的转变（知识范式还是数据范式）、对数据的认识（主动属性还是被动属性)、对智能的认识（更好的算法还是更多的数据）、主要瓶颈（数据密集型还是计算密集型）、数据准备（数据预处理还是数据加工）、服务质量（精准度还是用户体验）、数据分析（解释性分析还是预测性分析）、算法评价（复杂度还是扩展性）、研究范式（第三范式还是第四范式）、人才培养（数据工程师还是数据科学家）。再次，提出了数据科学研究的10个发展趋势：预测模型及相关分析的重视、模型集成及元分析的兴起、数据在先，模式在后或无模式的出现、数据一致性及现实主义的回归、多副本技术及靠近数据原则的广泛应用、多样化技术及一体化应用并存、简单计算及实用主义占据主导地位、数据产品开发及数据科学的嵌入式应用、专家余及公众数据科学的兴起、数据科学家与人才培养的探讨。最后，结合本文工作，为数据科学研究者给出了几点建议和注意事项。

 

　　大数据正在改变着人们的工作、生活与思维模式，进而对文化、技术和学术研究产生了深远影响。一方面，大数据时代给各学科领域带来了新的机遇——认识论和研究范式的转变，出现了一种区别于传统科学研究中沿用至今的“知识范式”的新研究范式——“数据范式”。“数据范式”的广为应用成为现代科学研究的一个重要转变。另一方面， 大数据带来的挑战在于数据的获得、存储、计算不再是瓶颈或难题，各学科领域中的传统知识与新兴数据之间的矛盾日益突出，传统知识无法解释和有效利用新兴的大数据，进而促使传统理论与方法的革命性变化。

 

　　目前，大数据已受到各学科领域的高度关注，成为包括计算机科学和统计学在内的多个学科领域的新研究方向，表现出不同专业领域中的数据研究相互高度融合的趋势，进而即将独立出一门新兴学科——数据科学。同时，大数据研究中仍存在一些误区或曲解，如片面追求数据规模、过于强调计算架构和算法、过度依赖分析工具、忽视数据重用、混淆数据科学与大数据的概念以及全盘否定大数据等。因此，现代社会需要一门新学科来系统研究大数据时代的新现象、理念、理论、方法、技术、工具和实践，即“数据科学”。

 

　　本文第1节探讨数据科学的内涵、发展简史、学科地位和知识体系等四个基本问题，并提出了数据科学的两个基本类型——专业数据科学和专业中的数据科学。第2节提出现阶段数据科学研究的特点——本质问题的系统研究较少，反而周边问题的讨论较多，并分别分析了专业数据科学、专业中数据科学以及大数据生态系统中的相对热门话题。第3节探讨数据科学研究中的10个争议——思维模式的转变（知识范式还是数据范式）、对数据的认识视角（主动属性还是被动属性)、对智能的认识侧重点（更好的算法还是更多的数据）、主要瓶颈（数据密集型还是计算密集型）、数据准备（数据预处理还是数据加工）、服务质量（精准度还是用户体验）、数据分析（解释性分析还是预测性分析）、算法评价（复杂度还是扩展性）、研究范式（第三范式还是第四范式）和人才培养（数据工程师还是数据科学家），并分别提出了研究挑战。第4节分析了数据科学研究的10个发展趋势——预测模型及相关分析的重视、模型集成及元分析的兴起、数据在先，模式在后或无模式的出现、数据一致性及现实主义的回归、多副本技术及靠近数据原则的应用、多样化技术及一体化应用并存、简单计算及实用主义占据主导地位、数据产品开发及数据科学的嵌入式应用、专家余及公众数据科学的兴起以及数据科学家与人才培养的探讨。最后总结全文,并对数据科学研究者提出了几点建议。

 

　　数据科学：大数据背后的科学

 

　　“数据科学”与“大数据”是两个既有区别又有联系的术语，可以将数据科学理解为大数据时代一门新科学，即以揭示数据时代，尤其是大数据时代新的挑战、机会、思维和模式为研究目的，由大数据时代新出现的理论、方法、模型、技术、平台、工具、应用和最佳实践组成的一整套知识体系。

 

　　1.  数据科学的内涵及兴起

 

　　1974年，着名计算机科学家、图灵奖获得者Peter Naur在其着作《计算机方法的简明调研（Concise Survey of Computer Methods）》的前言中首次明确提出了数据科学（Data Science）的概念，“数据科学是一门基于数据处理的科学”，并提到了数据科学与数据学（Datalogy）的区别——前者是解决数据（问题）的科学（the science of dealing with data），而后者侧重于数据处理及其在教育领域中的应用（the science of data and of data processes and its place in education）。

 

　　Peter Naur首次明确提出数据科学的概念之后，数据科学研究经历了一段漫长的沉默期。直到2001年，当时在贝尔实验室工作的William S. Cleveland在学术期刊International Statistical Review上发表题为《数据科学——拓展统计学技术领域的行动计划（Data Science: an Action Plan for Expanding the Technical Areas of the Field of Statistics》的论文，主张数据科学是统计学的一个重要研究方向，数据科学再度受到统计学领域的关注。之后，2013年，Mattmann C A和 Dhar V在《自然（Nature）》和《美国计算机学会通讯（Communications of the ACM）》 上分别发表题为《计算——数据科学的愿景（Computing: A vision for data science）》和《数据科学与预测（Data science and prediction）》论文，从计算机科学与技术视角讨论数据科学的内涵，使数据科学纳入计算机科学与技术专业的研究范畴。然而，数据科学被更多人关注是因为后来发生了三个标志性事件：一是Patil DJ和 Davenport T H于2012年在哈佛商业评论上发表题为《数据科学家——21世纪最性感的职业（Data scientist: the sexiest job of the 21st century）》;二是2012年大数据思维首次应用于美国总统大选，成就奥巴马，击败罗姆尼，成功连任；三是美国白宫于2015年首次设立数据科学家的岗位，并聘请Patil DJ作为白宫第一任首席数据科学家。

 

　　Gartner的调研及其新技术成长曲线（Gartner's 2014 Hype Cycle for Emerging Technologies）表示，数据科学的发展于2014年7月已经接近创新与膨胀期的末端，将在2~5年之内开始应用于生产高地期（plateau of Productivity）。同时，Gartner的另一项研究揭示了数据科学本身的成长曲线(Hype Cycle for Data Science)，如图1所示。从图1可以看出，数据科学的各组成部分的成熟度不同：R的成熟度最高，已广泛应用于生产活动；其次是模拟与仿真、集成学习、视频与图像分析、文本分析等，正在趋于成熟，即将投入实际应用；基于Hadoop的数据发现可能要消失；语音分析、模型管理、自然语言问答等已经渡过了炒作期，正在走向实际应用；公众数据科学、模型工厂、算法市场（经济）、规范分析等正处于高速发展之中。

 

图1  数据科学的成长曲线（2016）

 

　　2.  数据科学的学科地位

 

　　2010年，Drew Conway 提出了第一张揭示数据科学的学科地位的维恩图——《数据科学维恩图（The Data Science Venn Diagram）》（图2），首次明确探讨了数据科学的学科定位问题。在他看来，数据科学处于统计学、机器学习和领域知识的交叉之处。后来，其他学者在此基础上提出了诸多修正或改进版本，如图3是Jerry Overton于2016年给出的数据科学维恩图。但是，后续版本对数据科学的贡献和影响远不及Drew Convey首次提出的数据科学维恩图。

 

图2  Drew   Conway的数据科学韦恩图（2010）

图3  Jerry   Overton的数据科学韦恩图（2016）

 

　　从Drew Conway的《数据科学维恩图》的中心部分可看出，数据科学位于统计学、机器学和某一领域知识的交叉之处，具备较为显着的交叉型学科的特点，即数据科学是一门以统计学、机器学习和领域知识为理论基础的新兴学科。同时，从该图的外围可看出，数据科学家需要具备数学与统计学知识、领域实战和黑客精神，说明数据科学不仅需要理论知识和实践经验，而且还涉及黑客精神，即数据科学具有三个基本要素：理论（数学与统计学）、实践（领域实务）和精神（黑客精神）。

 

　　3. 数据科学的知识体系

 

　　从知识体系看，数据科学主要以统计学、机器学习、数据可视化以及（某一）领域知识为理论基础，其主要研究内容包括数据科学基础理论、数据加工、数据计算、数据管理、数据分析和数据产品开发，如图4所示。

 

图4  数据科学的知识体系

 

　　基础理论：主要包括数据科学中的新理念、理论、方法、技术及工具以及数据科学的研究目的、理论基础、研究内容、基本流程、主要原则、典型应用、人才培养、项目管理等。需要特别提醒的是，“基础理论”与“理论基础”是两个不同的概念。数据科学的“基础理论”在数据科学的研究边界之内，而其“理论基础”在数据科学的研究边界之外，是数据科学的理论依据和来源。

（编辑：无锡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!