暗数据面面观，从挑战到机遇

     所谓暗数据（dark data），Splunk给出的定义是：系统、设备和交互产生的公司内所有未知和未开发的数据。作为全球第一家上市的大数据公司，Splunk早期提出了机器数据（machine data）的概念并被业界广泛采用，随后提出的暗数据也正逐渐被重视和研究。

    TRUE Global Intelligence的一份《暗数据现状报告》显示，企业机构总数据的一半以上（55%）属于暗数据，这意味着他们要么不知道这些数据的存在，要么不知道如何找到、准备、分析或使用这些数据。Splunk中国区总经理严立忠在接受e-works记者采访时甚至表示，暗数据可能是企业当今最大的未开发资源。

暗数据的挑战

    在第三方的解读中，暗数据是指那些未被发掘或理解的数据，来自于大数据的阴暗面，即信息资产企业在日常业务活动中收集、处理和存储但不具备特定用途的数据。它包括尚未应用于业务、形成有竞争力的情报或对商业决策产生帮助的所有数据对象与类型。

    随着IT技术的发展，数据正塑造着一个企业的方方面面，它赋予人以灵感、解决问题、创造利润。当今的企业运营过程，几十亿互联设备与无数云服务进行通信，积累了来自服务器日志文件、GPS网络、安全工具、调用记录、网络流量等的数据；从后端信息系统，到客户前台操作，每个数字都会被记录；从仓库货架上的货物到服务器室的温度，再到登录安全网络的时间和地点，所有一切都会被存储在某个地方。但这些数据大部分都分散和孤立，或者处于非结构状态，也没有被利用。简而言之，这些数据并没有发挥价值。

   《暗数据现状报告》在全球7个国家调研的1300名企业领导人几乎一致认为，数据是现在和未来获得成功的关键，但几乎无人表示自己的组织能够充分利用自身所有数据的价值。这意味着有大量暗数据的存在，挑战无处不在。

    在Splunk中国区总经理严立忠看来，“暗数据很难处理，是因为它正以惊人的速度增长，很难进行组织，这是其最大的挑战。因此，在这种混乱的环境中，企业很容易感到无助。而Splunk正在帮助企业应对这一挑战，帮助企业通过数据提出问题，获取答案并快速采取行动，实现业务价值。”

暗数据的机遇

     从另一角度来说，尚未被发现和利用的暗数据可能含有潜在的机遇，这些数据可能会产生新的收益或降低企业内部成本。

    严立忠以Splunk在能源电力行业的实践举例，传统MES系统管理企业的生产过程，可以实现结构化数据的管理，但期间还有很多过程数据并不能被记录和分析，这依然会引起产线的宕机或返工。Splunk的做法是将生产过程所有的数据记录下来，不仅仅是结果数据，还包括过程数据，这就包括所谓的暗数据。基于对企业业务的深刻洞察和人工智能技术，Splunk致力于帮助企业从暗数据中挖掘出更多的价值。

    某种程度上，暗数据是由于业务和IT管理人员的忽视，成为了一种未被充分利用的资产，因此企业需要用更成熟的方式收集、管理和分析这些信息。在严立忠看来，在释放暗数据价值的过程中，人工智能技术正提供着越来越重要的支撑作用。《暗数据现状报告》显示，不管是提高企业运营效率、战略决策还是提升人力资源和客户体验，大约三分之二的人看到了人工智能的潜在价值，并有10%到15%的受访者说他们的组织正在部署人工智能技术。