那些隐匿在光影里的“暗数据”

从 20 世纪到 21 世纪，越来越多的人采用数字数据的形式进行信息数据的创建、存储及使用。目前多个行业中，会利用各种类型的数据，比如当前的和古老的、敏感的和微不足道的。这些数据堆积在不同的系统中，就像不断在大海中增长的细针。

有研究表明，全球的数据总量两年会翻一番，各企业都在处理和存储这些海量数据。所以随着数据的清洗划分，一家位于加利福尼亚州的软件公司Automation Anywhere，将半结构化数据和非结构化数据统称为“暗数据”。而据其统计，“暗数据”在数据信息中的占比高达80%，但是又因为“暗数据”逻辑混乱的特性以及隐匿性，所以往往会带来信息断裂、传统自动化访问出问题等弊端。

因此，放任“暗数据”的增长会引发一系列的安全问题，另外，全球企业级数据管理领域公司Veritas则认为“暗数据”的存储会浪费大量能源，甚至破坏自然环境。

数据与自然环境之间的联系

由于数据中的核心功能在于实现信息集中存储、传输、交换。所以它的基本单位是服务器，而若干服务器又组成一个机架，因此需求不同，数据中心的机架数量各异。与传统能耗单元不同的是，数据中心需要 24 小时“连轴转”特征，为各方地区带来了能源的消耗。

一方面数据中的运作特点为能源消耗带来了一定的压力，另一方面则是不少企业都无法认清“暗数据”的问题。Veritas公司大中华区技术销售与服务总监顾海巍表示：“据Veritas最新发布的《Veritas企业IT安全脆弱性报告》（以下简称为“报告”）显示，许多中国的IT专家对公司已经引入的云计算解决方案缺乏明确的认识。只有58%的人能够准确说出公司现在使用的云服务的数量，但不清楚可能需要保护的数据。平均来看，受访者承认公司所存储的数据中，约有35%为 ‘暗数据’，也就是说，他们不知道那是什么。此外，另有约42%为冗余、过时或琐碎的数据。”

这些未及时清除的“暗数据”，为数据中心的运作无意间又增加了一定的负荷。为此更需要考虑数据中心能耗的严峻现实，同样也有必要使企业意识到“暗数据”的存储问题。因为据Veritas Technologies的数据发现，2020年大约有640万吨的二氧化碳会因为不必要的数据释放到大气中。Veritas在2020年发现，随着时间的推移，除非用户改变操作方式，否则未来5年暗数据将有91Z字节，是目前存储数据量的4倍多，需要750万英亩的森林才能吸收这么多的二氧化碳。

数据应用要谨慎

“暗数据”的治理成了企业的选择，因为 “暗数据”不仅为环境带来了一定的压力，同时也为企业本身带来了一定的威胁。顾海巍认为，在现有的数据安全法规之下，例如GDPR法规，如果企业继续忽略暗数据，那么履行这些要求可能会变得耗时且成本高昂，同时，一旦客户试图访问的数据在“暗数据”中丢失，企业将违反GDRP的规定，面临的将是巨大的代价。

简单来说，企业对数据了解的越透彻，就能够越能准确地判断数据的价值及风险。顾海巍举例Veritas在一次帮助客户设计容灾方案中，在一个边缘、偏门的系统中发现，该客户主机根目录下的文件竟然都是这家公司多年发展中所积累的VIP客户联系方式。这些未知的数据，如果不被发现很容易被误认为是无效数据，同时加上数据的特殊性，如果被“窃取”，那么将会面临着更多的问题。因此数据维护，也应该是企业最根本的要求。

然而维护“暗数据”的成本相对较高，因为要建立数据管理策略，使数据具有周期性的管理。所以，为避免有效数据的浪费，降低管理“暗数据”的成本，Veritas的产品可以通过产品整合，深入洞察任何云、任何存储和任何备份的运维细节。相应的企业只需要通过统一的管理平台，即可分析企业IT基础架构，最终实现数据中心及存储资源的优化。

Veritas是一家为客户提供全方位数据管理的企业，他们注重推进平台解决方案，把企业的整体数据，包括备份数据在一个平台视角中去做优化。不同于传统费时费力去处理“暗数据”的方法，Veritas更注重于洞察、分析审查的方式来处理。

从平台视角应对“暗数据”

与市场齐驱并进，Veritas在近些年所推出的五个产品，很好的诠释了“暗数据”规范化的处理方向以及科学化的处理方式。

首先，信息捕获可以利用Veritas的企业通信捕获解决方案Veritas Merge1，其能够从来源捕获员工通过聊天、文件共享等渠道收发的信息，为客户提供可视性指南，以操作80多个全球数据源，比如微信、钉钉、Zoom等通讯软件。

其次，信息归档则可利用Veritas Enterprise Vault灵活的部署的特性，来满足任何需求，无论是直接归档至云、本地存储，还是完全托管的SaaS解决方案，均可轻松胜任。因此，通过云存储、高级搜索、改进数据分类等功能，让企业有效地存储、管理和发现所有通信内容和文档，用最简单的方式确保企业更易合规。

除此之外，Veritas eDiscovery Platform 可以通过快速高效地查找、分类、分析和审查信息，帮助客户快速轻松响应法务、监管和发现请求。

而APTARE™ 运维数据透视分析服务平台，则为预测性分析提供了可呈现异构 IT 基础架构的综合全面报告和分析，洞察过度配置、交付成本分摊报告、降低风险并提高企业合规能力，最终实现优化存储，控制成本，让云计费更透明。

最后，Veritas在今年发布了可扩展的统一数据保护平台NetBackup最新版本，同时还扩展了针对Kubernetes 和云环境的勒索软件保护。该平台能够帮助客户实现跨边缘、核心和云进行部署，同时也可以进一步简化运营，全面保护任何云、数据源、工作负载的部署模式。

写在最后：

从Veritas的产品解决方案中不难看出，其立足点始终是成本、威胁、云、合规四个问题方向来处理“暗数据”。顾海巍表示：“只要市场有任何的新环境、新平台的出现，我们都会与之尽可能的兼容。”在他的介绍中，Veritas目前已实现可以帮助客户跨边缘、核心和云进行部署。

“在过去的近40年里，Veritas一直致力于通过本地解决方案一个接一个地扩展到新的环境当中。而未来的路程中，Veritas也会继续致力于为客户提供无缝数据体验。”顾海巍如是说。