大数据需要进化，盘点BIG DATA 三宗“罪”
发布时间：2021-06-22 17:19:47 所属栏目：大数据 来源：互联网
导读：有时候我们常常感叹是否真的存在平行时空，是否有另一个自己真实的发生某些行为。事实上因为移动互联、云存储、大数据等新兴技术的出现，的确映射出一个现实世界的缩影，它就是数据世界。 如果把我们真实可感知的世界称为客观世界，那么理论上来说，大量数据
|
有时候我们常常感叹是否真的存在平行时空，是否有另一个自己真实的发生某些行为。事实上因为移动互联、云存储、大数据等新兴技术的出现，的确映射出一个现实世界的缩影，它就是数据世界。
如果把我们真实可感知的世界称为客观世界，那么理论上来说，大量数据的集成可以映射出客观世界的部分，形成数据映像。映像是不同体系根据不同需求对客观世界的数据化抽取和沉积，这种抽取和沉积中本身已包含了一种逻辑（映射本身即算法），而映像这个集合，其实是由多个带有某个相同要素的场景所组成。
例如，当你开车使用高德地图时，构成了导航的场景；吃个饭搜个大众点评，构成了美食的场景；玩累了查查附近的酒店，构成了住宿的场景；躺在床上晒晒照片聊聊天，构成了社交的场景……这些场景的共同点是“你”是所有事件的施动者，成为串起所有场景的关键要素。而这些场景组合在一起，经过数据化的抽取和沉积，成为“你”某个时段休闲行为轨迹的数据映像。
不同的映像组合构成体系，而不同体系组合交叠成为客观世界在数据世界的缩影。（毕竟不是所有客观世界的生活痕迹，都可以被记录以便基于某种逻辑的抽取和沉积，所以数据映像只能是客观世界的部分投影，而非全部。）
数据世界与客观世界的逻辑关系
数据世界的关键在于“数据”。伴随着互联网、移动互联、云存储、虚拟现实等新技术的出现，导致人类可被记录和收集的数据体量爆炸性增长，我们也迎来“大数据时代”，大数据的出现开启了用数据探索世界规律的新纪元，然而大数据本身也存在诸多问题。
问题一：分散的数据孤岛，无法建立连接，导致数据无法流动印证
大数据最核心的问题之一，在于数据成分散式的孤岛状，只是在体系内开放，却不能在体系外流通印证。最典型的的商业场景是，在BAT自有体系内，他们的数据量都是非常巨大的。但是，他们只能沉积和应用自己产品体系内的各种数据，不能相互关联与开放。
分散的数据孤岛，体系与体系间、映像与映像间、场景与场景间都没有连接
造成数据孤岛的原因来自于方方面面，法律的约束，商业的壁垒，竞争的策略……而最基础的还是技术的不完善。
在过去，企业建立一个新项目，从硬件到软件再搭建网络，有一套自用的资源系统；等到企业发展了一个阶段，又需要新建一个项目，必须从头到尾再走一遍。因为技术有限，企业项目与项目之间的资源系统是烟囱式的系统，自顾自的竖着“冒烟”。企业内部况且如此，想让一个集团，甚至不同企业/集团之间的数据开放，从而更好地为产品服务，真正做到以人为本的用户体验，无异于空中楼阁，天方夜谭。
然而技术在发展，从最底部的硬件设施，到最上层的云端存储，企业已经有了让自己脱胎换骨的数据挖掘、收集、记录、开放形式，打破体系间的数据开放并非不可能。
问题二，体系与体系间存在连接，但连接过于粗放或过于细微
上文我们说到场景组成映像，映像是体系的子集，体系又构成数据世界，故而可以把“场景”当成数据世界所记录的客观世界最常用的单位（不是最小，但却最常使用）。 那么我们该如何定义场景？ 一般来说，场景包括四部分：时间、空间、语义、语境（情绪、社群……），四要素随机组合构成不同的场景，因而不同场景之间，可能涵盖部分相同的要素，也可能每个要素都不相同。
于此，我们可以直接指出大数据的第二个问题——即便体系间存在连接，这种连接将会是过于粗放或细微的连接，具有模糊性和不确定性。不够精准，成为大数据难以得到应用的第二个问题。
过于粗放：体系与体系之间的连接更多存在于体系间和映像间。但体系由多个映像构成，映像又由不同的场景组成，不同场景又由四要素随机组合，仅仅连接体系或映像仅会导致模糊结果，无法得出精准结论。
过于细微：另外一种可能的倾向是，体系和体系之间的连接仅是最基础的、分散的数据连接，这种连接只能导致管中窥豹的片面结论。
问题三：数据的质量不高，导致错误的场景重现、错误的映像，出现错误的连接和错误决策
（编辑：无锡站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |