大数据与人工智能的关系？

大数据，人工智能

有关回应 · 2021-6-1 09:28:50

谢谢邀请
这要从客观认识大数据谈起。
[h1]一、大数据的三个层次和核心解读[/h1]（一）三个层次和核心

我们将大数据分为三个层次。一是容量很大的数据，比如两个仓库都堆满了很多书，甲仓库的书全是大学二年级数学教材，乙仓库的为大学各类教材及其提升学生综合能力的各类图书，两仓库都满足了“大”的要求；二是大容量且有用的数据，比如对大学教学来说，肯定上述甲仓库的书几乎没用，而乙能满足这一要求；三是从中挖掘核心数据的强大能力，这个很考水平。
所以，大数据不能简单地理解为数据多，其核心是数据挖掘。挖掘数据则要涉及到云计算。这种如云般运算的能力与强度，实际上就是考验科技与研发人员的“认知”水准。

——摘自《新未来简史》一书

（二）对核心的解读
所谓数据挖掘（与传统定义有点不同），就通过对海量数据的交换、选择、整合和分析，发现新的知识，创造新的价值，带来"大知识"、"大科技"、"大利润"和"大发展"。
也就是，将海量数据最大化的、集约性的、多头性的运用于企业、社会、生活等等的各个方面，以创造最大的价值。
[h1]二、大数据的范围与深度认识[/h1]（一）范围认知

如今通过物联网（或互联网）感知到的被人们称之为“大数据”的数据（主要指人类信息交换、信息存储、信息处理三方面能力大幅提升后，人与人、人与物之间所制造的数据），相对于万物在同一时刻所释放的所有数据来说，仅仅只是微不足道的“微数据”而已。（摘自《新未来简史》一书）

（二）深度认知

如今概念的“大数据”依然是很表面的数据，比如说“你挥挥手，几个简单的动作是‘表数据’，物联网能感知；而挥手动作之下，深入到分子、细胞与组织内，数以亿计的‘宏数据’不能被感知。‘表数据’构筑起如今的大数据概念，在此基础之上的物联网、算法与人工智能等，能量非常有限”。

上述文字摘自《新未来简史》一书，是该书提出的“未来12大定律或理论”之一，即“宏表数据理论”。
（三）与人工智能（AI）、物联网的关系
1、与AI的关系

比如AI中的“深度学习”（机器学习的内容之一），实际上是个老话题，如今很时髦的原因，主要是因为信息技术的发展让搜集“大数据”成为可能，机器训练有了足够多的样本。
诸如阿尔法狗的棋步算法、洛天依的声音合成，以及无人驾驶、人脸识别、网页搜索等等高级应用中用到的神秘兮兮的“深度学习”“增强学习”，乃至最具潜力的“对抗学习”及其对应的“深度神经网络”“卷积神经网络”“对抗神经网络”等都与大数据有关。
（摘自《新未来简史》一书

2、与物联网的关系（进一步解读与AI的关系）

物联网主要通过各种设备（比如RFID，传感器，二维码等）的接口将现实世界的物体连接到互联网上，或者使它们互相连接，以实现信息的传递和处理。
而且，由于物联网可连接大量不同的设备及装置（家用、生活、监测等各类电器和设备），嵌入在各个产品中的传感器（sensor）便会不断地将新数据上传至云端。这些新的数据以后可以被人工智能处理和分析，以生成所需要的信息并继续积累知识。
综上：
1、正是得益于大数据和云计算的支持，互联网才正在向物联网扩展，并进一步升级至体验更佳、解放生产力的人工智能时代。
2、对于人工智能而言，物联网（IoT）其实肩负了一个至关重要的任务：资料收集和传递。

[h1]三、大数据的联动分析（放入整个现代科技、现代社会体系下）[/h1]这是大数据产生联动价值的根源。
一、实际上：

数据实际上是个老掉了牙的东西。上古时期的结绳记事、以月之盈亏计算岁月，到后来部落内部以猎物、采摘多寡计算贡献，再到历朝历代的土地农田、人口粮食、马匹军队等各类事项都涉及到大量的数据。这些数据虽然越来越多、越来越大，但是，人们都未曾冠之以“大”字，那是什么事情让“数据”这瓶老酒突然换发了青春并如此时髦了起来呢？

当互联网开始进一步向外延伸，并与世上的很多物品链接之后，这些物体开始不停地将实时变化的各类数据传回到互联网并与人开始互动的时候，物联网诞生了。物联网是个大奇迹，被认为可能是继互联网之后人类最伟大的技术革命，是这样的吗？见“互联网将会这样被替代”章节详解。

如今，即便是一件物品被人感知到的几天内的各种动态数据，都足以与古代一个王国一年所收集的各类数据相匹抵，那物联网上数以万计亿计的物品呢？是不是数据大得不得了，于是“大数据”产生了。如此浩如云海的数据，如何分类提取和有效处理呢？这个需要强大的技术设计与运算能力，于是“云计算”产生了。其中的“技术设计”就归属于“算法”。“云计算”需要从天量数据中去挖掘有用的信息，于是“数据挖掘”产生了。这些被挖掘出来的有用信息去服务城市，就叫做“智慧城市”；去服务交通，就叫做“智慧交通”；去服务家庭，就叫做“智能家居”；去服务于医院，就叫做“智能医院”；去服务生活，就叫做“智能生活”……于是，智能社会产生了。不过，智能社会真正得以有序、有效运行，中间必须依托一个“桥梁”与工具，那就是“人工智能”。

这就是为什么，近几年时间内，诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些高大上的时髦名词和概念，突然同时从地下冒了出来，原来它们都是“同一条线上拴着的蚂蚱”啊！

注意，万物大数据主要包括人与人、人与物、物与物三者相互作用所产生（制造）的大数据。其中，人与人、人与物之间制造出来的数据，有少部分被感知；物与物之间制造出来的数据是根本没法被感知的。

对于人与人、人与物之间被感知到的那部分很小的数据（相对于万物释放的量来说非常小，但是绝对量却非常大），主要是指在2000年后，因为人类信息交换、信息存储、信息处理三方面能力的大幅增长而产生的数据，这个实际上就是我们日常所听到的“大数据”概念，这是以人为中心的狭义大数据，也是实用性（商业、监控或发展等使用）大数据。据估算，从1986年到2007年这20年间，人们每天可以通过既有信息通道交换的信息数量增长了约217倍，全球信息存储能力增加了约120倍。信息存储、处理等能力的增强为我们利用大数据提供了近乎无限的想象空间。

—————上文引用自《《新未来简史：》一书。
所以，诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些高大上的时髦名词和概念，突然同时从地下冒了出来，原来它们都是“同一条线上拴着的蚂蚱”啊！

[h1]四、对大数据认知的升级，即坚持三原则与一悖论（很重要）[/h1]坚持三原则：大数据不会过时，但绝对不是最热门，更不能神话它。
坚持一悖论：即大数据悖论。

大数据悖论：提醒人们需避免陷入“数据主义”“数据宗教”等盲目崇拜的陷阱而失去理智。内涵：当大数据被少数人掌握并使用时，能产生奇效，但是，在竞争性领域，大数据被众人使用后，其效用将大打折扣，甚至引发破坏作用。——摘自《新未来简史》一书。

关于大数据悖论的深度认知，可参看《“大数据悖论”，几乎否决了《未来简史》立足的基石，以及否决了《今日简史》重大主题》，链接：
“大数据悖论”，几乎否决了《未来简史》立足的基石，以及否决了《今日简史》重大主题之一，大家怎么看？[h1]五、最后谈谈大数据专业[/h1]（一）专业概况
大数据是门系统学科，基于数据，核心是数学算法，通过一些成熟平台架构组件，完成人们对数据的使用。平台架构组件不断在升级更新，学习要脚踏实地从基础开始，不要有一蹴而就的心态。
大数据专业主要从大数据应用三个层面设置相关课程与学习，即数据管理、系统开发、海量数据分析与挖掘。
从而让学习者系统地掌握大数据应用中的各种典型问题的解决办法，包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。

（二）主要专业设置
目前技术应用分大数据系统运维（系统平台管理hadoop基础、相关组件原理安装维护、Hbase/spark/kafka/zookeeper等等）
大数据数据分析（商务数据分析、
[h1]六、主要资料引用来源[/h1]上述回答主要引用来源于新锐畅销书《新未来简史：区块链、人工智能、大数据陷阱与数字化生活》（与《今日简史》《未来简史》《人类简史》至少分别有80、100与50项对立的观点，几乎涉及30多门前沿科技、学科与未来的推测与推断）。如图：

有关回应 · 2021-6-1 09:28:51

大数据作为人工智能发展的三个重要基础之一（数据、算法、算力），本身与人工智能就存在紧密的联系，正是基于大数据技术的发展，目前人工智能技术才在落地应用方面获得了诸多突破。
在当前大数据产业链逐渐成熟的大背景下，大数据与人工智能的结合也在向更全面的方向发展，大数据与人工智能的结合涉及到以下几个方式：
第一：大数据分析。从技术的角度来看，大数据分析是与人工智能一个重要的结合点，机器学习作为大数据重要的分析方式之一，正在被更多的数据分析场景所采用。机器学习不仅是人工智能领域的六大主要研究方向之一，同时也是入门人工智能技术的常见方式，不少大数据研发人员就是通过机器学习转入了人工智能领域。
第二：AIoT体系。AIoT技术体系的核心就是物联网与人工智能技术的整合，从物联网的技术层次结构来看，在物联网和人工智能之间还有重要的“一层”，这一层就是大数据层，所以在AIoT得到更多重视的情况下，大数据与人工智能的结合也增加了新的方式。
第三：云计算体系。随着云计算服务的逐渐深入和发展，目前云计算平台正在向“全栈云”和“智能云”方向发展，这两个方向虽然具有一定的区别（行业），但是一个重要的特点是都需要大数据的参与，尤其是智能云。
大数据的发展本身开辟出了一个新的价值空间，但是大数据本身并不是目的，大数据的应用才是最终的目的，而人工智能正是大数据应用的重要出口，所以未来大数据与人工智能的结合途径会越来越多。
我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！

有关回应 · 2021-6-1 09:28:52

要了解大数据与人工智能的关系，首先我们得从认知和理解大数据和人工智能的概念开始。
1、大数据
大数据是物联网、Web系统和信息系统发展的综合结果，其中物联网的影响最大，所以大数据也可以说是物联网发展的必然结果。大数据相关的技术紧紧围绕数据展开，包括数据的采集、整理、传输、存储、安全、分析、呈现和应用等等。目前，大数据的价值主要体现在分析和应用上，比如大数据场景分析等。
2、人工智能
人工智能是典型的交叉学科，研究的内容集中在机器学习、自然语言处理、计算机视觉、机器人学、自动推理和知识表示等六大方向，目前机器学习的应用范围还是比较广泛的，比如自动驾驶、智慧医疗等领域都有广泛的应用。人工智能的核心在于“思考”和“决策”，如何进行合理的思考和合理的行动是目前人工智能研究的主流方向。
3、大数据与人工智能
大数据和人工智能虽然关注点并不相同，但是却有密切的联系，一方面人工智能需要大量的数据作为“思考”和“决策”的基础，另一方面大数据也需要人工智能技术进行数据价值化操作，比如机器学习就是数据分析的常用方式。在大数据价值的两个主要体现当中，数据应用的主要渠道之一就是智能体（人工智能产品），为智能体提供的数据量越大，智能体运行的效果就会越好，因为智能体通常需要大量的数据进行“训练”和“验证”，从而保障运行的可靠性和稳定性。
目前大数据相关技术已经趋于成熟，相关的理论体系已经逐步完善，而人工智能尚处在行业发展的初期，理论体系依然有巨大的发展空间。从学习的角度来说，如果从大数据开始学习是个不错的选择，从大数据过渡到人工智能也会相对比较容易。总的来说，两个技术之间并不存在孰优孰劣的问题，发展空间都非常大。

有关回应 · 2021-6-1 09:28:53

额不请自来给大家分享一下我的拙见。
目前在网上很多人都在混淆人工智能和大数据的概念和体系，给大家灌输一个人工智能=大数据或者是大数据是人工智能的一部分的概念，目的就不言而喻了不就是为了从中获利吗？
主要是最近人工智能比较火，然后因为是刚刚发展所以很多规则和概念还不清晰，所以很多机构就拿着Python+爬虫+大数据+一些乱七八糟的东西然后就和你说这是人工智能，学完可以找到多少年薪的工作。我这边的读者就有和我反馈的。
现在我来说下，人工智能和大数据是两个学习体系。
大数据的作用是对数据的挖掘、传输、储存、分类、分析（国内的话这个方向的运用比较少因为需要大量资金的支持，都是大厂在做的。）等着五个主要作用，然后这些作用的结果就是人工智能模型训练需要的东西了，但是还要经过标注才能够运用。
人工智能的模型训练需要大量的数据支撑，根据这个很多机构就会忽悠你大数据是人工智能的一部分，然后包装一下就开始谋利了。
关注咕泡人工智能
分享每日最新资讯和技术干货
http://weixin.qq.com/r/xC-A2G3EUjAtrSm793rW (二维码自动识别)

有关回应 · 2021-6-1 09:28:54

当前的AI是逻辑算法的执行，底层架构是大数据
现在大家都讲我们进入了互联网时代，人工智能概念提出，我们现在正在进入智能时代。人工智能已经在多个领域中实践，比如无人驾驶、图像识别、语音识别……
百度研发的无人驾驶汽车已经可以上路了，苹果的最新发布的iphone x可以实现脸支付，微软的深度学习软件将语音识别的错误率降低到了5.1%，其在人工智能领域应该是比较先进的。
百度的无人驾驶需要采集每个路口/路况的信息（路口红绿灯信息、路况人流量、道路车辆……），比如，当无人驾驶汽车行驶到某个路口的红绿灯时候，需要根据记录的数据分析是停车还是继续驾驶；当前路面湿滑，需要根据数据分析，汽车应该减速到某个时速，这样才比较安全；前方有行人过马路，汽车系统需要捕获照片，“决策”暂停行驶……
所以不管是无人驾驶，还是图像识别、语音识别，系统底层架构应该都是基于大数据的逻辑算法，系统须先存储海量数据信息，比如路况信息、人脸数据、语音数据……，根据底层大数据、人的需求分析，然后编码成逻辑程序，系统执行人的想法。
所以，当前的AI应该仅仅是执行人的想法，而且是垂直方向的需求执行。基于底层的大数据，系统可以根据已经设计好的程序分析、决策、执行，但是不能独立思考。
因此，假如人工智能看见前面一个人，可以通过数据分析是男人、女人，但是不能告诉你是好人还是坏人。除非，系统里面存储了目标人的犯罪记录或作案记录。
认知计算与人工智能
前段时间有看过一个电影《异性：契约》，里面有两个生物人，一个是大卫，另外一个是沃尔特。

第一代生化人大卫有认知能力，能够独立思考，所以最后干掉了沃尔特成功登陆契约号；第二代生化人沃尔特，虽然能够独立思考，但是被预先设计的程序限制“忠于契约号船员”，故认知能力比较有限。
1960年，美国心理学家和计算机科学家J.C.R. Licklider首次提出了“认知计算”：认知计算，可以让计算机系统性地思考和提出问题的解决办法，并且实现人与计算机合作进行决策和控制复杂的情形，而这个过程不依赖于预先设定的程序。
人工智能依赖于底层大数据，虽然，认知计算不依赖于先预设的程序，可以模仿、学习、推理，像大卫与沃尔特一样与人互动交流，但是底层仍然是想要依赖于大数据。

图片来自亿欧网

大数据与人工智能的关系？

5 个回复

浏览过的版块