Appearance
概览
深度学习deep learning与经典机器学习方法主要区别：模型由神经网络错综复杂交织在一起，包含层层数据转换，节点更有深度、功能更强大，因此被称为深度学习。
通过使用更深（而不是更广）的网络，可以更容易地逼近许多函数。
大约 2010 年开始，神经网络算法变得热门起来，原因有 2 点：
- 1、随着互联网的公司的出现，为数亿在线用户提供服务，大规模数据集变得触手可及。
- 2、廉价又高质量的传感器、廉价的数据存储（克莱德定律）以及廉价计算（摩尔定律）的普及，特别是 GPU 的普及，使大规模算力唾手可得。
特点
与传统机器学习方法相比，深度学习的一个主要优势是可以处理不同长度的数据。
深度学习方法中最显著的共同点是使用端到端训练。也就是说，与其基于单独调整的组件组装系统，不如构建系统，然后联合调整它们的性能。
除了端到端的训练，人们正在经历从参数统计描述到完全非参数模型的转变。
深度学习不仅取代了传统机器学习的浅层模型，而且取代了劳动密集型的特征工程。
监督学习
回归是训练一个回归函数来输出一个数值；分类是训练一个分类器来输出预测的类别。
回归问题
当标签取任意数值时，我们称之为回归问题。任何有关有多少的问题很可能就是回归问题。
损失函数通常是平方误差squared error的最小化。
分类问题
这种“哪一个”的问题叫做分类classification问题。分类问题希望模型能够预测样本属于哪个类别（category，正式称为类class）。
请注意，最常见的类别不一定是最终用于决策的类别。
损失函数被称为交叉熵cross-entropy。
人工智能(AI)
人工智能是计算机科学的一个广义分支，目标是让机器模拟人类的智能行为，包括推理、学习、规划、感知、自然语言处理等。
AI 涵盖所有让机器表现出智能的技术，包括：
- 传统方法：规则系统（如专家系统）、搜索算法（如 A*）、统计学方法（如贝叶斯网络）等。
- 机器学习：通过数据训练模型（如决策树、支持向量机）。
- 深度学习：机器学习的一个子集。
我们离一个能够「控制人类」创造者的有知觉的人工智能系统还很远。
- 首先，人工智能系统是以一种特定的、面向目标的方式设计、训练和部署的。虽然他们的行为可能会给人一种通用智能的错觉，但设计的基础是规则、启发式和统计模型的结合。
- 其次，目前还不存在能够自我改进、自我推理、能够在试图解决一般任务的同时，修改、扩展和改进自己的架构的“人工通用智能”工具。
层级关系
人工智能（AI）
│
├── 传统AI（规则系统、搜索算法等）
│
└── 机器学习（ML）
│
├── 传统机器学习（SVM、决策树等）
│
└── 深度学习（DL）
│
├── CNN、RNN、Transformer等
└── ...关键区别
| 维度 | 人工智能（AI） | 机器学习（ML） | 深度学习（DL） |
|---|---|---|---|
| 范围 | 最广（包含所有智能系统） | AI 的子集 | ML 的子集 |
| 数据依赖 | 不一定需要数据 | 依赖数据 | 需要大量数据 |
| 特征处理 | 人工规则或算法 | 人工特征工程 | 自动特征学习 |
| 典型应用 | 象棋 AI、专家系统 | 垃圾邮件分类、房价预测 | 图像识别、ChatGPT、自动驾驶 |
为毛深度学习成为 AI 核心
- 性能突破：在图像、语音、NLP 等领域远超传统方法。
- 端到端学习：无需手工设计特征，简化流程。
- 硬件支持：GPU/TPU 的普及加速了训练。
深度学习是推动当前 AI 爆发式发展的关键技术，但 AI 的范畴远不止于此。未来 AI 的发展可能会结合深度学习与其他方法（如符号逻辑、强化学习），形成更通用的智能系统。