Skip to content

Hypergraph is more powerful. Transform unstructured text into structured knowledge with LLMs. Graphs, hypergraphs, and spatio-temporal extractions — with one command.

7.8 KB
Raw Blame

机器学习

学科分类:人工智能
创建日期:2026年2月22日
最后更新:2026年2月22日


概述

**机器学习(Machine Learning,ML)是人工智能(Artificial Intelligence,AI)**的一个重要分支,致力于研究如何使计算机系统通过经验自动改进。

机器学习的核心思想是:不依赖明确的硬编码规则,而是通过算法从数据中学习模式和规律。


定义

机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。

它是人工智能的核心,是使计算机具有智能的根本途径。机器学习算法通过分析大量数据,自动发现规律,并利用这些规律对未知数据进行预测或决策。


分类体系

1. 监督学习(Supervised Learning)

监督学习使用带标签的训练数据进行学习。算法从输入特征和对应的输出标签中学习映射关系。

常见算法:

  • 线性回归(Linear Regression)
  • 逻辑回归(Logistic Regression)
  • 决策树(Decision Tree)
  • 随机森林(Random Forest)
  • 支持向量机(SVM)
  • 神经网络(Neural Networks)

应用场景:

  • 房价预测
  • 垃圾邮件分类
  • 图像识别
  • 医疗诊断

2. 无监督学习(Unsupervised Learning)

无监督学习使用不带标签的数据,算法需要自行发现数据中的结构和模式。

常见算法:

  • 聚类(Clustering):K-Means、层次聚类、DBSCAN
  • 降维(Dimensionality Reduction):PCA、t-SNE、自编码器
  • 关联规则挖掘(Association Rule Mining):Apriori、FP-Growth

应用场景:

  • 客户分群
  • 异常检测
  • 推荐系统
  • 主题建模

3. 强化学习(Reinforcement Learning,RL)

强化学习通过智能体(Agent)与环境的交互进行学习。智能体通过试错获得奖励(Reward),目标是最大化长期累积奖励。

核心概念:

  • 状态(State)
  • 动作(Action)
  • 策略(Policy)
  • 奖励(Reward)
  • 价值函数(Value Function)

常见算法:

  • Q-Learning
  • 策略梯度(Policy Gradient)
  • Actor-Critic
  • DQN(Deep Q-Network)
  • PPO(Proximal Policy Optimization)

应用场景:

  • 游戏AI(如AlphaGo)
  • 机器人控制
  • 自动驾驶
  • 资源调度

4. 半监督学习(Semi-Supervised Learning)

结合少量标注数据和大量未标注数据进行学习。

5. 自监督学习(Self-Supervised Learning)

从数据本身构造监督信号,无需人工标注。


关键概念

1. 特征(Feature)

特征是描述数据的可测量属性或变量。在机器学习中,特征是输入模型的原始数据的表示。

示例:

  • 在房价预测中,特征可能包括:面积、房间数、位置、建筑年代
  • 在图像识别中,特征可能是像素值或经过提取的视觉特征

2. 模型(Model)

模型是机器学习算法学习到的数学表示或函数,用于从输入特征预测输出。

常见模型类型:

  • 线性模型
  • 树模型
  • 神经网络模型
  • 概率图模型

3. 训练(Training)

训练是使用训练数据调整模型参数的过程,使模型能够学习到数据中的规律。

4. 推理/预测(Inference/Prediction)

推理是使用训练好的模型对新数据进行预测的过程。

5. 过拟合(Overfitting)

过拟合是指模型在训练数据上表现良好,但在新数据上泛化能力差的现象。

6. 欠拟合(Underfitting)

欠拟合是指模型未能充分学习数据规律,在训练集和测试集上表现都不好的现象。


相关领域

1. 深度学习(Deep Learning)

深度学习是机器学习的一个子领域,使用多层**神经网络(Neural Networks)**来学习数据的表示。

常见网络结构:

  • 卷积神经网络(CNN):适用于图像
  • 循环神经网络(RNN)/Transformer:适用于序列数据(文本、语音)
  • 生成对抗网络(GAN):用于生成新数据

2. 数据挖掘(Data Mining)

数据挖掘是从大量数据中提取有用信息和知识的过程,与机器学习有很多重叠的技术。

3. 自然语言处理(Natural Language Processing,NLP)

NLP 专注于让计算机理解、解释和生成人类语言。

应用:

  • 机器翻译
  • 情感分析
  • 问答系统
  • 文本摘要

4. 计算机视觉(Computer Vision)

计算机视觉致力于让计算机从图像或视频中获取有意义的信息。

应用:

  • 图像识别
  • 目标检测
  • 图像分割
  • 人脸识别

5. 统计学(Statistics)

统计学为机器学习提供了理论基础和方法论支持。


应用场景

  1. 医疗健康:疾病诊断、药物发现、基因组分析
  2. 金融:信用评分、欺诈检测、算法交易
  3. 零售:推荐系统、需求预测、客户分群
  4. 交通:自动驾驶、交通预测、路线优化
  5. 制造:质量控制、预测性维护、供应链优化
  6. 教育:个性化学习、智能辅导、学习分析
  7. 娱乐:内容推荐、游戏AI、特效生成

历史发展

1940s-1950s:起源

  • 1943年:Walter Pitts 和 Warren McCulloch 提出神经元数学模型
  • 1950年:Alan Turing 提出"图灵测试"
  • 1952年:Arthur Samuel 开发了第一个跳棋学习程序
  • 1959年:Samuel 首次使用"机器学习"一词

1960s-1970s:早期发展

  • 1967年:最近邻算法(Nearest Neighbor)提出
  • 1969年:Minsky 和 Papert 出版《感知机》,指出单层感知机的局限性

1980s-1990s:复兴

  • 1986年:反向传播(Backpropagation)算法重新流行
  • 1989年:卷积神经网络概念提出
  • 1995年:支持向量机(SVM)提出
  • 1997年:LSTM(长短期记忆网络)提出

2000s-2010s:大数据时代

  • 2006年:Geoffrey Hinton 提出"深度信念网络",深度学习开始复兴
  • 2012年:AlexNet 在 ImageNet 竞赛中大幅领先,标志着深度学习时代的到来
  • 2014年:GAN(生成对抗网络)提出
  • 2017年:Transformer 架构提出

2020s 至今:大模型时代

  • 2020年:GPT-3 发布
  • 2022年:ChatGPT 发布,引起全球关注
  • 2023年:多模态大模型兴起

重要人物和机构

人物

  • Geoffrey Hinton:"深度学习之父",反向传播算法的重要贡献者
  • Yann LeCun:卷积神经网络的先驱,Facebook AI 研究院首任院长
  • Yoshua Bengio:深度学习领域的重要学者
  • Andrew Ng:Google Brain 联合创始人,Coursera 联合创始人
  • Demis Hassabis:DeepMind 创始人,AlphaGo 项目领导者

机构

  • Google DeepMind:AlphaGo、AlphaFold 的研发机构
  • OpenAI:GPT 系列模型的研发机构
  • Meta AI(原 Facebook AI):PyTorch、FAIR
  • 微软亚洲研究院(MSRA)
  • 斯坦福人工智能实验室(SAIL)
  • 麻省理工学院计算机科学与人工智能实验室(CSAIL)

挑战与未来方向

当前挑战

  1. 数据需求:深度学习需要大量标注数据
  2. 可解释性:黑盒模型难以理解决策过程
  3. 鲁棒性:对抗样本易导致模型失败
  4. 公平性:算法可能存在偏见
  5. 计算资源:大模型需要巨大的算力
  6. 安全性:AI 系统的安全保障

未来方向

  1. 小样本学习(Few-shot Learning)
  2. 可解释 AI(Explainable AI)
  3. 联邦学习(Federated Learning)
  4. 因果推断(Causal Inference)
  5. 多模态学习
  6. 自主学习(Autonomous Learning)

参考资料

  • Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
  • Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.
  • Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.