半监督学习（Semi-Supervised Learning）

核心原理

1. 标记数据的监督学习：模型首先在标记数据上进行训练,学习数据的基本特征和分类边界。
2. 未标记数据的利用：通过伪标签（Pseudo-labeling）或一致性正则化（Consistency Regularization）等技术,将未标记数据纳入训练过程。例如,伪标签方法会将模型对未标记数据的高置信度预测作为“伪标签”用于进一步训练。
3. 基于假设的学习：半监督学习通常基于数据的平滑性、聚类性和流形结构等假设,从而实现有效的学习。

主要技术

1. 伪标签（Pseudo-labeling）：将模型对未标记数据的高置信度预测转换为“伪标签”,并用于训练。
2. 一致性正则化（Consistency Regularization）：鼓励模型对同一数据点的不同表示（如通过数据增强得到的）给出一致的预测。
3. 自训练（Self-training）：模型通过迭代的方式不断优化对未标记数据的分类。

应用场景

• 图像识别：在医学影像分析中,标记数据获取成本高昂,半监督学习可以有效利用未标记影像。
• 自然语言处理：如文本分类和情感分析,未标记文本数据丰富,但标记数据获取困难。
• 语音识别：利用未标记语音数据提升模型性能。

优势与挑战

• 优势：半监督学习能够在标记数据有限的情况下,通过利用未标记数据显著提升模型性能,减少对大量标记数据的依赖。
• 挑战：如何有效区分高质量的伪标签以及避免确认偏差（Confirmation Bias）是当前研究的难点。