我的博客¶
大模型的微调与蒸馏技术的比较
LLM 已经彻底改变了人工智能，特别是具有数十亿到数百亿参数的模型，使其在各种自然语言处理（NLP）任务中实现了最先进的表现。然而，它们庞大的体量带来了计算效率、适应性和部署可行性方面的挑战，微调 和 蒸馏 这两种主要技术已经成为关键的优化策略。
- 微调：涉及调整预训练模型的参数，以提高在特定领域任务上的表现。虽然完整的微调会更新所有权重，但近年来如 LoRA（Low-Rank Adaptation，低秩适应）及其变体 QLoRA 在 PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）方面的进展，使得我们可以 只更新总参数的一小部分。将 QLoRA 将 4 位量化（例如，使用 NormalFloat，NF4）与 LoRA 结合，能显著减少内存使用，同时不牺牲性能。
- 蒸馏：大型高容量教师模型的行为被转移到较小的学生模型中，这种压缩技术通常涉及任务特定的损失函数和教师引导的散度（通常通过Kullback–Leibler散度衡量），旨在减少模型的体积和推理成本，同时保持准确性。
尽管传统上这两种方法被视为独立的策略，但最近的研究表明，混合方法可以充分发挥这两种策略的优势。将参数高效的微调与蒸馏相结合，可以使得一个强大的预训练模型适应特定领域并进行压缩，从而实现高效的推理。
本文将探讨微调与蒸馏在架构、计算和性能方面的权衡，分析 LoRA、4 位量化以及像 KD-LoRA 这样的混合框架等创新如何重塑 LLM 优化的未来。
Transformer 解析
Transformer 是深度学习中一种用于处理序列数据（如文本、音频、时间序列等）的模型架构，具有并行处理和捕捉远程依赖关系的能力，它的核心创新是自注意力机制（Self-Attention Mechanism），使得模型能够在不依赖于递归结构的情况下处理序列中的全局依赖。
Transformer 最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出，与传统的循环神经网络（RNN）和长短期记忆网络（LSTM）不同，它不需要按顺序处理数据，而是通过 自注意力机制（Self-Attention Mechanism）来处理数据。这种设计使得 Transformer 能够更有效地并行处理数据，从而在处理长序列时更加高效。
卷积神经网络
卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习的架构，特别适用于处理具有网格拓扑结构的数据，如图像（2D网格）和音频（1D序列），它在计算机视觉、图像和视频识别、图像分类、医学图像分析等领域中非常流行且有效。
机器学习中的交叉验证
交叉验证（Cross-Validation）是机器学习中一种常用的模型验证技术，用于评估模型的表现，并防止模型过拟合。它通过在不同的训练-验证集划分上重复训练模型，从而得到更稳健的模型评估结果，其核心思想是将数据集划分为多个子集，通过在这些子集之间轮流训练和验证模型，评估模型的泛化能力。
使用网格搜索和K折交叉验证来优化 XGBoost 分类模型
本篇文章将重点介绍如何在分类任务中对 XGBoost 进行优化，XGBoost 的优势在于其处理大规模数据、提高模型准确性的同时能够防止过拟合，然而要充分发挥 XGBoost 在分类任务中的潜力，选择合适的超参数至关重要。
为了寻找最佳的超参数组合，通常会借助 网格搜索 和 K 折交叉验证 优化技术。网格搜索通过系统地遍历多个超参数组合来确定最佳配置，而 K 折交叉验证则通过将数据集分成 K 个子集以评估模型的泛化能力，结合这两种方法，可以有效地避免单次训练可能带来的过拟合风险，并为模型选择最佳的超参数。
接下来，我们将通过具体的示例代码，详细演示如何运用网格搜索和K折交叉验证优化 XGBoost 分类模型的过程。