跳转至

我的博客

  • 分类于 版本控制
  • 需要 2 分钟阅读时间

设置 SSH Keys

ssh-keygen -t ed25519 -C "$(whoami)@$(hostname)"
ssh -T git@github.com

注意

很多教程上使用的还是 RSA，实际添加密钥后仍然无法成功连接 Github，建议使用 ED25519。

此外，如果需要提交更改，是需要设置 GIT 配置信息：

git config --global user.email "you@example.com"
git config --global user.name "Your Name"
  • 分类于 软件工具
  • 需要 2 分钟阅读时间

Material-Mkdocs 本地部署优化

使用 Material Mkdocs 搭建了一个 Wiki 文档，部署环境为离线的 Linux 环境，尝试过 mkdocs serve 以及使用 HTTP 服务部署，但都存在一个问题是打开首页加载及其缓慢，可能需要两三分钟，且重新打开一个标签页依然加载缓慢。

本篇文档我们记录下如何优化离线环境下 Material Mkdocs 的部署，优化页面加载速度。

  • 分类于 软件工具
  • 需要 2 分钟阅读时间

Mac 删除 ExFAT USB 存储设备中的 ._ 文件

当你在 macOS 系统上使用 exFAT 文件系统的 U 盘或硬盘 时，会发现每个文件或文件夹旁边都会多出一个以 ._ 开头的隐藏文件（如 ._example.txt）。这是正常现象，背后是 MacOS 的一个设计机制，用来扩展元数据。

  • 分类于 软件工具
  • 需要 2 分钟阅读时间

虚拟机

1. OrbStack

一款高性能的 Mac 独占的虚拟机软件，性能可达原生系统的 95%。

  • 分类于 软件工具
  • 需要 2 分钟阅读时间

VPN

警告

VPN 仅用于学术性科学上网，切勿违反国家法律法规。

软件名 推荐 Windows Mac 安卓 IOS Chrome插件
性价比机场 ⭐ ✅ ✅
WindScribe ⭐ ✅ ✅ ✅ ✅
Latern ✅ ✅ ✅
Aurora ✅ ✅ ✅
GreenHub ✅ ✅
快喵 ⭐ ✅
Proton VPN ✅ ✅
Free VPN ✅
VPN - Super Unlimted Proxy ✅

1. WindScribe

WindScribe 是一款非常优秀的软件，支持多个平台使用，优缺点如下：

  • 优点: 流量相对比较送的比较多，最多可达 15 G，可选的免费节点多
  • 缺点: 系统网络会被影响，导致VPN使用期间网络使用会出现问题，尤其是公司内部网络有安全认证，使用后一般都需要重新进行网络验证。另外如果使用时间为当地白天的话，则速度相对较慢

2. Aurora

Aurora 以前的佛跳墙改名，近期软件经常出问题打不开，免费节点相对比较少，强烈建议不要充钱 🚫

3. GreenHub

GreenHub 也是一款非常优秀的免费软件，除亚洲节点外可以访问 ChatGPT，速度也比较快。缺点也很明显，每天最多使用 60 分钟，大部分时间节点状态不可用，建议作为备选。

4. 快喵

快喵也是一款免费的软件，优点是无需注册账号，连接比较块，可访问 ChatGPT。缺点是只支持 IOS 端，并且近期广告变得越来越多。

5. Free VPN

缺点是广告太多，使用时长太短，强烈不推荐 🚫

6. VPN - Super Unlimted Proxy

优点:是连接上之后，整体速度还是比较快的， 缺点也很明显，有广告，连接时间相对有点长。

7. 性价比机场

性价比机场 售卖的节点，并不是软件，需要结合 Clash 一起才能使用，性价比很高，也支持多个平台。对于 iOS 手机端的用户，则需要另外购买小火箭，加载订阅节点才能使用。

  • 分类于 软件工具
  • 需要 2 分钟阅读时间

工作流

分类 名称 描述
大模型 N8N N8N 是最近强势兴起的一款 AI 工作流软件，他将多个应用程序连接起来，以实现自动化。
大模型 Dify Dify 是一个基于 OpenAI 的大语言模型（LLM）的智能对话平台，它提供了一套完整的 LLM 应用开发框架，包括模型训练、模型部署、模型管理、模型评估、模型优化等。
Indexify
Kiln 大模型微调工具
  • 分类于 大模型
  • 需要 10 分钟阅读时间

大模型的微调与蒸馏技术的比较

原文地址：https://mp.weixin.qq.com/s/LljEFjp6ObEKRLpkP0p2-A

LLM 已经彻底改变了人工智能，特别是具有数十亿到数百亿参数的模型，使其在各种自然语言处理（NLP）任务中实现了最先进的表现。然而，它们庞大的体量带来了计算效率、适应性和部署可行性方面的挑战，微调 和 蒸馏 这两种主要技术已经成为关键的优化策略。

  • 微调：涉及调整预训练模型的参数，以提高在特定领域任务上的表现。虽然完整的微调会更新所有权重，但近年来如 LoRA（Low-Rank Adaptation，低秩适应）及其变体 QLoRA 在 PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）方面的进展，使得我们可以 只更新总参数的一小部分。将 QLoRA 将 4 位量化（例如，使用 NormalFloat，NF4）与 LoRA 结合，能显著减少内存使用，同时不牺牲性能。
  • 蒸馏：大型高容量教师模型的行为被转移到较小的学生模型中，这种压缩技术通常涉及任务特定的损失函数和教师引导的散度（通常通过Kullback–Leibler散度衡量），旨在减少模型的体积和推理成本，同时保持准确性。

尽管传统上这两种方法被视为独立的策略，但最近的研究表明，混合方法可以充分发挥这两种策略的优势。将参数高效的微调与蒸馏相结合，可以使得一个强大的预训练模型适应特定领域并进行压缩，从而实现高效的推理。

本文将探讨微调与蒸馏在架构、计算和性能方面的权衡，分析 LoRA、4 位量化以及像 KD-LoRA 这样的混合框架等创新如何重塑 LLM 优化的未来。