在 AI 领域，Codex 的自我蒸馏玩法最近引起了广泛关注。一位 OpenAI 的程序员 Vaibhav（简称 VB）分享了他的技巧，只需简单的提示词，就能让 Codex 帮你消灭重复的劳动，变得更高效。VB 透露，只要将一段复制粘贴的指令输入 Codex，它便会自动扫描你的历史会话，识别出你常常手动进行的工作，并将其打包成可重复使用的工具。 在收到网友反馈后，VB 迅速推出了提示词的 2.0 ...

2026 年刚拉开序幕，大模型（LLM）领域的研究者们似乎达成了一种默契。 当你翻开最近 arXiv 上最受关注的几篇论文，会发现一个高频出现的词汇：Self-Distillation。 近年来，基础模型取得了显著的成功，为语言、视觉、机器人等领域的 AI 应用提供了强大的支持。

Hello folks，我是 Luga，今天我们来聊一下人工智能应用场景 - 构建高效、灵活的模型优化技术——模型蒸馏（Model Distillation）。 随着人工智能技术的高速发展，模型规模的不断扩大（如 GPT-4 的万亿参数）带来了性能的显著提升，但也伴随着高昂的 ...

少样本对象检测（FSOD）旨在在大量基础类别与稀缺新类别之间存在极端数据不平衡的情况下，学习出鲁棒的检测器。虽然最近的迁移学习范式通过顺序基础类别预训练和新类别微调取得了初步成功，但其基本假设——即基础类别训练的特征编码器可以泛化到新 ...

我觉得这篇论文的一个主要贡献就是直击当前大模型（LLM）落地最痛点的问题：如何在无法获取私有大模型（如 GPT-5）权重和 Logits（概率分布）的“黑盒”情况下，高效地蒸馏出高性能的小模型。 所以论文提出了 Generative Adversarial Distillation (GAD，生成对抗蒸馏 ...