智能数据分析与系统实验室-应用组报告

李福生
中国海洋大学计算机系硕士
日期:2025年3月31日(星期一) 时间:7:00pm - 10:00pm 地点:信息南楼-A421
汇报内容:
《Reallocating and Evolving General Knowledge for Few-Shot Learning》。本文提出了模仿人类"注意力分配"认知机制的新框架:REGK。首先利用表示知识蒸馏和掩码调优,从CLIP中筛选出与任务相关的通用知识参数,通过渐进式稀疏训练继承CLIP的强表征能力;在固定参数稀疏度的条件下,通过任务驱动微调进一步优化掩码矩阵,学习小样本任务特有的知识。在保持CLIP架构不变的前提下,实现通用知识的定向迁移和新任务知识的高效挖掘,有效缓解小样本场景下的过拟合问题。