关键词:
机器学习
在线类增量学习
对比学习
插值混合
Universum
摘要:
在线类增量连续学习旨在数据流场景下进行有效的新类学习,并保证模型满足小缓存和小批次约束.然而由于数据流的单趟(one-pass)特性,小批次内的类别信息难以如离线学习那样被多趟探索利用.为缓解该问题,目前常采用数据多重增广并借助对比回放建模.但考虑到小缓存和小批次限制,现有随机选择和保存数据的策略不利于获取多样性的负样本,制约了模型判别性.已有研究表明困难负样本是提升对比学习性能的关键,但这鲜少在在线学习场景被探索.Universum学习提出的概念含混(condued)数据恰好提供一种生成困难负样本的简单直观思路,据此先前用特定系数插值混合(mixup)诱导出的Universum数据(mixup-induced Universum,MIU)已有效提升了离线对比学习的性能.受此启发,尝试将其引入在线场景.但不同于先前静态生成的Universum,数据流场景面临着某些额外挑战.首先随类数的动态增加,相对基于全局给定类生成的静态Universum不再适用,需重新加以定义和动态生成,为此提出仅利用当前数据(局部)递归生成相对已见类熵为最大的MIU(称为增量MIU,IMIU),并为其提供额外的小缓存从总体上满足内存限制;其次将生成的IMIU和小批次内的正样本再次插值混合出多样且高质的困难负样本.最后综合上述各步,发展出基于IMIU的在线类增量对比学习(incrementally mixup-induced Universum based online class-increment contrastive learning,IUCL)学习算法.在标准数据集CIFAR-10、CIFAR-100和Mini-ImageNet上的对比实验验证所提算法一致的有效性.