近日,課題組的論文“SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal”被中科院二區(qū)TOP期刊《Neural Networks》接收。
針對(duì)雨、雪、霧、低光等多種惡劣天氣導(dǎo)致的視覺退化問(wèn)題,課題組提出了一種基于擴(kuò)散模型的 半監(jiān)督統(tǒng)一學(xué)習(xí)框架 SemiDDM-Weather,能夠在單一模型中實(shí)現(xiàn)多種天氣退化的一體化去除。該方法采用 教師–學(xué)生式半監(jiān)督結(jié)構(gòu),并以 小波擴(kuò)散主干網(wǎng)絡(luò)(Wavelet Diffusion Backbone) 為核心,融合多尺度的紋理與結(jié)構(gòu)特征。為了充分利用未標(biāo)注樣本,提出了 動(dòng)態(tài)偽標(biāo)簽優(yōu)化策略(Dynamic Pseudo-label Refinement),在訓(xùn)練過(guò)程中自適應(yīng)地更新教師模型生成的偽標(biāo)簽,從而提升特征一致性與模型的泛化能力。

在主干網(wǎng)絡(luò)的設(shè)計(jì)上,我們選用了當(dāng)前先進(jìn)的小波擴(kuò)散模型 WaveDiff,并對(duì)其輸入形式和損失函數(shù)進(jìn)行了定制,以適應(yīng)多種天氣退化向單一清晰圖像的 多對(duì)一映射學(xué)習(xí)。

為了有效利用大量無(wú)標(biāo)簽數(shù)據(jù),我們構(gòu)建了一個(gè) 可靠“偽標(biāo)簽”庫(kù)(Reliable Bank),并在教師網(wǎng)絡(luò)輸出的結(jié)果中加入 質(zhì)量評(píng)估與內(nèi)容一致性約束,篩選出當(dāng)前最優(yōu)偽標(biāo)簽,用以指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練。該策略有效緩解了偽標(biāo)簽錯(cuò)誤可能對(duì)模型訓(xùn)練造成的誤導(dǎo)。

通過(guò)聯(lián)合優(yōu)化監(jiān)督損失與自監(jiān)督損失,SemiDDM-Weather 在多種合成及真實(shí)天氣退化數(shù)據(jù)集上取得了優(yōu)于全監(jiān)督對(duì)手的方法,在視覺質(zhì)量與恢復(fù)效果方面均表現(xiàn)突出。
該工作得到了國(guó)家自然科學(xué)基金(62202507、62272116、62302110、62025604)、廣東省自然科學(xué)基金(2025A1515012830、2022A1515011209、2024A1515011996、2025A1515012807)、福建省自然科學(xué)基金(2024J01098)等的資助。
論文信息:
本工作已在Neural Networks上正式發(fā)表 ,作者是廣州大學(xué)的龍芳,蘇文康,李子軒,李明杰,王員根,華僑大學(xué)的蔡磊以及中山大學(xué)的操曉春。
學(xué)者網(wǎng)

評(píng)論 0