class Net(nn.Module): … model = Net() … model.train() # 把module設(shè)成訓(xùn)練模式，對Dropout和BatchNorm有影響 model.eval() # 把module設(shè)置為預(yù)測模式，對Dropout和BatchNorm模塊有影響
補充：Pytorch遇到的坑——訓(xùn)練模式和測試模式切換
由于訓(xùn)練的時候Dropout和BN層起作用，每個batch BN層的參數(shù)不一樣，dropout在訓(xùn)練時隨機失效點具有隨機性，所以訓(xùn)練和測試要區(qū)分開來。
使用時切記要根據(jù)實際情況切換：
model.train() model.eval()
補充：Pytorch在測試與訓(xùn)練過程中的驗證結(jié)果不一致問題
今天在使用Pytorch導(dǎo)入此前保存的模型進(jìn)行測試，在過程中發(fā)現(xiàn)輸出的結(jié)果與驗證結(jié)果差距甚大，經(jīng)過排查后發(fā)現(xiàn)是forward與eval()順序問題。
此前的錯誤代碼是
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
model.eval()
model.forward()
應(yīng)該改為
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
# 先forward再eval
model.forward()
model.eval()
當(dāng)時有個疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問題。當(dāng)使用eval()時，模型會自動固定BN層以及Dropout，選取訓(xùn)練好的值，否則則會取平均，可能導(dǎo)致生成的圖片顏色失真。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
標(biāo)簽：常州 宿遷 駐馬店 蘭州 江蘇 山東 成都 六盤水
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《PyTorch dropout設(shè)置訓(xùn)練和測試模式的實現(xiàn)》，本文關(guān)鍵詞 PyTorch,dropout,設(shè)置,訓(xùn)練,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
