pytorch_pretrained_bert如何將tensorflow模型轉(zhuǎn)化為pytorch模型

pytorch_pretrained_bert將tensorflow模型轉(zhuǎn)化為pytorch模型

BERT倉(cāng)庫(kù)里的模型是TensorFlow版本的，需要進(jìn)行相應(yīng)的轉(zhuǎn)換才能在pytorch中使用

在Google BERT倉(cāng)庫(kù)里下載需要的模型，這里使用的是中文預(yù)訓(xùn)練模型(chinese_L-12_H-768_A_12)

下載chinese_L-12_H-768_A-12.zip后解壓，里面有5個(gè)文件

chinese_L-12_H-768_A-12.zip后解壓，里面有5個(gè)文件

bert_config.json

bert_model.ckpt.data-00000-of-00001

bert_model.ckpt.index

bert_model.ckpt.meta

vocab.txt

使用bert倉(cāng)庫(kù)里的convert_bert_original_tf_checkpoint_to_pytorch.py將此模型轉(zhuǎn)化為pytorch版本的，這里我的文件夾位置為：D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12，替換為自己的即可

python convert_tf_checkpoint_to_pytorch.py --tf_checkpoint_path D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\bert_model.ckpt --bert_config_file D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\bert_config.json --pytorch_dump_path D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\pytorch_model.bin

注：這里讓我疑惑的是模型有5個(gè)文件，為什么轉(zhuǎn)化的時(shí)候使用的是bert_model.ckpt，而且這個(gè)文件也不存在呀，是我對(duì)TensorFlow的模型不太熟悉，查閱資料之后將5個(gè)文件的作用說明如下：

$ tree chinese_L-12_H-768_A-12/
chinese_L-12_H-768_A-12/
├── bert_config.json                     - 模型配置文件
├── bert_model.ckpt.data-00000-of-00001  - 保存斷點(diǎn)文件列表，可以用來迅速查找最近一次的斷點(diǎn)文件
├── bert_model.ckpt.index                - 為數(shù)據(jù)文件提供索引，存儲(chǔ)的核心內(nèi)容是以tensor name為鍵以BundleEntry為值的表格entries，BundleEntry主要內(nèi)容是權(quán)值的類型、形狀、偏移、校驗(yàn)和等信息。
├── bert_model.ckpt.meta                 - 是MetaGraphDef序列化的二進(jìn)制文件，保存了網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的數(shù)據(jù)，包括graph_def和saver_def等
└── vocab.txt                            - 模型詞匯表文件

0 directories, 5 files

在調(diào)用模型時(shí)使用chinese_L-12_H-768_A-12\bert_model.ckpt即可。

TensorFlow 讀取ckpt文件中的tensor，將ckpt模型轉(zhuǎn)為pytorch模型

想用MobileNet V1訓(xùn)練自己的數(shù)據(jù)，發(fā)現(xiàn)pytorch沒有MobileNet V1的預(yù)訓(xùn)練權(quán)重，只好先下載TensorFlow的預(yù)訓(xùn)練權(quán)重，再轉(zhuǎn)成pytorch模型。

讀取ckpt中的Tensor名稱以及Tensor值

TensorFlow的MobileNet V1預(yù)訓(xùn)練權(quán)重文件如下：

解壓完文件后，發(fā)現(xiàn)沒有.ckpt文件，文件名只需'./my_model/mobilenet_v1_1.0_224/mobilenet_v1_1.0_224.ckpt'這樣寫就行。

寫一半發(fā)現(xiàn)Tensor名稱好難對(duì)應(yīng)起來。希望能給大家一個(gè)參考，也希望大家多多支持腳本之家