python-windows10普通笔记本跑bert mrpc数据样例0.1.001

python-windows10普通笔记本跑bert mrpc数据样例0.1.000

• • 背景
  • 参考章节
  • 获取数据
  • 下载bert模型
  • 下载bert代码
  • windows10的cpu执行结果
  • 注意事项
  • TODOLIST

背景

看了介绍说可以在gpu或者tpu上去微调，当前没环境，所以先在windows10上跑一跑，看是否能顺利进行，目标就是训练的过程中没有报错就行

参考章节

参考这个链接http://github.com/google-research/bert/tree/master?tab=readme-ov-file，其中的这个章节Sentence (and sentence-pair) classification tasks

获取数据

文章提高的使用 GLUE data by running this script，但是我使用这个脚本下载不了，因为是内网，没有办法只能手动下载了，方法如下

1. 下载download_glue_data.py这个脚本后
2. 找到第39和40行，将里面的链接打开保存文件就可以获得msr_paraphrase_train.txt和sr_paraphrase_test.txt文件了

MRPC_TRAIN = 'http://dl.fbaipublicfiles.com/senteval/senteval_data/msr_paraphrase_train.txt'
MRPC_TEST = 'http://dl.fbaipublicfiles.com/senteval/senteval_data/msr_paraphrase_test.txt'

3. 数据不大，我直接修改的文本格式为tsv，最后得到test.tsv和train.tsv文件

下载bert模型

下载bert-base-uncased模型，如下图

下载bert代码

将这个链接http://github.com/google-research/bert/tree/master?tab=readme-ov-file的代码clone下来到本地，进入到这个文件夹里，执行如下命令即可：

python run_classifier.py --task_name=MRPC --do_train=true --do_eval=true --data_dir=D:\jpdir\bert\glue_data\MRPC --vocab_file=D:\jp