最近在玩谷歌新开源的自然语言模型bert,最开始是在google的免费GPU上面来弄的(这个部分其实也是可以写一个教程的,中间坑也挺多).但谷歌比较坑人,小数据集还行,大点的数据集训练耗费时间长,再加上网络不稳定总掉线,训练一个上万的数据集断断续续的用了一天时间.改用在本地的linux服务器上来训练bert,但是没有NVIDIA显卡,只好用cpu来跑了,速度超慢,跑一个7万的模型需要50个小时.跑出来的结果很奇葩loss很大,估计参数设置有问题,想换个参数重新跑,太耗费时间了,看来只好搞个GPU…