================2023.03.05更新================
优化环境包的选择,简化安装过程
作为一个nlp小白,经过这几个月的学习,重新回头来更新一下这个博客的内容。使用bert进行情感分析,其实过程也很简单,以下git仓库使用的库已经比较过时,建议在huggingface官网学习相关知识。
作为一个nlp小白,最近在尝试使用bert进行情感分析。在github上找到一个很不错的项目,就是在配置环境时出了许多问题,特将经验分享在这里。
创建虚拟环境并安装相应的软件包
建议按以下顺序进行操作,否则很有可能出错。
先创建虚拟环境:
conda create --n senti_analysis python=3.8 -y
这里我们使用比较新的Python3.8或者Python3.9
虽然作者在python3.6的环境下进行实验,我起初也是3.6,但是随着软件包的安装,他会自动变成3.7,不如在第一步就以3.7为起点。
然后去torch官网下载gpu版本的torch并安装
我使用的是以上选项,我在选择LTS版本下载的第一次出了问题,所以我下载的stable版本,亲测不会有问题,因为在后来软件包的下载安装过程中torch版本也会变化为1.8.
这里标明一下,最好先在终端(Linux环境下)或者cmd(Windows环境下)使用nvidia-smi命令查看本机的cuda版本以选择对应的torch,torch的历史版本可以在这里找到。
在命令行里输入以下命令:(以linux为例)
# 先启动安装好的虚拟环境
conda activate sentiment_analysis
# 在安装好的虚拟环境里安装pytorch
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
然后比较重要的一步,就是安装torchtext包
这里直接使用以下命令即可完成:
conda install torchtext -c pytorch
接着就是下载HuggingFace的transformers库来进行模型加载
conda install transformers
原始版本使用Spacy等,目前看来已经不太实用方便,特此更新为transformers库,这个库方面进行预训练模型的加载,还可以通过huggingface封装好的api方便地进行多分类任务。
到此为止,我们的环境准备工作就完成了。接下来便可以进行实验了。
版权声明:本文为qq_49691652原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。