nlp上手项目之情感分析(一)

 ================2023.03.05更新================

优化环境包的选择,简化安装过程

作为一个nlp小白,经过这几个月的学习,重新回头来更新一下这个博客的内容。使用bert进行情感分析,其实过程也很简单,以下git仓库使用的库已经比较过时,建议在huggingface官网学习相关知识。

作为一个nlp小白,最近在尝试使用bert进行情感分析。在github上找到一个很不错的项目,就是在配置环境时出了许多问题,特将经验分享在这里。

项目地址:GitHub - bentrevett/pytorch-sentiment-analysis: Tutorials on getting started with PyTorch and TorchText for sentiment analysis.

创建虚拟环境并安装相应的软件包

建议按以下顺序进行操作,否则很有可能出错。

先创建虚拟环境:

conda create --n senti_analysis python=3.8 -y

这里我们使用比较新的Python3.8或者Python3.9

虽然作者在python3.6的环境下进行实验,我起初也是3.6,但是随着软件包的安装,他会自动变成3.7,不如在第一步就以3.7为起点。

然后去torch官网下载gpu版本的torch并安装

官网地址Start Locally | PyTorch

我使用的是以上选项,我在选择LTS版本下载的第一次出了问题,所以我下载的stable版本,亲测不会有问题,因为在后来软件包的下载安装过程中torch版本也会变化为1.8.

这里标明一下,最好先在终端(Linux环境下)或者cmd(Windows环境下)使用nvidia-smi命令查看本机的cuda版本以选择对应的torch,torch的历史版本可以在这里找到。

在命令行里输入以下命令:(以linux为例)

# 先启动安装好的虚拟环境
conda activate sentiment_analysis
# 在安装好的虚拟环境里安装pytorch
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

 然后比较重要的一步,就是安装torchtext包

这里直接使用以下命令即可完成:

conda install torchtext -c pytorch

 接着就是下载HuggingFace的transformers库来进行模型加载

conda install transformers

原始版本使用Spacy等,目前看来已经不太实用方便,特此更新为transformers库,这个库方面进行预训练模型的加载,还可以通过huggingface封装好的api方便地进行多分类任务。

到此为止,我们的环境准备工作就完成了。接下来便可以进行实验了。 


版权声明:本文为qq_49691652原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。