爬虫爬取京东时被拦截到登录界面怎么办？

爬虫京东数据的时候，链接老是自动跳转到京东的登录页面？？


京东的识别，会把这种行为视为爬虫，所以我们要模拟浏览器的浏览行为

在创建HttpGet请求的时候，设置请求头部信息“User-Agent”的信息。

httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36");

eg：

分割线：如何获取头部信息

首先进入京东首页。
F12进入“检查”，
然后按照图片，点击“Network”后点击左上角的

符号

最后按Ctrl+R，拉到最上面选择第一个文件