爬虫实战——求是网周刊文章爬取

第1关:获取新闻url

本关任务:编写一个爬虫,并使用正则表达式获取求是周刊2019年第一期的所有文章的url。详情请查看《求是》2019年第1期 。
获取每个新闻的url有以下几个步骤:

首先获取2019年第1期页面的源码,需要解决部分反爬机制;

找到目标url所在位置,观察其特征;

编写正则表达式,获取目标数据。

import urllib.request as req
import re


def geturls():
    # ********** Begin *

版权声明:本文为Junds0原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。