爬虫之苹果网站

第一步:

       准备数据:http+heads

第二步:

      发送请求:

repnose = requests.get(url,headers=self.headers)

第三步:

      数据解析:使用xpath对html数据进行解析

#  数据分组
div_list = html.xpath("//div[@class='as-macbtr-optioncontent']")
content_list = []
for div in div_list:
    item = {}
    #  获取字段值
    item["month"] = div.xpath(".//div[@class='as-price']/span[@class='as-price-installments']/a/text()")
    item["month"] = item["month"][0][:1] if len(item["month"]) > 0 else None
    item["content"] = div.xpath(".//h3[@class='as-macbundle-modelvariationtitle']/text()")
    item["content"] = item["content"] if len(item["content"]) > 0 else None
    print(item)
    content_list.append(item)

第四步:

      保存数据到本地

        with open("apple.txt", "a", encoding="utf-8") as f:
            for content in content_list:
                f.write(json.dumps(content, ensure_ascii=False, indent=2))
                f.write("\n")

爬取效果: