2020 重定向url去重

最近业务用上了重定向,每次重定向的网址打印出来都有重复的,所以做了下去重~

import requests


def get_redirect_url():
    urls = []  # 创建列表
    for i in range(10):
        # 重定向前的链接
        url = "替换成自己的链接"
        # 请求头设置浏览器代理
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
        # 请求网页
        response = requests.get(url, headers=headers)
        # print(response.url)  # 打印重定向后的网址
        urls.append(response.url)
    s = set(urls)  # 列表转换集合去重
    print(s)
    print(type(s))
    print(len(s))
    # 返回重定向后的网址
    return urls


if __name__ == '__main__':
    redirect_url = get_redirect_url()

 


版权声明:本文为ywj_486原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。