python筛选网址,不用正则表达式,还有多线程

#这个步骤就是起到筛选的,免得出现空格

#有了这个你就可以不用try的那个代买避免出现一大推的空格影响观看的速度    
if href !=None and href.startswith("https://"):
        k.append(href)

#这个是完整代码
from threading import Thread
url='https://www.so.com/s?ie=utf-8&src=hao_360so_history_cube&shb=1&hsid=bfc1dcecaafd70f5&q=keil%E5%AE%89%E8%A3%85%E6%95%99%E7%A8%8B'
html=requests.get(url)
html.encoding='utf-8'
sp=BeautifulSoup(html.text,"html.parser")
links=sp.find_all(["a","b"])
k=[]
for i in links:
    href=i.get("href")
    if href !=None and href.startswith("https://"):
        k.append(href)
for i in k:
    time.sleep(1)
    def lianjie():
        html = urlopen(str(i))
        bs = BeautifulSoup(html, 'html.parser')  # 解析网页
        hyperlink = bs.find_all('title')
        if hyperlink != []:
            # print(hyperlink)
            print(hyperlink[0].text, ":", i)
    t = Thread(target=lianjie(), args=(i,))
    t.start()

#这一步就是用来实现多线程的

t = Thread(target=lianjie(), args=(i,))
    t.start()

自己再多多的边用边想为什么这样,再看看书。

#这里用了一个text就是为零去掉网页上面的<title>这样一类的东西

print(hyperlink[0].text, ":", i)


版权声明:本文为m0_55234643原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。