python爬虫翻页功能 循环_Python爬虫实现JS写的翻页

目标网站：http://beijing.chineseoffice.com.cn/Template/office_complete.html

当查看网页源码时，没有各楼信息，实际写在JS里，包括翻页功能。

Chrome的developer tool查看网络包信息：

上代码：

url = "http://beijing.chineseoffice.com.cn/Building/GetbuildingList"

for i in range(10): #总页数可以从翻页工具条中获得

data = "page=%s" % str(i)

listPage = requests.post(url,data=data) #实现翻页

#以下非本文内容，用json解析获得的页面，取得build的id，拼成详细页link，访问详细页

page = requests.get("http://beijing.chineseoffice.com.cn/Building/GetbuildingList")

detail_page_link = "http://beijing.chineseoffice.com.cn/Template/office_details.html"

page_dic = str(listPage.content.decode())

for build in listPage.json():

print(build['id'], build['officeName'])

build_link = detail_page_link + "?id=" + build['id']

print(build_link)