利用puppeteer爬虫框架爬取数据

环境搭建

puppeteer基于nodejs框架，首先需要nodejs环境，然后yarn add puppeteer 或者 npm install puppeteer

使用puppeteer

首先引入puppeteer：const puppeteer = require('puppeteer');

然后配置项：

puppeteer.launch({
    headless: false,
    userDataDir: './userdata', //缓存网站数据，用于记录登陆状态
    defaultViewport: null,
}).then(async browser => {
    const page = await browser.newPage();
    await page.goto('https://xxx')
    const sfList = await page.$$eval('xxx', els => els.map(el => {
        return {
            href: el.href,
            title: el.innerText
        }
    })
    )
    ...
    ...
})

中文文档：http://www.puppeteerjs.com/