python抓取京东商品颜色&beautifulsoup的一些常用函数

python爬虫抓取京东上商品时，大部分商品有颜色的选项，所以想把不同颜色的商品都爬取的时候，需要获得这个商品的url

首先要找到商品颜色的那个地方，不知为何用浏览器看是显示javascript，然是用requests下载下来的时候就是用url的，尝试抓了一天点击的js去请求都没抓到，坑

于是写了一个返回当前商品所有颜色的url数组的函数，如果只有一种颜色，那么就返回一个只有当前url的数组

import requests
from bs4 import BeautifulSoup

def getItemUrl(url):
  r = requests.get(url)
  soup = BeautifulSoup(r.content,'html.parser')
  try:
      tmpHref = [item.find('a') for item in soup.find(id='choose-color').find_all(class_='item')]
      href = []
      for h in tmpHref:
          if h != None:
              href.append('http:'+h.get('href'))
  except:
      href = [url]
  return href

if __name__ == '__main__':
    for item in getPage('http://item.jd.com/1076647290.html'):
        print item
#http://item.jd.com/1739587109.html这个是只有一种颜色的，上面那个是有多种颜色的

另外beautifulsoup的一些常用函数

• find() ：一般用于找某个id或者class，用法find(id=’xxx’)或者find(class_=’xxx’)

• get() ：一般用于获取当前标签下的某项属性

  例子：如a href = ‘xxx’这样的先用find(‘a’)找到，再用get(‘href’)获得它的url