python爬虫

一、理解爬虫

爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，  互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，

如果它遇到资源，那么它就会抓取下来。

二、可以做什么

三、方法

[第一步]

爬哪里（URL）：获取整个页面数据

[第二步 ]

爬什么（interesting）：你对什么感兴趣

[第三步 ]

怎么爬（Method）:非常强大的正则表达 式，以及许多开源库（urllib,BeautifulSoup）

四、爬取整个网站

需求：将http://www.baidu.com首页对应的文本爬取下来