1. 简单说明爬虫原理

上网所看到页面上的内容获取下来，并进行存储。

2. 理解爬虫开发过程

1).简要说明浏览器工作原理；

浏览器发送请求，服务器接收到，给出响应。

2).使用 requests 库抓取网站数据；

url= 'http://www.sohu.com/'res = requests.get(url)

3).了解网页

   
Hello
   This is link1 This is link2　
This is info 

4).使用 Beautiful Soup 解析网页；

通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree

soup = BeautifulSoup(res.text,'html.parser')

select（选择器）定位数据

t = soup.select('#title')l = soup.select('.link')

找出含有特定标签的html元素

t = soup.select('h1')[0].textprint(t)

找出含有特定类名的html元素

for i in range(len(soup.select('.link'))):    d = soup.select('.link')[i].text    print(d)

找出含有特定id名的html元素

info = soup.select('#info')[0].textprint(info)

3.提取一篇校园新闻的标题、发布时间、发布单位

import requestsimport bs4from bs4 import BeautifulSoupurl = 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0322/11049.html'res = requests.get(url)res.encoding='utf-8'soup = BeautifulSoup(res.text,'html.parser')title = soup.select('.show-title')[0].textprint(title)

time = soup.select('.show-info')[0].textprint(time)