python爬虫学习笔记Ⅰ:requests库



Requests库入门

2个对象

r = requests.get(url)

  1. r 表示Response对象,包含爬虫返回的内容。
属性 说明
r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败 r.textHTTP 响应内容的字符串形式,即,url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式) r.contentHTTP 响应内容的二进制形式
  1. .get(url) 表示Request对象,构造一个向服务器请求资源的Request。

7个方法

方法 说明
requests.request() 构造一个请求,支撑以下各方法的基础方法
requests.get() 获取HTML网页的主要方法,对应于HTTP的GET
requests.head() 获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete() 向HTML页面提交删除请求,对应于HTTP的DELETE

requests.request(method, url, **kwargs)

  • method : 请求方式,对应get/put/post等
  • url: 拟获取页面的url链接
  • **kwargs: 控制访问的参数,共13个
    • params: 字典或字节序列,作为参数增加到url中
    • data : 字典、字节序列或文件对象,作为Request的内容
    • json: JSON格式的数据,作为Request的内容
    • headers : 字典,HTTP定制头
    • cookies : 字典或CookieJar,Request中的cookie
    • auth: 元组,支持HTTP认证功能
    • files : 字典类型,传输文件
    • timeout : 设定超时时间,秒为单位
    • proxies : 字典类型,设定访问代理服务器,可以增加登录认证
    • allow_redirects: True/False,默认为True,重定向开关
    • stream : True/False,默认为True,获取内容立即下载开关
    • verify : True/False,默认为True,认证SSL证书开关
    • cert : 本地SSL证书路径
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
各控制访问参数的使用(均为可选项)

--params--字典或字节序列,作为参数增加到url中
>>> kv={'key1':'value1','key2':'value2'}
>>> r=requests.request('GET','http://python123.io/ws',params=kv)
>>> print(r.url)

--data--字典、字节序列或文件对象,作为Request的内容
>>> kv={'key1':'value1','key2':'value2'}
>>> r=requests.request('POST','http://python123.io/ws',data=kv)
>>> body='主体内容'
>>> r=requests.request('POST','http://python123.io/ws',data=body)

--json--JSON格式的数据,作为Request的内容
>>> kv={'key1':'value1'}
>>> r=requests.request('POST','http://python123.io/ws',json=kv)

--headers--字典,HTTP定制头
>>> hd={'user‐agent':'Chrome/10'}
>>> r=requests.request('POST','http://python123.io/ws',headers=hd)

--file--字典类型,传输文件
>>> fs={'file':open('data.xls','rb')}
>>> r=requests.request('POST','http://python123.io/ws',files=fs)

--timeout--设定超时时间,秒为单位
>>> r=requests.request('GET','http://www.baidu.com',timeout=10)

--proxies--字典类型,设定访问代理服务器,可以增加登录认证
>>> pxs={'http':'http://user:pass@10.10.10.1:1234'
'https':'https://10.10.10.1:4321'}
>>> r=requests.request('GET','http://www.baidu.com',proxies=pxs)

requests.get(url, params=None, **kwargs)

.get其实也是.request的封装 实际为.request(‘get’,url,params=None,**kwargs)

  • url: 拟获取页面的url链接,链接需双引号
  • params: url中的额外参数,字典或字节流格式,可选
  • **kwargs: 12个控制访问的参数
1
2
3
>>> r=requests.get('http://httpbin.org/get') 
>>> print(r.status_code)
>>> r.text

requests.head(url, )

  • url: 拟获取页面的url链接
  • **kwargs: 12个控制访问的参数
1
2
>>> r=requests.head('http://httpbin.org/get') 
>>> r.headers

r=requests.post(url, data=None, json=None, **kwargs)

  • url: 拟更新页面的url链接
  • data : 字典、字节序列或文件,Request的内容
  • json: JSON格式的数据,Request的内容
  • **kwargs: 12个控制访问的参数
1
2
3
>>> payload={'key1': 'value1','key2':'value2'} 
>>> r=requests.post('http://httpbin.org/post', data= payload)
>>> print(r.text)

requests.put(url, data=None, **kwargs)

  • url: 拟更新页面的url链接
  • data : 字典、字节序列或文件,Request的内容
  • **kwargs: 12个控制访问的参数
1
2
3
>>> payload={'key1': 'value1','key2':'value2'} 
>>> r=requests.put('http://httpbin.org/put',data= payload)
>>> print(r.text)

requests.patch(url,data=None, **kwargs)

  • url: 拟更新页面的url链接
  • data : 字典、字节序列或文件,Request的内容
  • **kwargs: 12个控制访问的参数

requests.delete(url,**kwargs)

  • url: 拟删除页面的url链接
  • **kwargs: 12个控制访问的参数

通用代码框架

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import requests
def getHTMLText(url)
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apprent_encoding
return r.rext
except:
return "产生异常"

-- 对于有些安全高的网站,需使爬虫模拟浏览器
import requests
def getHTMLText(url)
try:
kv = {'user-agent':'Mozilla/5.0'} #使头部访问端为Mozilla标准浏览器身份标识
r = requests.get(url, timeout=30, headers=kv)
r.raise_for_status()
r.encoding = r.apprent_encoding
return r.rext
except:
return "产生异常"

整理自 Python网络爬虫与信息提取-嵩天
参考链接:
http://www.imooc.com/article/36467
https://developer.mozilla.org/zh-CN/docs/Learn/Server-side/First_steps/Client-Server_overview(HTTP入门)