Python网络爬虫与音讯提取

By admin in 必赢网址是多少 on 2019年1月3日

              学习
法国首都政法大学 嵩天 课程笔记 

课程序列结构:

  1、Requests框架:自动爬取HTML页面与活动网络请求提交
  2、robots.txt:网络爬虫排除标准
  3、BeautifulSoup框架:解析HTML页面
  4、Re框架:正则框架,提取页面关键音讯
  5、Scrapy框架:网络爬虫原理介绍,专业爬虫框架介绍

  理念:The Website
is the API …

Python语言常用的IDE工具

  文本工具类IDE:

    IDLE、Notepad++、Sublime Text、Vim & Emacs、Atom、Komodo
Edit

  集成工具IDE:

    PyCharm、Wing、PyDev & Eclipse、Visual Studio、Anaconda &
Spyder、Canopy

  ·IDLE是Python自带的默认的常用的入门级编写工具,它富含交互式文件式二种方法。适用于较短的主次。
  ·Sublime
Text是专为程序员开发的第三方专用编程工具,可以提高编程体验,具有多种编程风格。

  ·Wing是Wingware集团提供的收费IDE,调试效用充分,具有版本控制,版本同步效率,适合于多少人共同开发。适用于编写大型程序。
  ·Visual
Studio是微软公司敬重的,可以经过安排P电视S编写Python,首要以Windows环境为主,调试效率充足。

  ·Eclipse是一款开源的IDE开发工具,可以经过部署PyDev来编排Python,不过配置过程复杂,需要有肯定的开销经历。

  ·PyCharm分为社区版和专业版,社区版免费,具有简易、集成度高的风味,适用于编写较复杂的工程。

  适用于科学统计、数据解析的IDE:

  ·Canopy是由Enthought公司维护的收款工具,帮助近500个第三方库,适合科学统计领域利用开发。

  ·Anaconda是开源免费的,补助近800个第三方库。

Requests库入门

Requests的安装:

  Requests库是眼前公认的爬取网页最好的Python第三方库,具有简易、简捷的特性。

  官方网站:http://www.python-requests.org

  在”C:\Windows\System32″中找到”cmd.exe”,使用管理员身份运行,在命令行中输入:“pip
install requests”运行。

必赢网址是多少 1

  使用IDLE测试Requests库:

>>> import requests
>>> r = requests.get("http://www.baidu.com")#抓取百度页面
>>> r.status_code
200
>>> r.encoding = 'utf-8'
>>> r.text

 

Requests库的7个紧要情势

方法 说明
requests.request() 构造一个请求,支撑以下各方法的基础方法
requests.get() 获取HTML网页的主要方法,对应于HTTP的GET
requests.head() 获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete() 向HTML页面提交删除请求,对应于HTTP的DELET     

详细音信参考 Requests库
API文档:http://www.python-requests.org/en/master/api/

  get()方法
    r = requests.get(url)

      get()方法社团一个向服务器请求资源的Request对象,重返一个暗含服务器资源的Response对象。

    requests.get(url, params=None, **kwargs)

      url:拟获取页面的url链接

      params:url中的额外参数,字典或字节流格式,可选

      **kwargs:12个控制访问参数

Requests库的2个重点对象
   · Request

   · Response:Response对象涵盖爬虫再次来到的始末

Response对象的特性

  r.status_code
:HTTP请求的回到状态,200意味连接成功,404意味失利

  r.text
:HTTP响应内容的字符串形式,即,url对应的页面内容

  r.encoding : 从HTTP
header中推测的呼应内容编码格局 

  r.apparent_encoding :
从内容中分析出的应和内容编码模式(备选编码模式)

  r.content :
HTTP响应内容的二进制格局

  r.encoding
:如若header中不设有charset,则觉得编码为ISO-8859-1 。

  r.apparent_encoding
:依照网页内容分析出的编码格局可以看作是r.encoding的备选。

 

Response的编码:

  r.encoding :
从HTTP
header中推断的响应内容的编码格局;假设header中不设有charset,则以为编码为ISO-8859-1,r.text遵照r.encoding展现网页内容

  r.apparent_encoding :
依据网页内容分析出的编码格局,可以看成r.encoding的备选

 

爬取网页的通用代码框架

Requests库的至极

 异常 说明 
requests.ConnectionError 网络连接错误异常,如DNS查询失败拒绝连接等
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.ToolManyRedirects 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时,尝试超时异常

 

Response的异常

  r.raise_for_status(): 如若不是200,暴发非凡requests.HTTPError;

  在措施内部判断r.status_code是否等于200,不需要追加额外的if语句,该语句便于利用try-except举行分外处理

 

import requests

def getHTMLText(url):
  try:
    r = requests.get(url, timeout=30)
    r.raise_for_status()    # 如果状态不是200,引发HTTPError异常
    r.encoding = r.apparent_encoding
    return r.text
  except:    
    return "产生异常"

if __name__ == "__main__":
  url = "http://www.baidu.com"
  print(getHTMLText(url))

  通用代码框架,可以使用户爬取网页变得更管用,更安宁、可靠。

HTTP协议

  HTTP,Hypertext
Transfer Protocol,超文本传输协议。

  HTTP是一个遵照“请求与响应”情势的、无状态的应用层协议。

  HTTP共商利用URL作为稳定网络资源的标识。

URL格式:http://host\[:port\]\[path\]

  ·
host:合法的Internet主机域名或IP地址
  ·
port:端口号,缺省端口号为80
  ·
path:请求资源的不二法门

HTTP URL的理解:

  URL是经过HTTP协议存取资源的Internet路径,一个URL对应一个数码资源。

HTTP协议对资源的操作

方法 说明
GET 请求获取URL位置的资源
HEAD 请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
POST 请求向URL位置的资源后附加新的数据
PUT 请求向URL位置存储一个资源,覆盖原URL位置资源
PATCH 请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE 请求删除URL位置存储的资源

理解PATCH和PUT的区别

  即便URL地方有一组数据UserInfo,包括UserID、UserName等20个字段。

  需求:用户修改了UserName,其他不变。
    ·
选用PATCH,仅向URL提交UserName的片段更新请求。
    ·
选拔PUT,必须将有着20个字段一并付诸到URL,未提交字段被删除。

  PATCH的最重要利益:节省网络带宽

Requests库重点情势分析

  requests.request(method, url,
**kwargs)
    ·
method:请求情势,对应get/put/post等7种
      例: r =
requests.request(‘OPTIONS’, url, **kwargs)
    ·
url:拟获取页面的url链接

    · **kwargs:控制访问的参数,共13个,均为可选项

      params:字典或字节类别,作为参数增添到url中;

kv = {'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123.io/ws',params=kv)
print(r.url)
'''
http://python123.io/ws?key1=value1&key2=value2
'''

      data:字典、字节体系或文件对象,作为Request的始末;

      json:JSON格式的多少,作为Request的始末;

      headers:字典,HTTP定制头;

hd = {'user-agent':'Chrome/10'}
r = requests.request('POST','http://www.yanlei.shop',headers=hd)

      cookies:字典或CookieJar,Request中的cookie;

      auth:元组,补助HTTP认证效能;

      files:字典类型,传输文件;

fs = {'file':open('data.xls', 'rb')}
r = requests.request('POST','http://python123.io/ws',files=fs)

      timeout:设定超时时间,秒为单位;

      proxies:字典类型,设定访问代理服务器,能够增Garden录认证

      allow_redirects:True/False,默认为True,重定向开关;

必赢网址是多少,      stream:True/False,默认为True,获取内容及时下载开关;

      verify:True/False,默认为True,认证SSL证书开关;

      cert:本地SSL证书路径

#方法及参数
requests.get(url, params=None, **kwargs)
requests.head(url, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.delete(url, **kwargs)

 

 

必赢网址是多少 2
网络爬虫引发的题目
  性能骚扰:

    受限于编写水平和目的,网络爬虫将会为web服务器带来巨大的资源开发
  法律风险:

    服务器上的数据有产权归属,网路爬虫获取数据后牟利将牵动法律风险。
  隐私泄露:

    网络爬虫可能持有突破简单访问控制的力量,拿到被保安数量从而泄露个人隐私。

网络爬虫的限量
  ·来源审查:判断User-Agent进行限定

    检查来访HTTP协议头的User-Agent域,值响应浏览器或协调爬虫的拜访。
  ·
发表公告:Roots商谈

    告知所有爬虫网站的爬取策咯,要求爬虫坚守。

 

Robots协议
  罗布(Rob)ots Exclusion
Standard 网络爬虫消除标准

  功用:网站告知网络爬虫哪些页面能够抓取,哪些不行。

  形式:在网站根目录下的robots.txt文件。
  案例:京东的Robots协议

    http://www.jd.com/robots.txt

# 注释:*代表所有,/代表根目录
User-agent: * 
Disallow: /?* 
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
User-agent: EtaoSpider 
Disallow: / 
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Disallow: /

 

Robots商谈的应用

  网络爬虫:自动或人工识别robots.txt,再拓展内容爬取。

必赢网址是多少 3
  约束性:罗布ots共商是提出但非约束性,网络爬虫可以不服从,但存在法律风险。

 

Requests库网络爬虫实战

1、京东货物

import requests
url = "https://item.jd.com/5145492.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

 

2、Amazon商品

# 直接爬取亚马逊商品是会被拒绝访问,所以需要添加'user-agent'字段
import requests
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
    kv = {'user-agent':'Mozilla/5.0'} # 使用代理访问
    r = requests.get(url, headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(t.text[1000:2000])
except:
    print("爬取失败")

 

3、百度/360搜寻关键词提交
  搜索引擎关键词提交接口
    ·
百度的严重性词接口:

      http://www.baidu.com/s?wd=keyword
    ·
360的重中之重词接口:

      http://www.so.com/s?q=keyword

# 百度
import requests
keyword = "Python"
try:
    kv = {'wd':keyword}
    r = requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

必赢网址是多少 4必赢网址是多少 5

# 360
import requests
keyword = "Python"
try:
    kv = {'q':keyword}
    r = requests.get("http://www.so.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

View Code

4、网络图片的爬取和存储

  网络图片链接的格式:

    http://www.example.com/picture.jpg

  江山地理:

    http://www.nationalgeographic.com.cn/

  选拔一张图片链接:

    http://image.nationalgeographic.com.cn/2017/0704/20170704030835566.jpg*
*

 图片爬取全代码
import requests
import os
url = "http://image.nationalgeographic.com.cn/2017/0704/20170704030835566.jpg"
root = "D://pics//"
path = root + url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("爬取失败")

5、IP地址归属地的机动查询

  www.ip138.com IP查询
  http://ip138.com/ips138.asp?ip=ipaddress
  http://m.ip138.com/ip.asp?ip=ipaddress

import requests
url = "http://m.ip138.com/ip.asp?ip="
ip = "220.204.80.112"
try:
    r = requests.get(url + ip)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1900:])
except:
    print("爬取失败")

必赢网址是多少 6必赢网址是多少 7

# 使用IDLE
>>> import requests
>>> url ="http://m.ip138.com/ip.asp?ip="
>>> ip = "220.204.80.112"
>>> r = requests.get(url + ip)
>>> r.status_code
200
>>> r.text

View Code

必赢网址是多少 8

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图
Copyright @ 2010-2019 亚洲必赢app官方下载 版权所有