|
一、爬虫框架Scarpy简介
Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全用Python实现，完全开源，代码托管在Github上，可运行在Linux，Windows，Mac和BSD平台上，基于Twisted的异步网络库来处理网络通讯，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。
二、Scrapy安装指南
我们的安装步骤假设你已经安装一下内容：<1>Python2.7<2>lxml<3>OpenSSL，我们使用Python的包管理工具pip或者easy_install来安装Scrapy。
pip的安装方式：
复制代码 代码如下:pip install Scrapy
easy_install的安装方式：
复制代码 代码如下:easy_install Scrapy
三、Ubuntu平台上环境配置
1、python的包管理工具
当前的包管理工具链是 easy_install/pip + distribute/setuptools
distutils : Python 自带的基本安装工具,适用于非常简单的应用场景;
setuptools : 针对 distutils 做了大量扩展,尤其是加入了包依赖机制. 在部分 Python 子社区已然是事实上的标准;
distribute : 由于 setuptools 开发进度缓慢,不支持 Python 3,代码混乱,一帮程序员另起炉灶,重构代码,增加功能,希望能够取代 setuptools 并被接纳为官方标准库,他们非常努力,在很短的时间便让社区接受了 distribute;，setuptools / distribute 都只是扩展了 distutils;
easy_install : setuptools 和 distribute 自带的安装脚本,也就是一旦 setuptools 或 distribute 安装完毕,easy_install 也便可用. 最大的特点是自动查找 Python 官方维护的包源 PyPI,安装第三方 Python 包非常方便; 使用:
pip : pip 的目标非常明确 C 取代 easy_install. easy_install 有很多不足: 安装事务是非原子操作,只支持 svn,没有提供卸载命令,安装一系列包时需要写脚本; pip 解决了以上问题,已俨然成为新的事实标准,virtualenv 与它已经成为一对好搭档;
安装过程：
安装distribute
复制代码 代码如下:$ curl -O http://python-distribute.org/distribute_setup.py
$ python distribute_setup.py
安装pip：
复制代码 代码如下:$ curl -O https://raw.github.com/pypa/pip/master/contrib/get-pip.py
$ [sudo] python get-pip.py
2、Scrapy的安装
在Windows平台上，可以通过包管理工具或者手动下载各种依赖的二进制包：pywin32，Twisted，zope.interface，lxml，pyOpenSSL，在Ubuntu9.10以后的版本上，官方推荐不用使用Ubuntu提供的python-scrapy包，它们要么太老要么太慢，无法匹配最新的Scrapy，解决方案是，使用官方的Ubuntu Packages，它提供了所有的依赖库，并且对于最新的bug提供持续的更新，稳定性更高，它们持续的从Github仓库（master和stable branches）构建，Scrapy在Ubuntu9.10之后的版本上的安装方法如下：
<1>输入GPG密钥
复制代码 代码如下:sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
<2>创建/etc/apt/sources.list.d/scrapy.list 文件
复制代码 代码如下:echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
<3>更新包列表，安装scrapy版本，其中VERSION用实际的版本代替，如scrapy-0.22
复制代码 代码如下:sudo apt-get update && sudo apt-get install scrapy-VERSION
3、Scrapy依赖库的安装
ubuntu12.04下scrapy依赖库的安装
ImportError: No module named w3lib.http
复制代码 代码如下:pip install w3lib
ImportError: No module named twisted
复制代码 代码如下:pip install twisted
ImportError: No module named lxml.html
复制代码 代码如下:pip install lxml
解决：error: libxml/xmlversion.h: No such file or directory
复制代码 代码如下:apt-get install libxml2-dev libxslt-dev
apt-get install python-lxml
解决：ImportError: No module named cssselect
复制代码 代码如下:pip install cssselect
ImportError: No module named OpenSSL
复制代码 代码如下:pip install pyOpenSSL
4、定制自己的爬虫开发
切换到文件目录，开启新的工程
复制代码 代码如下:scrapy startproject test
您可能感兴趣的文章:- Python爬虫框架Scrapy实例代码
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- Python的Scrapy爬虫框架简单学习笔记
- 深入剖析Python的爬虫框架Scrapy的结构与运作流程
- 实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250
- Python爬虫框架Scrapy实战之批量抓取招聘信息
- 零基础写python爬虫之使用Scrapy框架编写爬虫
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
（编辑：安卓应用网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
