在 Windows 下安装 Scrapy

QiuyueZhong 发布于2019-07-30 16:39 / 364人阅读

摘要：也就是说，这些基本库都要安装好。这次的安装环境是，电脑是位，主要用安装。最后就是安装了，在里面安装直接用安装说明听说用安装可简单了，一个命令就搞定了，可惜我懒得试了。

0 前言

因为要学一点爬虫，我要安装 Scrapy 这个库，直接用 Pycharm 安装就报错， pip 也不行，所以要把 Scrapy 依赖的库安装好，然后再安装 Scrapy 。也就是说，lxml、pyOpenSSL、Twisted、pywin32 这些基本库都要安装好。

这次的安装环境是python3.6，电脑是 32 位，主要用 Pycharm 安装。

1 安装 安装 lxml

用 pycharm 安装比较简单一点

也可以 cmd 内输入

pip install lxml

先 Win键+R，再输入 cmd ，回车

进来后输入

pip install lxml

如果不行，则去下面的网站下载。

https://pypi.org/project/lxml...
https://www.lfd.uci.edu/~gohl...

比如我这台电脑是 Python3.6，32位的就下载 lxml-4.2.1-cp36-cp36m-win32.whl

进入 cmd，然后 cd 到文件的路径下，接着就是

pip install lxml-4.2.1-cp36-cp36m-win32.whl

命令后面那一部分要和文件名保持一致，也就是 pip install 文件名.whl回车，等一会就安装好了

安装 pyOpenSSL

用 pycharm 安装或者

pip install pyOpenSSL

https://pypi.org/project/pyOp...

如果还不行，就下载图中的这个，然后进入 cmd 用 pip 安装 whl文件

安装 Twisted

我这里用 Pycharm 安装不了，pip install Twisted 也不行，直接去下载 whl 文件回来安装

https://www.lfd.uci.edu/~gohl...
https://pypi.org/project/Twis...

电脑是 python3.6 ,32 位的电脑，所以下载的是 Twisted-18.4.0-cp36-cp36m-win32.whl

进入 cmd ，cd 到文件目录下，输入命令

pip install Twisted-18.4.0-cp36-cp36m-win32.whl

命令后面那一部分要和文件名保持一致，也就是 pip install 文件名.whl,回车，等一会就安装好了。

安装 pywin32

pycharm 安装或者 pip install pywin32

https://sourceforge.net/proje...

如果不行，下载 exe 文件，下载回来直接运行一下就好。

最后就是安装 Scrapy 了，在 pycharm 里面安装

直接用 pip 安装

pip install Scrapy

2 说明

听说用 Anaconda 安装可简单了，一个命令就搞定了，可惜我懒得试了。

conda install Scrapy

Anaconda下载链接：https://www.anaconda.com/down...

本次的参考资料是小怪大佬的知识星球【scrapy 爬虫课程】里的资料，这里就不放出来了。

文章首发于本人公众号，欢迎关注~

私有云混合云如何在windows下安装linux windows下安装教程 windows下安装webrtc windows下eclipse安装

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41783.html

windows下安装python+scrapy

摘要：好啦一切准备工作就绪，现在开始安装库安装成功后，安装就简单了，在命令提示符窗口直接输入命令回车现在一切都搞定了，可以新建一个测试，敲一个基于框架的爬虫程序咯。最近忽然有了想要学习python爬虫的想法，但是首先需要安装工具。python安装倒是很轻松，只要傻瓜式一键安装即可，但是在Windows下安装scrapy倒不是件容易的事情。言归正传，说下我从昨天下午到今天上午安装的步骤： 1...

dantezhao 2019-07-30 14:22 评论0 收藏0
基于 Python 的 Scrapy 爬虫入门：环境搭建

摘要：一基础环境由于不是职业的开发者，因此环境是基于的。二安装打开命令行工具创建虚拟环境，默认情况下会创建目录，所有的虚拟环境都会产生一个子目录保存在此，里面包含基本程序文件以及库文件。目录基于 Python 的 Scrapy 爬虫入门：环境搭建基于 Python 的 Scrapy 爬虫入门：页面提取基于 Python 的 Scrapy 爬虫入门：图片处理作为一个全栈工程师（...

Gu_Yan 2019-07-31 11:00 评论0 收藏0
scrapy学习笔记

摘要：是最有名的爬虫框架之一，可以很方便的进行抓取，并且提供了很强的定制型，这里记录简单学习的过程和在实际应用中会遇到的一些常见问题一安装在安装之前有一些依赖需要安装，否则可能会安装失败，的选择器依赖于，还有网络引擎，下面是下安装的过程下安装安装 scrapy是python最有名的爬虫框架之一，可以很方便的进行web抓取，并且提供了很强的定制型，这里记录简单学习的过程和在实际应用中会遇到的一...

luzhuqun 2019-07-25 10:51 评论0 收藏0