【爬虫系列之一】爬虫开发环境的搭建

Jochen 发布于2019-07-30 16:48 / 2077人阅读

摘要：当前分为版本，以及版本，这两个版本相互直接是不兼容的，但是当前世面的主流或者程序还是偏多，所以我这边主要是版本为基础，确切地说，是版本。下面来说说如何安装开发环境以及开发工具一环境的安装上安装如果你正在使用，系统是，系统自带了。

当前python分为2.x版本，以及3.x版本，这两个版本相互直接是不兼容的，但是当前世面的主流web或者程序还是2.x偏多，所以我这边主要是2.x版本为基础，确切地说，是2.7版本。

下面来说说如何安装开发环境以及开发工具

一、环境的安装 MAC上安装python

如果你正在使用Mac，系统是10.13.3，系统自带了Python 2.7。这边也可以在直接在终端输入如下命令，看是否存在python以及python版本

➜  ~ python --version
Python 2.7.10
➜  ~

如果需要安装python3，则执行以下命令

➜  ~ brew install python

注意：

安装Python2.7以上版本，会自动带pip。

Python3高版本自带pip3

MAC自带的python是没有pip，此时需要如果需要使用，请执行

// 给系统的python安装pip
➜  ~ sudo easy_install pip

LINUX上安装python

#安装依赖
➜  ~ yum -y install python-devel openssl openssl-devel gcc sqlite sqlite-devel mysql-devel libxml2-devel libxslt-devel

#下载python2.7
➜  ~ wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

➜  ~ mkdir /software
➜  ~ mv Python-2.7.13.tgz /software
➜  ~ cd /software
➜  ~ tar -zxf Python-2.7.13.tgz

➜  ~ cd Python-2.7.13/
➜  ~ ./configure --prefix=/usr/local/python2.7 --with-threads --enable-shared
➜  ~ make
➜  ~ make altinstall

# 备份旧python相关命令
➜  ~ mv /usr/bin/pip /usr/bin/pip_old
➜  ~ mv /usr/bin/easy_install /usr/bin/easy_install_old
➜  ~ mv /usr/bin/python /usr/bin/python_old

# 新版本python命令做软连接，快捷使用
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib
➜  ~ ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib64
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib64


# 下载最新版的pip，然后安装
➜  ~ cd /software
➜  ~ wget https://bootstrap.pypa.io/get-pip.py
➜  ~ python get-pip.py
➜  ~ ln -s /usr/local/python2.7/bin/pip /usr/bin/pip

# 查找pip的位置
➜  ~ find / -name pip

在windows上面安装

从Python的官方网站python.org下载最新的2.7版本

然后，运行下载的MSI安装包，在选择安装组件的一步时，勾上所有的组件：、

特别要注意选上pip和Add python.exe to Path，然后一路点“Next”即可完成安装。

默认会安装到C:Python27目录下，然后打开命令提示符窗口，敲入python后，就会出现>>>提示符

二、开发工具的安装

不论是mac还是windows都是，从pycharm官网下载该工具，然后傻瓜式安装，打开需要激活，有多余经费的娃子们，推荐购买正版，穷人可以考虑：关注公众号 喝醉的清茶 后台回复 pycharm激活 获取激活方式。

更多精彩内容，欢迎大家关注我的微信公众号：喝醉的清茶

私有云专线服务 python爬虫搭建环境 python爬虫环境搭建 java开发环境的搭建 php开发环境的搭建

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/41837.html

【爬虫系列之二】python基础知识的了解

摘要：数据传送上面介绍了参数，这里就是将需要的参数通过方式传入上述代码引入了库，现在我们模拟登陆京东商场，但是应该是无法登陆的，一般都是需要设置一些头部的工作，或者其它的参数，这里使用了库对参数，进行一下。了解了前面的环境搭建，以及python的基础知识的学习，咱们接下来学习一下，如何将网页扒下来一、案例介绍当我们打开浏览器，打开页面，看到的是好看的页面，但是其实是由浏览器解释才呈现...

SHERlocked93 2019-07-30 16:50 评论0 收藏0
【爬虫系列之三】URLError异常处理以及Cookie的使用

摘要：一的处理出现产生的原因很多，比如网络没法连接，连接不到服务器，或者服务器不存在。二的使用，一般是某些网站为了辨别用户身份，进行跟踪，从而存储在客户端的数据。模块的主要作用是提供可存储的对象，以便于与模块配合使用来访问资源。一、urlError的处理出现urlError产生的原因很多，比如:网络没法连接，连接不到服务器，或者服务器不存在。在代码中，我们需要用try-except的语句...

xiaochao 2019-07-30 16:49 评论0 收藏0
Python爬虫建站入门手记——从零开始建立采集站点（一：环境搭建）

摘要：从今天起，我将在这里更新一个系列的简单爬虫到建立网站的实践手记。内容将会从最简单的开始，环境搭建，基本爬虫，入库，用建立可供用户访问的网站，网站部署。第一部分，买，装环境。我们爬虫站点的所有文件都放在里面。从今天起，我将在这里更新一个系列的python简单爬虫到建立网站的实践手记。内容将会从最简单的开始，环境搭建，基本爬虫，入库，用Django建立可供用户访问的网站，网站部署。 ...

HackerShell 2019-07-24 17:56 评论0 收藏0
验证码破解技术四部曲之环境搭建篇（一）

摘要：最容易破解的验证码直接使用库识别。验证码使用卷积神经网络训练识别。说明项目源码可以帮我点个开发语言编写爬虫编写图像处理部分以及机器学习算法开发环境依赖库环境搭建安装安装安装安装的库安装的库下载项目源码前言转眼就变成大四狗了，大学期间做的比较深入的技术是爬虫，但是爬虫也有很多高级的技术没有涉及，比如说验证码的破解便是其中之一，再加上我对其非常感兴趣，于是乎，开始苦学图像处理、学习机器...

Null 2019-06-26 15:31 评论0 收藏0
前端每周清单第 18 期：Firefox、Chrome、React、Angular发布新版本；提升R

摘要：本文即以简单的回归拟合为例，从最基础的库安装数据导入数据预处理到模型训练模型预测介绍了如何使用进行简单的机器学习任务。前端每周清单第 18 期：Firefox、Chrome、React、Angular发布新版本；提升RN应用性能的方法为InfoQ中文站特供稿件，首发地址为这里；如需转载，请与InfoQ中文站联系。从属于笔者的 Web 前端入门与工程实践的前端每周清单系列系列；部分...

Lemon_95 2019-08-20 17:24 评论0 收藏0