Python 实现刷网页流量工具，并添加代理，报错处理功能

Shimmer 发布于2019-07-25 11:47 / 827人阅读

摘要：个人博客凌霄的博客准备必须环境开始先实现一个简单的版本，直接上代码创建方法设置一些基本属性记录次数访问简单粗暴，刷的只是没变，容易被搜索引擎发现，下面我们来改进一下增加代理功能给方法添加以下代码修改一下主方法添加代理列表，可以自行去百度获

</>复制代码 
个人博客：凌霄的博客

准备

必须环境：

Python3

开始

先实现一个简单的版本，直接上代码：

</>复制代码 
import urllib.request
import urllib.error
#创建get方法
def get(url):
    code=urllib.request.urlopen(url).code
    return code
if __name__ == "__main__":
  #设置一些基本属性
    url = "http://lx.nextdev.cn"
    user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36"
    headers = {"User-Agent":user_agent}
    req = urllib.request.Request(url, headers=headers)
    #记录次数
    i = 1
    while 1: 
        code = get(url)
        print("访问:"+str(code))
        i = i+1

简单粗暴，刷的只是 pv,ip 没变，容易被搜索引擎发现，下面我们来改进一下

增加代理功能

给 get 方法添加以下代码：

</>复制代码 
random_proxy = random.choice(proxies)
proxy_support = urllib.request.ProxyHandler({"http":random_proxy})
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)

修改一下主方法：

</>复制代码 
if __name__ == "__main__":
    url = "http://lx.nextdev.cn"
    #添加代理列表，可以自行去百度获取
    proxies = ["124.88.67.22:80","124.88.67.82:80","124.88.67.81:80","124.88.67.31:80","124.88.67.19:80","58.23.16.240:80"]
    user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36"
    headers = {"User-Agent":user_agent}
    req = urllib.request.Request(url, headers=headers)
    i = 1
    while 1:
        #添加参数
        code = get(url,proxies)
        print("第"+str(i)+"次代理访问:"+str(code))
        i = i+1

这样差不多了，不过有个 bug ，如果页面打不开了或者代理失效了，程序就自动结束了，接下来我们添加异常处理功能

异常处理

定义 mail 方法，用来发邮件提醒

</>复制代码 
def mail(txt):
    _user = "你的账号"
    _pwd = "你的密码"
    _to = "收件账号"
    msg = MIMEText(txt, "plain", "utf-8")
    #标题
    msg["Subject"] = "代理失效！"
    msg["From"] = _user
    msg["To"] = _to
    try:
        #这里我用的qq邮箱
        s = smtplib.SMTP_SSL("smtp.qq.com", 465)
        s.login(_user, _pwd)
        s.sendmail(_user, _to, msg.as_string())
        s.quit()
        print("Success!")
    except smtplib.SMTPException as e:
        print("Falied,%s" % e)

然后我们修改一下主方法：

</>复制代码 
if __name__ == "__main__":
    url = "http://lx.nextdev.cn"
    proxies = ["124.88.67.22:80","124.88.67.82:80","124.88.67.81:80","124.88.67.31:80","124.88.67.19:80","58.23.16.240:80"]
    user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36"
    headers = {"User-Agent":user_agent}
    req = urllib.request.Request(url, headers=headers)
    i = 1
    while 1:
        try:
            code = get(url,proxies)
            print("第"+str(i)+"次代理访问:"+str(code))
            i = i+1
        except urllib.error.HTTPError as e:
            print(e.code)
              #添加mail方法
            mail(e.code)
        except urllib.error.URLError as err:
            print(err.reason)
              #添加mail方法
            mail(err.reason)

完成！ 结语

代码只有短短的 50 行，程序还可以改进：
例如：代理列表自动获取，添加界面

</>复制代码 
欢迎评论

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38613.html

利用 NGINX 最大化 Python 性能，第二部分：负载均衡和监控

摘要：现有的服务器和应用程序服务器相结合并在一个冒泡中运行，无法直接接触网络流量，由反向代理服务器提出填鸭式请求。赋予高可用性让你的反向代理服务器镜像到在线备份，同时拥有备用的应用程序服务器，让你的站点高度可用。【编者按】本文主要介绍 NGINX 的主要功能以及如何通过 Nginx 优化 Python 应用性能。本文系国内 ITOM 管理平台 OneAPM 编译呈现。本文上一篇系: 利用...

zhangrxiang 2019-07-25 13:41 评论0 收藏0
利用 NGINX 最大化 Python 性能，第二部分：负载均衡和监控

摘要：现有的服务器和应用程序服务器相结合并在一个冒泡中运行，无法直接接触网络流量，由反向代理服务器提出填鸭式请求。赋予高可用性让你的反向代理服务器镜像到在线备份，同时拥有备用的应用程序服务器，让你的站点高度可用。【编者按】本文主要介绍 NGINX 的主要功能以及如何通过 Nginx 优化 Python 应用性能。本文系国内 ITOM 管理平台 OneAPM 编译呈现。本文上一篇系: 利用...

Snailclimb 2019-07-25 10:23 评论0 收藏0
Python爬虫学习路线

摘要：以下这些项目，你拿来学习学习练练手。当你每个步骤都能做到很优秀的时候，你应该考虑如何组合这四个步骤，使你的爬虫达到效率最高，也就是所谓的爬虫策略问题，爬虫策略学习不是一朝一夕的事情，建议多看看一些比较优秀的爬虫的设计方案，比如说。（一）如何学习Python 学习Python大致可以分为以下几个阶段： 1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法...

liaoyg8023 2019-07-31 10:27 评论0 收藏0
利用 NGINX 最大化 Python 性能，第一部分：Web 服务和缓存

摘要：无论是将其用作的服务器反向代理服务器负载均衡器，还是同时使用以上三种功能，和都能带来很大好处。再就是下篇文章会介绍如何把和当作反向代理服务器和多个应用程序服务器的负载均衡器。而使用将会有助于解决这一问题。【编者按】本文主要介绍 nginx 的主要功能以及如何通过 NGINX 优化 Python 应用性能。本文系国内 ITOM 管理平台 OneAPM 编译呈现。 Python 的著名之...

1treeS 2019-07-25 13:41 评论0 收藏0
利用 NGINX 最大化 Python 性能，第一部分：Web 服务和缓存

摘要：无论是将其用作的服务器反向代理服务器负载均衡器，还是同时使用以上三种功能，和都能带来很大好处。再就是下篇文章会介绍如何把和当作反向代理服务器和多个应用程序服务器的负载均衡器。而使用将会有助于解决这一问题。【编者按】本文主要介绍 nginx 的主要功能以及如何通过 NGINX 优化 Python 应用性能。本文系国内 ITOM 管理平台 OneAPM 编译呈现。 Python 的著名之...

v1 2019-07-25 10:19 评论0 收藏0