简单爬虫脚本：178上data2比分扳

AnthonyHan 发布于2019-07-25 11:48 / 2161人阅读

摘要：基辅特锦赛正在进行，上班时候又不能看比赛，打开游戏网站吧，也不太好，写了个小脚本抓取上的比分扳，看下比赛结果，也是极好的吧。。。

Dota2基辅特锦赛正在进行，上班时候又不能看比赛，打开游戏网站吧，也不太好，写了个小脚本抓取178上的比分扳，看下比赛结果，也是极好的吧。。。

比分扳的数据是js生成的，那就直接传入参数，获取内容

仔细一看这参数还挺多，Headers中参数标签

再窗口中直接打开连接：

使用正则查找数据吧

from bs4 import BeautifulSoup
import re
import requests

data={
    "endpoint":"three",
    "ids":"100000282,100000930,100000924,100000918,100000843",
    "callback":"jQuery112408214716044557848_1493194419017",
    "_":"1493194419018"
      }

web_data = requests.get("http://wxapi.178.com/vpgame_proxy.php",params=data)
soup = BeautifulSoup(web_data.text,"lxml")
event_list = str(soup).split("}]}}")[:-1]


def get_events(strings):
    events_name = re.findall(r""tournamentName":"(.*?)"",strings)
    events_date = re.findall(r"(d{4}-d{2}-d{2})",strings)
    events_status = re.findall(r""status":"(w+)"",strings)
    l_teams = re.findall(r""leftTeam":"(.*?)"",strings)
    r_teams = re.findall(r""rightTeam":"(.*?)"",strings)
    l_scores = re.findall(r""leftTeamScore":"(d+)"",strings)
    r_scores = re.findall(r""rightTeamScore":"(d+)"",strings)
    print("|{0!s: ^37s}|{1!s: ^20s}|".format(events_name[0], events_date[0]))
    print("{:-^60}".format("-"))
    
    for events_statu,l_team,l_score,r_score,r_team in zip(events_status,l_teams,l_scores,r_scores,r_teams):
        print("|{0!s: ^8s}|{1!s: ^20}| {2!s: ^1s} - {3!s: ^1s} |{4!s: ^20s}|".format(events_statu,l_team,l_score,r_score, r_team))

for i in event_list:
    get_events(i)
    print("{:-^60}".format("-"))

执行结果

写的比较粗糙，也没有进行排序，凑合用吧

idc机房托管私有云简单的shell脚本爬虫脚本简单爬虫爬虫简单

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38618.html

[No.003-1]爬虫网易赔率数据并导入到mysql数据库

摘要：获取场次以及分数合集比如比分对应代码表对应对应胜其他对应平其他对应负其他因此场次和比分结合为，场次信息比分标题胜其他平其他负其他场次比分之后遍历得到结果集如场次为位数字，第一个为主场比分，中间为冒号，最后一个为客场比分平其他 #encoding:utf-8 import urllib2 from bs4 import BeautifulSoup website = http://ca...

Warren 2019-07-24 17:39 评论0 收藏0
极简爬虫攻防战纪要

摘要：极简爬虫攻防战纪要爬虫是构建搜索引擎的基础负责抓取网页信息并对网页识别分类及过滤。爬虫方终于锁定了第一场战役的胜局由于断崖式技术的出现，反爬方在浏览器识别战役上望风披靡。经过反爬方的精心运作，逐渐有效削弱了敌方的攻势。极简爬虫攻防战纪要爬虫是构建搜索引擎的基础, 负责抓取网页信息并对网页识别、分类及过滤。我们熟识的电商、搜索、新闻及各大门户网站都有强大的爬虫集群在每...

elliott_hu 2019-08-26 14:06 评论0 收藏0
[No.003-0]爬虫网易赔率数据并导入到mysql数据库

摘要：所以我不得不做的就是把每天的赔率数据导入到我自己的数据库，根据一定的运算法则，将可能性筛选出来，然后我再做进一步的判断。首先，我拥有这个导入赔率的需求，并且，我需要的是所有的数据赔率，我需要把某些脏赔率(极有可能不会出现的赔率，误导彩迷的赔率)删除，并且我需要知道这些赔率的比分，删除这些赔率，可以逆推正确比分以及赔率的区间。所以我不得不做的就是把每天的赔率数据导入到...

cikenerd 2019-07-24 17:37 评论0 收藏0
8、web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用

摘要：百度云搜索搜网盘淘宝券使用代理格式化，第一个参数，请求目标可能是或者对应设置初始化将代理设置成全局当使用请求时自动使用代理引入随机模块文件格式化注意第一个参数可能是或者，对应设置初始化将代理设置成全局当使用请求时自动使用代理请求【百度云搜索:http://bdy.lqkweb.com】【搜网盘:http://www.swpan.cn】【淘宝券:http://www.tbquan....

mrcode 2019-07-31 10:35 评论0 收藏0