[No.003-1]爬虫网易赔率数据并导入到mysql数据库

Warren 发布于2019-07-24 17:39 / 789人阅读

摘要：获取场次以及分数合集比如比分对应代码表对应对应胜其他对应平其他对应负其他因此场次和比分结合为，场次信息比分标题胜其他平其他负其他场次比分之后遍历得到结果集如场次为位数字，第一个为主场比分，中间为冒号，最后一个为客场比分平其他

#encoding:utf-8
import urllib2
from bs4 import BeautifulSoup

website = "http://caipiao.163.com/order/jczq-hunhe/#from=leftnav"
page = urllib2.urlopen(website)
soup = BeautifulSoup(page)


"""
获取场次以及分数合集比如
比分对应代码表：
11对应：1:1
70对应：胜其他
77对应：平其他
07对应：负其他
因此场次和比分结合为，017-10,017-20,017-21
"""
#场次信息 screening
i = 1
screening = []
for item in soup.findAll("span",{"class":"co1"}):
    screening.append(item.i.string+"
")
    i+=1

sc = open("sc.txt","w")
sc.writelines(screening)
sc.close()

#比分标题 bifen
bifen=["1:0","2:0","2:1","3:0","3:1","3:2","4:0","4:1","4:2","5:0","5:1","5:2","胜其他","0:0","1:1","2:2","3:3","平其他","0:1","0:2","1:2","0:3","1:3","2:3","0:4","1:4","2:4","0:5","1:5","2:5","负其他"]

#场次+比分：ccbf
ccbf = []
for item_jtip in screening:
    for item_bifen in bifen:
        ccbf.append(item_jtip+item_bifen)

#之后遍历ccbf
for item in ccbf:
    print item

#得到结果集如(场次为3位数字，第一个为主场比分，中间为冒号，最后一个为客场比分)：
0281:1
0282:2
0283:3
028平其他
0280:1
0280:2
0281:2
0280：3
0281:3
0282:3
0280:4
0281:4
0282:4
0280:5
0281:5

#----------------
"""
这里因为使用的是python2，所以需要将str->Unicode
具体参考：
http://blog.csdn.net/mindmb/article/details/7898528
"""

#建立比分赔率字典bfpl
#获取比分赔率
bfpl = []
for item in soup.findAll("td",{"gametype":"bf"}):
    bfpl.append(item.find("div").string+"
")

#写入到文件bf.txt
bf = open("bf.txt","w")
bf.writelines(bfpl)
bf.close()

#组合
bfdata = {}
bf = dict(zip(ccbf,bfpl))
#--------------------
#出现错误！！！
#bfpl获取的数量和ccbf数量不一致，重新使用一个队列，同时获取场次和比分的赔率数据放置在一个队列中

超融合服务器专线服务用java访问oracle数据库取得记录并输出到界面大量数据导入到rds dat文件导入到数据库 csv文件导入到数据库

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37374.html

[No.003-0]爬虫网易赔率数据并导入到mysql数据库

摘要：所以我不得不做的就是把每天的赔率数据导入到我自己的数据库，根据一定的运算法则，将可能性筛选出来，然后我再做进一步的判断。首先，我拥有这个导入赔率的需求，并且，我需要的是所有的数据赔率，我需要把某些脏赔率(极有可能不会出现的赔率，误导彩迷的赔率)删除，并且我需要知道这些赔率的比分，删除这些赔率，可以逆推正确比分以及赔率的区间。所以我不得不做的就是把每天的赔率数据导入到...

stefanieliang 2019-07-31 15:42 评论0 收藏0
[No.003-0]爬虫网易赔率数据并导入到mysql数据库

摘要：所以我不得不做的就是把每天的赔率数据导入到我自己的数据库，根据一定的运算法则，将可能性筛选出来，然后我再做进一步的判断。首先，我拥有这个导入赔率的需求，并且，我需要的是所有的数据赔率，我需要把某些脏赔率(极有可能不会出现的赔率，误导彩迷的赔率)删除，并且我需要知道这些赔率的比分，删除这些赔率，可以逆推正确比分以及赔率的区间。所以我不得不做的就是把每天的赔率数据导入到...

cikenerd 2019-07-24 17:37 评论0 收藏0
[No.003-5]爬虫网易赔率数据并导入到mysql数据库

摘要：创建比赛结果数据库导入结果到导入到数据库中更新胜负数据插入更新胜场胜其他更新负场负其他更新平局平其他查看更新结果创建比赛结果数据库 CREATE TABLE `results` ( `id` char(14) NOT NULL, `scr` char(3) NULL , `lea` char(100) NULL , `gmd` date NULL , `hos` char...

ybak 2019-07-24 17:38 评论0 收藏0
[No.003-3]爬虫网易赔率数据并导入到mysql数据库--MySQL篇

摘要：创建数据库以及表，并导入数据创建数据库创建表胜分数比分平负导入数据导入到数据库中创建数据库以及表，并导入数据 --创建数据库 CREATE DATABASE `data` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; --创建表 --win w 胜 0 分数 1 比分 --draw d 平 --lose l 负 C...

ztyzz 2019-07-24 17:39 评论0 收藏0
[No.003-4]爬虫网易赔率数据并导入到mysql数据库

摘要：收集比赛结果场次先获得包含和其他信息的队列赛事类型比赛日期删除无效的前个数据主队，客队胜平负赔率删除首尾两个无效数据比分结果以及比分结果赔率形成场次日期唯一装配结果集更新数据库内容更新胜平负胜其他平其他负其他更新总进球胜其收集比赛结果 #encoding:utf-8 import sys import urllib2 import re from bs4 import Beauti...

BlackHole1 2019-07-24 17:39 评论0 收藏0