使用pandas玩kaggle数据(二)

Chiclaim 发布于2019-07-24 18:28 / 2202人阅读

摘要：按类型去分析数据并没有得到规律性的东西。我们再来看看元数据。按年月日格式化时间，按进行分类，我们得到每日发生的案件统计走势图。按警区划分案件，然后统计每个警区的案件走势。如类型但案件时逐年降低的。

还是有点懒，本应早点写第二集。按类型去分析数据并没有得到规律性的东西。我们再来看看元数据。
Dates是案件发生的时间，案件是否具有时间规律，随着时间在增长或者减少呢？

时间序列

基于这个思路，创建以时间为index的DataFrame，其中index选用数据中的"Dates"列作为index，为方便按时间操作，将"Dates"列转换为DatetimeIndex类型。
按年月日格式化时间key，按key进行分类，我们得到每日发生的案件统计走势图。

# -*- coding: utf-8 -*-
__author__ = "longtaiye"


import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#读取数据
df = pd.read_csv("/Users/longtaiye/Documents/ml-learn/train.csv")

#设置pandas打印格式
pd.set_option("display.width", 300)

＃以日期为index创建新的DataFrame
dateDF = pd.DataFrame(np.asarray(df), index=pd.to_datetime(df["Dates"]), columns=df.columns)

#按年月日统计案件发生规律
key1 = lambda x:x.strftime("%Y-%m-%d")
dateDF["Category"].groupby(key1).count().plot(figsize=(26, 10))

plt.show()

依照相同的方法可以得到时走势、日走势、月走势、年走势图，从图上看并没有什么规律性。

时走势图

日走势图

月走势图

年走势图

和其它列结合分析

上面的分析表明，单纯的时间趋势并不存在，那么在限定其它因素情况下的时间走势关系是否存在呢？
我们先从警区入手。按警区划分案件，然后统计每个警区的案件走势。

# -*- coding: utf-8 -*-
__author__ = "longtaiye"


import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


df = pd.read_csv("/Users/longtaiye/Documents/ml-learn/train.csv")
pd.set_option("display.width", 300)

dateDF = pd.DataFrame(np.asarray(df), index=pd.to_datetime(df["Dates"]), columns=df.columns)

＃按警区划分
groups = dateDF.groupby("PdDistrict")

ii = 1
key = lambda x:x.strftime("%Y")
plt.figure(figsize=(20, 12))
for name, group in groups:
    subplot = plt.subplot(4, 4, ii)
    subplot.plot(group.groupby(key).count())
    plt.title(name)

    ii+=1

plt.show()

按警区按年的案件走势

按星期几按年的案件走势

这两张图也并没有太多的规律，但下面这张图让我们看到了一丝希望。如BAD CHECK类型但案件时逐年降低的。

按类型按年的案件走势

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37773.html

使用pandas玩kaggle数据(一)

摘要：最近在学习用处理数据，的易用性真的让人很爽，想找点数据玩一下，同事说上的数据很多，值得玩耍。初步分析排除数值列，对字符串列进行分析，可以知道数据值类型数量最多类型。如果想更精细的控制图的显示，建议直接使用，当然的函数最终也是直接调用。最近在学习用pandas处理数据，pandas的易用性真的让人很爽，想找点数据玩一下，同事说kaggle上的数据很多，值得玩耍。数据我处理的数据是从...

tinylcy 2019-07-24 18:26 评论0 收藏0
Kaggle案例——用python从进网站到获得评测结果

摘要：训练集是用来训练你的机器学习模型的。但机器学习，你也要教它一些事实，比如长得像图片的就是狗，长得像图片的就是猫。好了，这样我们整体的一个机器学习的简单项目就完成，但我们还是要看一下效果。最近写了Kaggle的一个playground项目——预测科比投篮是否命中https://www.kaggle.com/c/kobe...，主要使用python的pandas和sklearn包。这里...

Crazy_Coder 2019-07-30 16:52 评论0 收藏0
8步从Python白板到专家，从基础到深度学习

摘要：去吧，参加一个在上正在举办的实时比赛吧试试你所学到的全部知识微软雅黑深度学习终于看到这个，兴奋吧现在，你已经学到了绝大多数关于机器学习的技术，是时候试试深度学习了。微软雅黑对于深度学习，我也是个新手，就请把这些建议当作参考吧。如果你想做一个数据科学家，或者作为一个数据科学家你想扩展自己的工具和知识库，那么，你来对地方了。这篇文章的目的，是给刚开始使用Python进行数据分析的人，指明一条全...

Zachary 2019-04-25 18:00 评论0 收藏0
人工智障也刷题！Kaggle 入门之实战泰坦尼克号

showImg(https://segmentfault.com/img/bVbkB4E?w=800&h=400); 背景关于 Kaggle https://www.kaggle.com/ 这是一个为你提供完美数据，为你提供实际应用场景，可以与小伙伴在数据挖掘领域 high 的不要不要的的地方啊！！！ Kaggle 是一个用来学习、分享和竞赛的线上数据实验平台，有点类似 KDD—CUP（国际...

bergwhite 2019-06-26 18:38 评论0 收藏0