amazon access代码分析和记录

nanchen2251 发布于2019-07-24 18:24 / 518人阅读

摘要：这是一个项目的冠军代码看起来还是比较麻烦，这里记录一下这个冠军代码的一些处理方法这部分使用了集成学习的方法主要使用了这三种学习方法每一种学习方法大概使用了四五次，也就是对数据集也进行了各种处理上面左边是算法名字，右边的是数据集代号左边的分类

这是一个kaggle项目的冠军代码
看起来还是比较麻烦，这里记录一下这个冠军代码的一些处理方法
这部分使用了集成学习的方法
主要使用了LR、RF、GB这三种学习方法
每一种学习方法大概使用了四五次，也就是对数据集也进行了各种处理

"LR:tuples_sf",
"LR:greedy_sfl",
"LR:greedy2_sfl",
"LR:greedy3_sf",
"RFC:basic_b",
"RFC:tuples_f",
"RFC:tuples_fd",
"RFC:greedy_f",
"RFC:greedy2_f",
"GBC:basic_f",
"GBC:tuples_f",
"LR:greedy_sbl",
"GBC:greedy_c",
"GBC:tuples_cf"
上面左边是算法名字，右边的是数据集代号

左边的分类方法比较好理解，不过右边的不好理解
这里记录一下右边是如何处理数据的

数据的情况：
共有十列：
      ACTION                      是否有权限
      RESOURCE                    资源id
      MGR_ID                      经理id
      ROLE_ROLLUP_1               
      ROLE_ROLLUP_2
      ROLE_DEPTNAME
      ROLE_TITLE
      ROLE_FAMILY_DESC
      ROLE_FAMILY
      ROLE_CODE
bsfeats:
   去掉ROLE_CODE和ACTION这两列
   X_all["ROLE_TITLE"] = X_all["ROLE_TITLE"] + (1000 * X_all["ROLE_FAMILY"])
   X_all["ROLE_ROLLUPS"] = X_all["ROLE_ROLLUP_1"] + (10000 * X_all["ROLE_ROLLUP_2"])
   X_all = X_all.drop(["ROLE_ROLLUP_1", "ROLE_ROLLUP_2", "ROLE_FAMILY"],axis=1)
   到现在就剩下六列：
       RESOURCE,MGR_ID,ROLE_DEPTNAME,ROLE_TITLE,ROLE_FAMILY_DESC,ROLE_ROLLUPS
   对每一列添加cnt列：
       此步骤是为了对前六列做处理，生成新的六列，过程如下
          对每列进行分组，然后把组数的log值填充到相应的位置
   再添加Duse列：
       还是先按列各自进行分组，然后再按照resource分组
       用每组RESOURCE的个数除以总个数
   添加mdept列：
       主要是添加相同经理的个数，按照经理先对数据进行分组
       填充该经理组中资源的种类数
   处理完后把前六列的数据删除
greedy:
   这个处理过程就比较重量级了，由于数据都是类别型的，所以都使用了编码
   首先把特征中的ACTION和ROLE_CODE两个特征去掉
   然后让剩下的特征两两组合
   这样就生成了很多新的特征，每一列的值用组合数据的hash值填充
   下一步要给所有的特征做onehot编码
   然后要选取比较好的feature选择过程是使用auc的得分来算
       使用n-cv的方式，对选取的特征使用logisticReg的方法来判断auc计算得分
       最终获取得分高的几个特征
       基本思想就是这样

私有云云服务器 access代码 access日志分析 access数据分析 asp和access

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37729.html

记录一次AWS架构面试内容

摘要：最近参加了一次架构师的面试，吐槽一下整个面试时间相当的长，几乎经历了半年左右，但是我也是抱着学习伟大的云产品的态度所以在整个过程中学到不少的云产品的功能设计等知识，所以说还是相当有益处的。最近参加了一次AWS 架构师的面试，吐槽一下整个面试时间相当的长，几乎经历了半年左右，但是我也是抱着学习伟大的AWS云产品的态度所以在整个过程中学到不少的云产品的功能、设计等知识，所以说还是相当有益...

wslongchen 2019-07-24 16:24 评论0 收藏0
记录一次AWS架构面试内容

摘要：最近参加了一次架构师的面试，吐槽一下整个面试时间相当的长，几乎经历了半年左右，但是我也是抱着学习伟大的云产品的态度所以在整个过程中学到不少的云产品的功能设计等知识，所以说还是相当有益处的。最近参加了一次AWS 架构师的面试，吐槽一下整个面试时间相当的长，几乎经历了半年左右，但是我也是抱着学习伟大的AWS云产品的态度所以在整个过程中学到不少的云产品的功能、设计等知识，所以说还是相当有益...

bergwhite 2019-08-16 17:28 评论0 收藏0
为 Amazon EKS 配置 kubectl

摘要：最近重新给配置，记录下配置过程。配置安装需要满足，安装可以参考下安装安装参数会更新安装中所有依赖，会安装到用户目录下，而不会更改系统库。最近重新给aws eks配置kubectl，记录下配置过程。首先需要配置awscli，其次就是配置kubectl的config了。配置awscli 安装awscli需要满足Python 2 version 2.6.5+ or Python 3 v...

Michael_Lin 2019-07-01 16:55 评论0 收藏0
Amazon DynamoDB 入门1：配置（本地）及python示例

摘要：使用配置注册并创建访问密钥创建凭证文件开启服务在计算机上运行除了服务之外，还提供可本地运行的可下载版本的。设置此参数有助于更逼真地模拟服务的行为。目前，此参数仅为处于或状态的引入延迟。原文链接安装及配置什么是 Amazon DynamoDB Amazon DynamoDB 是一种完全托管的 NoSQL 数据库服务，提供快速而可预测的性能，能够实现无缝扩展。使用 DynamoDB，您可...

raledong 2019-07-25 12:14 评论0 收藏0
Amazon DynamoDB 入门1：配置（本地）及python示例

摘要：使用配置注册并创建访问密钥创建凭证文件开启服务在计算机上运行除了服务之外，还提供可本地运行的可下载版本的。设置此参数有助于更逼真地模拟服务的行为。目前，此参数仅为处于或状态的引入延迟。原文链接安装及配置什么是 Amazon DynamoDB Amazon DynamoDB 是一种完全托管的 NoSQL 数据库服务，提供快速而可预测的性能，能够实现无缝扩展。使用 DynamoDB，您可...

ddongjian0000 2019-07-25 11:20 评论0 收藏0