【技术性】AI/ML知识

Alfred 发布于2019-06-26 18:47 / 2068人阅读

摘要：词频逆向文件频率词频越大越重要越大，即出现词的文件数越少，越重要概述一般结构为卷积层一组平行的，之后经过激活函数如来决定该神经元是否被激活。一般都是，把行进行处理。

做ML最重要的是啥！！跟我念三遍！！LOOK INTO THE DATA! LOOK INTO THE DATA!! LOOK INTO THE DATA!!! 可以多使用visualization工具来帮助自己理解data。

Pandas

引入：import pandas as pd

常也需import numpy as np

create df：

df = pd.DataFrame(...)

selection：

选列：df["A"]
选行：df[0:3]
多维：df.loc[:, ["A", "B"]]或df.iloc[:, 0:2]
选值：df.at[2,"A"]或者df.iloc[2,0]

处理空值：df.dropna df.fillna

apply funcs：df.apply(lambda)

SQL-like join: pd.merge(A, B, on="...")

文件：df.to_csv("...") pd.read_csv("...")

filtering的pitfall：
用于filter training data的就不可以再作为feature, e.g.
如果用age < 18来filter了training set，那么age就不可以再作为feature，否则模型就会严重学习到age < 18这条手动规则

Ngrams:
一段text里相临近的n个单词，ngram feature每次就以n为窗口计算
ngram model一般是马尔科夫链算法，由前n-1个单词预测最后一个单词

feature engineering：
如何提出好的feature：1）凭直觉 e.g.头发长短用于判断性别； 2）用数据做correlation分析

ROC曲线：
横坐标FPR, 纵坐标TPR, 每个点上都有threshold，可以根据距离(0,1)点最近的曲线上点来选择threshold。（但一般都是0.5不用动。）

TFIDF:
TFIDF = TF（词频） * IDF（逆向文件频率）
词频越大越重要
idf越大，即出现词的文件数越少，越重要

CNN概述：
一般结构为

kernals(window) --> convolution layer --> pooling operation --> vectorization

卷积层：一组平行的feature map，之后经过激活函数（如sigmoid）来决定该神经元是否被激活。
池化层：downsampling，有助于减少param数量并避免overfit
常见池化方法：max，min，avg，l2等

Model deployment：
client request-->server-->(sharding service)-->fetch model from storage (e.g. HDFS, S3)-->load model

预处理
一般都要包括去重（！非常重要！否则会overfit和bias）和处理N/A值

train、test set split的pitfall：
注意不能有data leak！！！所以去重真的非常重要啊。

一般的ranking backend结构：
一般first stage做filter（这样结果才能变少啊），second stage做rank。
所以先filter model，然后再ranking models

如果应对position bias（e.g.排第一个的结果收到的点击最多）：
predict as if they are all shown at position 0
include position feature
counterfactual evaluation

Training package：
训练代码一般都会打包成package通过command来跑。
一般都是batch training，把行进行batch处理。

服务器托管混合云大数据技术基础知识数码知识知识知识城

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/19933.html

李飞飞卸任谷歌云AI负责人，回归斯坦福

摘要：谷歌云在其官方博客上公布，确认来自卡内基梅隆大学的计算机科学院院长教授将在年底接任李飞飞的谷歌云负责人职位，而李飞飞也将正式回归斯坦福大学当教授。两年前，李飞飞从斯坦福休假加入谷歌，成为谷歌云的负责人与首席科学家。今年7月的谷歌Next大会上，李飞飞宣布了两年前推进的Contact Center落地、AutoML推出自然语言和翻译服务、TPU 3．0进入谷歌云，这意味着谷歌云拥抱AI Fir...

tuantuan 2019-04-29 10:40 评论0 收藏0
实现 TensorFlow 多机并行线性加速

摘要：在一个数据分析任务和任务混合的环境中，大数据分析任务也会消耗很多网络带宽如操作，网络延迟会更加严重。本地更新更新更新目前，我们已经复现中的实验结果，实现了多机并行的线性加速。王佐，天数润科深度学习平台负责人，曾担任 Intel亚太研发中心Team Leader，万达人工智能研究院资深研究员，长期从事分布式计算系统研究，在大规模分布式机器学习系统架构、机器学习算法设计和应用方面有深厚积累。在...

时飞 2019-04-25 18:17 评论0 收藏0
人工智能期末笔记

摘要：举例，神经元，感知机，神经网络行为主义智能机器人认为人工智能源于控制论。人工智能的研究领域包括专家系统推荐系统等等。是一种实现人工智能的方法根据某些算法，通过大量数据进行训练和学习，然后对真实世界中的事件做出决策和预测。 1. 绪论四大流派符号主义(知识图谱)原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理用数理逻辑描述智能行为, 在计算机上实现了逻辑演绎系统。 ...

CodeSheep 2019-06-26 18:48 评论0 收藏0
超三分之一外部攻击通过利用漏洞进行第三方软件风险显著增加

摘要：根据对个安全决策的调查，超过三分之一的外部攻击是通过利用漏洞进行的，而另外三分之一来自对第三方服务或软件制造商提供的软件漏洞进行破坏。 .markdown-body{word-break:break-word;line-height:1.75;font-weight:400;font-size:15px;overflow-x:hidden;color:#333}.markdown-body...

oneasp 2021-11-18 10:02 评论0 收藏0