《动手学习深度学习》

Published: 02 Dec 2019 Category: DL

21天系列 (week3 12月2日 至 12月7日)#

时间得抓紧了。

正则化的L2范数

https://blog.csdn.net/u010725283/article/details/79212762

用的最多的欧式距离就是一种L2范数,表示向量元素的平方和再开方。

说到正则化,我们要看一下,正则化在深度学习中含义是指什么?正则化其实是一种策略,以增大训练误差为代价来减少测试误差的所有策略我们都可以称作为正则化。换句话说就是正则化是为了防止模型过拟合。L2范数就是最常用的正则化方法之一。

L2范数的另一个别名:权重衰减

我们使用L2范数==》抑制模型中产生过拟合的参数==》防止了过拟合

3.16 实战Kaggle比赛:房价预测

该比赛的网页地址是 https://www.kaggle.com/c/house-prices-advanced-regression-techniques

loc函数:Pandas中的函数,通过行列索引 “Index” 中的具体值来取行数据(如取”Index”为”A”的行)如:

data.loc[:,['A']] #取’A’列所有行,多取几列格式为 data.loc[:,[‘A’,’B’]]

iloc函数:通过行列号来取数据,如:

data.iloc[:,[0]] #取第0列所有行,多取几列格式为 data.iloc[:,[0,1]]

3.16.1 数据预处理

首先,对连续数值的特征做标准化。一方面,将这种特征的数值分散在0附近,另一方面,对缺失的值,也能用均值0来补齐。

然后,对离散数值的特征做标准化。可以将离散数值理解成枚举类型,然后将该特征去除,把其所有枚举类型分别作为一列新特征,取值范围是0或1。

最后,将数据处理成NDArray.

3.16.2 K 折交叉验证

可以使用 K 折交叉验证来选择模型并调节超参数。

3.16.3 Adam优化算法

训练函数使用了Adam优化算法?什么是Adam?

简单认识Adam优化器

3.16.4 结果

rank: #4045 score: 0.17424

REF

一文搞懂深度学习正则化的L2范数
参加kaggle竞赛是怎样一种体验?