利用描述性统计在R中更好的理解数据(8个有用的秘诀)

理解数据,首先要观察原始数值并且计算基本的统计量。本文带你探索如何在R中利用描述性统计快速处理数据集,尤其适合用r处理机器学习的初学者。

理解数据,首先要观察原始数值并且计算基本的统计量。本文带你探索如何在R中利用描述性统计快速处理数据集,尤其适合用r处理机器学习的初学者。

本文用到R的“mlbench”和“e1071”两个包。安装代码如下:
51

在R中利用描述性统计总结数据

通过本文你会学到8个又快又简单的方法来总结你的数据集

1. 概览数据

如果数据集很小,可全部显示出来。但通常很大,所以选取部分样本观察。

52
head函数会显示前20行数据。
53

2. 数据维度

如果你有很多实例,你需要用更小的样本,这样模型的训练和测试在计算上可追踪。如果有很多的属性,则选取最相关的。如果属性多于实例,则选取特定的模型方法。
54
以下是行数和列数。
55

3. 数据类型

了解数据中属性的类型,会引导下一步分析、可视化的类型、甚至机器学习算法的类型。此外,一些属性加载和显示的类型不同,了解类型会尽早暴露类似画问题。
56

以下是每种属性的数据类型。
57

4. 类别分布

类别比例可能显示出数据的不平衡,严重的话要调整至均衡。多重分类问题上,包含个体数量极小甚至为零的类别需要被移出数据集。
58

以下是类别数量及百分比。
59

5. 数据总结

summary函数用表格总结了数据集中的所有数值属性:

最小值
上四分位数
中位数
均值
下四分位数
最大值
缺失数值个数(标为N/A)

60
61

6. 方差

summary不包含方差。若数据是(或类似)高斯分布,方差和均值很重要。例如快速清理异常值时,任何大于均值三倍方差以上的数据都在99.7%以外。
62
以下是每个属性的方差。
63

7. 偏度

如果一个分布看上去像高斯分布但左偏或右偏,我们需要了解偏度。关注偏度比图形更容易些。
64
绝对值越大,分布越左偏(偏度为负)或右偏(偏度为正)。
65

8. 相关性

每对属性的相关系数反映出属性之间的关系。
66
以下是属性两两间相关系数。偏离零表示正或负的相关关系,绝对值大于0.75表示高相关,绝对值为1表示完全正或负相关。
67

更多方法:

理解数据不拘泥于以上方法。数据集子集的统计量也会提供信息,具体参考aggregate函数。

Tips
观察并思考得到的统计量
提出疑问,思考它们和研究的问题以及和相关的特定个体的关系。
记录想法,如变量间关系,数字意义。

特点
无需用R编程:只需复制以上代码,并学习用法(如?FunctionName)。
无需精通统计:只需复习以下概念。
均值
方差
分位数
Pearson相关系数
偏度
68-95-99.7法则
无需额外数据:本文数据是R自带的,扩展包中有很多有趣的数据,请参考R扩展包。

本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请给「我们」留言处理。

(0)
上一篇 2017-08-09 18:20
下一篇 2017-09-11 17:18

相关文章

关注我们
关注我们
分享本页
返回顶部