python去除离群值,python离群值处理

本文目录一览：

• 1、python怎么实现数据的异常值的处理
• 2、python可视化神器——pyecharts库
• 3、Python数据分析 | 数据描述性分析

python怎么实现数据的异常值的处理

异常值也称离群值,具体地说,判断标准依据实际情况,根据业务知识及实际需要而定.

要是一般地说,可以用公式计算：

upper adjacent value = 75th percentile + (75th percentile – 25th percentile) * 1.5

lower adjacent value = 25th percentile – (75th percentile – 25th percentile) * 1.5

翻译过来：

上界=75%分位数+（75%分位数-25%分位数）*1.5

下界=25%分位数- （75%分位数-25%分位数）*1.5

比上界大的,和比下界小的都是异常值.

python可视化神器——pyecharts库

无意中从今日头条中看到的一篇文章，可以生成简单的图表。据说一些大数据开发们也是经常用类似的图表库，毕竟有现成的，改造下就行，谁会去自己造轮子呢。

pyecharts是什么？

pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常棒， pyecharts 是为了与 Python 进行对接，方便在 Python 中直接使用数据生成图 。使用pyecharts可以生成独立的网页，也可以在flask、django中集成使用。

安装很简单：pip install pyecharts

如需使用 Jupyter Notebook 来展示图表，只需要调用自身实例即可，同时兼容 Python2 和 Python3 的 Jupyter Notebook 环境。所有图表均可正常显示，与浏览器一致的交互体验，简直不要太强大。

参考自pyecharts官方文档:

首先开始来绘制你的第一个图表

使用 Jupyter Notebook 来展示图表，只需要调用自身实例即可

add() 主要方法，用于添加图表的数据和设置各种配置项

render() 默认将会在根目录下生成一个 render.html 的文件，文件用浏览器打开。

使用主题

自 0.5.2+ 起，pyecharts 支持更换主体色系

使用 pyecharts-snapshot 插件

如果想直接将图片保存为 png, pdf, gif 格式的文件，可以使用 pyecharts-snapshot。使用该插件请确保你的系统上已经安装了 Nodejs 环境。

安装 phantomjs $ npm install -g phantomjs-prebuilt

安装 pyecharts-snapshot $ pip install pyecharts-snapshot

调用 render 方法 bar.render(path=’snapshot.png’) 文件结尾可以为 svg/jpeg/png/pdf/gif。请注意，svg 文件需要你在初始化 bar 的时候设置 renderer=’svg’。

图形绘制过程

基本上所有的图表类型都是这样绘制的：

chart_name = Type() 初始化具体类型图表。

add() 添加数据及配置项。

render() 生成本地文件（html/svg/jpeg/png/pdf/gif）。

add() 数据一般为两个列表（长度一致）。如果你的数据是字典或者是带元组的字典。可利用 cast() 方法转换。

多次显示图表

从 v0.4.0+ 开始，pyecharts 重构了渲染的内部逻辑，改善效率。推荐使用以下方式显示多个图表。如果使是 Numpy 或者 Pandas，可以参考这个示例

当然你也可以采用更加酷炫的方式，使用 Jupyter Notebook 来展示图表，matplotlib 有的，pyecharts 也会有的

Note： 从 v0.1.9.2 版本开始，废弃 render_notebook() 方法，现已采用更加  pythonic  的做法。直接调用本身实例就可以了。

比如这样

还有这样

如果使用的是自定义类，直接调用自定义类示例即可

图表配置

图形初始化

通用配置项

xyAxis：平面直角坐标系中的 x、y 轴。(Line、Bar、Scatter、EffectScatter、Kline)

dataZoom：dataZoom 组件 用于区域缩放，从而能自由关注细节的数据信息，或者概览数据整体，或者去除离群点的影响。(Line、Bar、Scatter、EffectScatter、Kline、Boxplot)

legend：图例组件。图例组件展现了不同系列的标记(symbol)，颜色和名字。可以通过点击图例控制哪些系列不显示。

label：图形上的文本标签，可用于说明图形的一些数据信息，比如值，名称等。

lineStyle：带线图形的线的风格选项(Line、Polar、Radar、Graph、Parallel)

grid3D：3D笛卡尔坐标系组配置项，适用于 3D 图形。（Bar3D, Line3D, Scatter3D)

axis3D：3D 笛卡尔坐标系 X，Y，Z 轴配置项，适用于 3D 图形。（Bar3D, Line3D, Scatter3D)

visualMap：是视觉映射组件，用于进行『视觉编码』，也就是将数据映射到视觉元素（视觉通道）

markLinemarkPoint：图形标记组件，用于标记指定的特殊数据，有标记线和标记点两种。（Bar、Line、Kline）

tooltip：提示框组件，用于移动或点击鼠标时弹出数据内容

toolbox：右侧实用工具箱

图表详细

Bar（柱状图/条形图）

Bar3D（3D 柱状图）

Boxplot（箱形图）

EffectScatter（带有涟漪特效动画的散点图）

Funnel（漏斗图）

Gauge（仪表盘）

Geo（地理坐标系）

GeoLines（地理坐标系线图）

Graph（关系图）

HeatMap（热力图）

Kline/Candlestick（K线图）

Line（折线/面积图）

Line3D（3D 折线图）

Liquid（水球图）

Map（地图）

Parallel（平行坐标系）

Pie（饼图）

Polar（极坐标系）

Radar（雷达图）

Sankey（桑基图）

Scatter（散点图）

Scatter3D（3D 散点图）

ThemeRiver（主题河流图）

TreeMap（矩形树图）

WordCloud（词云图）

用户自定义

Grid 类：并行显示多张图

Overlap 类：结合不同类型图表叠加画在同张图上

Page 类：同一网页按顺序展示多图

Timeline 类：提供时间线轮播多张图

统一风格

注：pyecharts v0.3.2以后，pyecharts 将不再自带地图 js 文件。如用户需要用到地图图表，可自行安装对应的地图文件包。

地图文件被分成了三个 Python 包，分别为：

全球国家地图:

echarts-countries-pypkg

中国省级地图:

echarts-china-provinces-pypkg

中国市级地图:

echarts-china-cities-pypkg

直接使用python的pip安装

但是这里大家一定要注意，安装完地图包以后一定要重启jupyter notebook，不然是无法显示地图的。

显示如下：

总得来说，这是一个非常强大的可视化库，既可以集成在flask、Django开发中，也可以在做数据分析的时候单独使用，实在是居家旅行的必备神器啊

Python数据分析 | 数据描述性分析

首先导入一些必要的数据处理包和可视化的包，读文档数据并通过前几行查看数据字段。

对于我的数据来说，由于数据量比较大，因此对于缺失值可以直接做删除处理。

得到最终的数据，并提取需要的列作为特征。

对类别数据进行统计：

类别型字段包括location、cpc_class、pa_country、pa_state、pa_city、assignee六个字段，其中：

单变量统计描述是数据分析中最简单的形式，其中被分析的数据只包含一个变量，不处理原因或关系。单变量分析的主要目的是通过对数据的统计描述了解当前数据的基本情况，并找出数据的分布模型。

单变量数据统计描述从集中趋势上看，指标有：均值，中位数，分位数，众数；从离散程度上看，指标有：极差、四分位数、方差、标准差、协方差、变异系数，从分布上看，有偏度，峰度等。需要考虑的还有极大值，极小值（数值型变量）和频数，构成比（分类或等级变量）。

对于数值型数据，首先希望了解一下数据取值范围的分布，因此可以用统计图直观展示数据分布特征，如：柱状图、正方图、箱式图、频率多边形和饼状图。

按照发布的时间先后作为横坐标，数值范围的分布情况如图所示.

还可以根据最终分类的结果查看这些数值数据在不同类别上的分布统计。

箱线图可以更直观的查看异常值的分布情况。

异常值指数据中的离群点，此处定义超出上下四分位数差值的1.5倍的范围为异常值，查看异常值的位置。

参考：

python数据分析之数据分布 – yancheng111 – 博客园

python数据统计分析 –

科尔莫戈罗夫检验(Kolmogorov-Smirnov test)，检验样本数据是否服从某一分布，仅适用于连续分布的检验。下例中用它检验正态分布。

在使用k-s检验该数据是否服从正态分布，提出假设：x从正态分布。最终返回的结果，p-value=0.9260909172362317，比指定的显著水平（一般为5%）大，则我们不能拒绝假设：x服从正态分布。这并不是说x服从正态分布一定是正确的，而是说没有充分的证据证明x不服从正态分布。因此我们的假设被接受，认为x服从正态分布。如果p-value小于我们指定的显著性水平，则我们可以肯定的拒绝提出的假设，认为x肯定不服从正态分布，这个拒绝是绝对正确的。

衡量两个变量的相关性至少有以下三个方法：

皮尔森相关系数（Pearson correlation coefficient） 是反应俩变量之间线性相关程度的统计量，用它来分析正态分布的两个连续型变量之间的相关性。常用于分析自变量之间，以及自变量和因变量之间的相关性。

返回结果的第一个值为相关系数表示线性相关程度，其取值范围在[-1,1]，绝对值越接近1，说明两个变量的相关性越强，绝对值越接近0说明两个变量的相关性越差。当两个变量完全不相关时相关系数为0。第二个值为p-value，统计学上，一般当p-value0.05时，可以认为两变量存在相关性。

斯皮尔曼等级相关系数(Spearman’s correlation coefficient for ranked data ) ，它主要用于评价顺序变量间的线性相关关系，在计算过程中，只考虑变量值的顺序（rank, 秩或称等级），而不考虑变量值的大小。常用于计算类型变量的相关性。

返回结果的第一个值为相关系数表示线性相关程度，本例中correlation趋近于1表示正相关。第二个值为p-value，p-value越小，表示相关程度越显著。

kendall ：

也可以直接对整体数据进行相关性分析，一般来说，相关系数取值和相关强度的关系是：0.8-1.0 极强 0.6-0.8 强 0.4-0.6 中等 0.2-0.4 弱 0.0-0.2 极弱。