
异常检测——ABOD(angle-based outlier detection)
论文:
Angle-Based Outlier Detection in High-dimensional Data,kdd2008
问题
高维度情况下,距离同质化。
基础:
1、在高维空间中角度比距离更稳定[1]
2、如果其他大部分的点都在相似的方向上,那么点O是个离群点
3、如果许多其他的点在不同的方向上,那么点O不是离群点。
方法
对于一个给定的点P,它与任意其他点x,y之间的角度构成一个谱图像angle spectrum。
谱的宽度表示异常点的分数。
图中,蓝色点为内部点,红色点为异常点。
Small ABOD => Outlier
High ABOD => no Outlier
在此基础上,作者还提出了FastABOD,LB-ABOD
实验结果
参考:
[1] Data Mining Anomaly Detection:https://slideplayer.com/slide/6407741/
版权声明:遵循 CC 4.0 BY-SA 版权协议原文链接:https://blog.csdn.net/shaoyue1234/article/details/102537709
[推荐] 异常分析介绍-《Outlier Analysis 2nd Edition》
2021-12-21 11:00:12
互联网
240
分类:算法开发
专栏:工业异常检测
[推荐] 异常分析-数据模型就是一切《Outlier Analysis 2nd Edition》
2021-12-21 11:00:33
互联网
230
分类:算法开发
专栏:工业异常检测
[推荐] 突变点检测:Magnitude of trend之Sen's slope(python)
2021-12-21 11:05:07
互联网
291
分类:算法开发
专栏:工业异常检测
进群
让志同道合读者学习交流

ImportError: No module named ‘pip._internal‘解决方法
pip安装报错:ImportError: No module named 'pip._internal',分享python安装模块的踩坑记录,希望能帮到各位解决bug
2021-12-04 11:22:03
博客笔记
575
分类:开发环境
专栏:bug
pip出现错误,ImportError: module 'pip' has no attribute 'main'
## pip出现错误,ImportError: module 'pip' has no attribute 'main'下面介绍一个很好的解决方法,一般涉及到安装pip错误的时候,使用这个方法很有效果,本人亲测可行。其实主要思路就是重新从源地址下载pip的Python源代码,然后再通过这个py文件去安装pip。
2021-12-04 11:22:27
博客笔记
431
分类:开发环境
专栏:未分组
matplotlib更新报错:Consider using the `--user` option or check the permissions.
### 更新matplotlib报错:Consider using the `--user` option or check the permissions. 在一次更新matplotlib时,发生报错,报信信息以及解决方法总结如下1、报错信息因为matplotlib需要更新,在终端输入以下命令:
2021-12-04 11:22:38
博客笔记
214
分类:开发环境
专栏:未分组
import numpy 报错:ModuleNotFoundError: No module named 'numpy.testing.nosetester'
### import numpy 报错:ModuleNotFoundError: No module named 'numpy.testing.nosetester'### 1、报错信息在import numpy的时候编译器提示这个问题,就很奇葩,报错信息如下所示ModuleNotFoundError: No module named 'numpy.testing.nosetester'
2021-12-04 11:22:58
博客笔记
460
分类:开发环境
专栏:bug
下载超时:pip.ReadTimeoutError:HTTPSConnectionPool: Read timed out.
### 下载超时:pip.ReadTimeoutError:HTTPSConnectionPool: Read timed out.报错信息在安装Python模块包的时候,常常会因为各种原因下载失败,其中类似使用国外镜像下载、或者网速环境差的话,很容易会下载超时而失败。
2021-12-04 11:23:24
博客笔记
278
分类:开发环境
专栏:未分组
不能卸载某个模块包:Cannot uninstall 'colorama'解决方法
### 不能卸载某个模块包:Cannot uninstall 'colorama'报错信息在卸载某个Python模块包时,发现并不能成功卸载,反而发生异常报错,报错信息如下:
2021-12-04 11:23:43
博客笔记
511
分类:开发环境
专栏:bug
解决ipynb文件加载失败的问题:Unreadable Notebook: D:\xxx.ipynb NotJSONError
### 解决ipynb文件加载失败的问题:Unreadable Notebook: D:\xxx.ipynb NotJSONError报错信息 在jupyter notebook打开ipynb notebook文件时,发现加载一直不成功,另外还爆出异常提示信息,异常信息如下:
2021-12-04 11:23:53
博客笔记
338
分类:开发环境
专栏:未分组
linux 系统下Anaconda的安装
1 Anaconda的下载转到第页,https://www.anaconda.com/distribution/选择Linux或Mac(取决于您的系统)下载Anaconda 3.7下载好了以后到ubuntu就开始安装,此处我用的是ubuntu,centos也是一样的。2 安装找到自己下载的目录,打开终端输入bash Anaconda3-2020.02-Linux-x86_64.sh 注意将Anaconda3-2020.02-Linux-x86_64.sh 改成自己的然后一直点击En
2021-12-16 18:13:12
互联网
262
分类:开发环境
专栏:下载安装
突变点检测:Buishand U test突变点检测(python)
import numpy as npimport pandas as pddef Buishand_U_change_point_detection(inputdata): inputdata = np.array(inputdata) inputdata_mean = np.mean(inputdata) n = inputdata.shape[0] k...
2021-12-21 11:07:15
互联网
289
分类:算法开发
专栏:工业异常检测
Predict Future Sales(时间序列)——Kaggle银牌(TOP 4%)基础方案(三):特征工程及线下验证划分
上篇说到了数据预处理和EDA,数据预处理是为了提高数据的可用性,而EDA则可以挖掘数据的规律,便于构造特征。在一个机器学习数据竞赛任务中,有句话叫做“特征决定任务能达到的高度,而模型和算法包括调参只是逼近这个高度”。特征工程的重要性是不言而喻的。对于我们这个任务而言,由于是时间序列问题,很多地方和其他类问题的处理不一样,比如时间序列问题在构造特征的时候就要包括到历史特征,还有时间窗特征,包括时间窗...
2021-12-21 15:55:15
互联网
244
分类:算法开发
专栏:时间序列预测