聚类分析法:互联网运营人员都在用的几种数据分析方法

聚类分析计算方法主要有如下几种：分裂法(partitioningmethods)：层次法(hierarchicalmethods)：基于密度的方法(density-basedmethods):基于网格的方法(grid-basedmethods):基于模型的方法(model-basedmethods)。

1、分裂法又称划分方法(PAM:PArtitioningmethod)首先创建k个划分，k为要创建的划分个数;然后利用一个循环定位技术通过将对象从一个划分移到另一个划分来帮助改善划分质量。

典型的划分方法包括：

k-means,k-medoids,CLARA(ClusteringLARgeApplication),

CLARANS(ClusteringLargeApplicationbaseduponRANdomizedSearch).

FCM

2、层次法(hierarchicalmethod)创建一个层次以分解给定的数据集。该方法可以分为自上而下(分解)和自下而上(合并)两种操作方式。为弥补分解与合并的不足，层次合并经常要与其它聚类方法相结合，如循环定位。

典型的这类方法包括：

BIRCH(BalancedIterativeReducingandClusteringusingHierarchies)方法，它首先利用树的结构对对象集进行划分;然后再利用其它聚类方法对这些聚类进行优化。

CURE(ClusteringUsingREprisentatives)方法，它利用固定数目代表对象来表示相应聚类;然后对各聚类按照指定量(向聚类中心)进行收缩。

ROCK方法，它利用聚类间的连接进行聚类合并。

CHEMALOEN方法，它则是在层次聚类时构造动态模型。

3、基于密度的方法，根据密度完成对象的聚类。它根据对象周围的密度(如DBSCAN)不断增长聚类。

典型的基于密度方法包括：

DBSCAN(Densit-basedSpatialClusteringofApplicationwithNoise):该算法通过不断生长足够高密度区域来进行聚类;它能从含有噪声的空间数据库中发现任意形状的聚类。此方法将一个聚类定义为一组“密度连接”的点集。

OPTICS(OrderingPointsToIdentifytheClusteringStructure):并不明确产生一个聚类，而是为自动交互的聚类分析计算出一个增强聚类顺序。

4、基于网格的方法，首先将对象空间划分为有限个单元以构成网格结构;然后利用网格结构完成聚类。

典型的基于网格的方法包括：

STING(STatisticalINformationGrid)就是一个利用网格单元保存的统计信息进行基于网格聚类的方法。

CLIQUE(ClusteringInQUEst)和Wave-Cluster则是一个将基于网格与基于密度相结合的方法。

5、基于模型的方法，它假设每个聚类的模型并发现适合相应模型的数据。

典型的基于模型方法包括：

统计方法COBWEB:是一个常用的且简单的增量式概念聚类方法。它的输入对象是采用符号量(属性-值)对来加以描述的。采用分类树的形式来创建一个层次聚类。

CLASSIT是COBWEB的另一个版本.。它可以对连续取值属性进行增量式聚类。它为每个结点中的每个属性保存相应的连续正态分布(均值与方差);并利用一个改进的分类能力描述方法，即不象COBWEB那样计算离散属性(取值)和而是对连续属性求积分。但是CLASSIT方法也存在与COBWEB类似的问题。因此它们都不适合对大数据库进行聚类处理.

传统的聚类算法已经比较成功的解决了低维数据的聚类问题。但是由于实际应用中数据的复杂性，在处理许多问题时，现有的算法经常失效，特别是对于高维数据和大型数据的情况。因为传统聚类方法在高维数据集中进行聚类时，主要遇到两个问题。①高维数据集中存在大量无关的属性使得在所有维中存在簇的可能性几乎为零;②高维空间中数据较低维空间中数据分布要稀疏，其中数据间距离几乎相等是普遍现象，而传统聚类方法是基于距离进行聚类的，因此在高维空间中无法基于距离来构建簇。

高维聚类分析已成为聚类分析的一个重要研究方向。同时高维数据聚类也是聚类技术的难点。随着技术的进步使得数据收集变得越来越容易，导致数据库规模越来越大、复杂性越来越高，如各种类型的贸易交易数据、Web文档、基因表达数据等，它们的维度(属性)通常可以达到成百上千维，甚至更高。但是，受“维度效应”的影响，许多在低维数据空间表现良好的聚类方法运用在高维空间上往往无法获得好的聚类效果。高维数据聚类分析是聚类分析中一个非常活跃的领域，同时它也是一个具有挑战性的工作。目前，高维数据聚类分析在市场分析、信息安全、金融、娱乐、反恐等方面都有很广泛的应用。

1在进行数据分析前，我们需要思考

像一场战役的总指挥影响着整个战役的胜败一样，数据分析师的思想对于整体数据分析思路，甚至分析结果都有着关键性的作用。

2分析问题和解决问题的思路

❶定义问题(重要步骤之一)：

1)首先，要搞清楚问题的实质，准确、完整、真实地表达问题。

2)其次，弄清楚为什么要解决这个问题?

3)最后，解决这个问题的意义何在?是必须解决还是无关紧要，或是需要马上解决这个问题还是不太着急。

❷收集整理信息：

搜集、整理关于要解决问题的历史资料、类似情况和现状。例如，从现有的报表数据中就能看到当前问题点的数据情况或者一段时间的趋势;

❸选取分析方法：

1)分析涉及到的主要维度，为后面提取数据需求做准备;

2)选取的分析软件以及分析方法(统计学相关方法);

❹数据提取整理(重要步骤之二)：

1)根据分析内容以及分析方法，提出分析所需的数据需求;

2)对于反馈回来的数据，需要进行部分加工，以便更能反映所要分析的问题;

❺分析结果及结论：

1)根据分析的结果，得出一些当前问题产生的一些结论。这里注意分析的方法以及维度，结果的展示方式等。

2)结论需要足够的数据作支撑;

❻实施及建议措施：

1)针对数据分析结论，给出当前问题的解决建议措施;

2)一方面从业务层面进行建议措施。另一方面，可以就问题点进行更深层次分析，给出数据挖掘层面的解决措施;

❼实施效果评估及报告整理：

1)根据措施实施效果进行评估，将完成的分析过程、结果以及评估整理报告，为以后出现问题提供经验教训;

2)对于本次没有完全解决的问题，进行说明。

3精确地陈述问题

5W2H法：

5W：What、When、Where、Who、Why;

2H:Howmany、Howmuch;

Where——哪里存在问题?

What——存在的问题是什么?

Why——原因在哪里?

When——什么时候开始出现这样的问题?

Who——与什么对象有关?

Howmany——发生的次数和数量?

Howmuch——损失有多大?

4问题展示方式

问题结构是由现状、直接原因以及最终原因构成的。针对直接原因进行的叫初步问题分析、针对最终原因进行分析的叫深层及问题分析。

5分析方法

统计方法的三大特性，用三句话来简单概括：

1)实用性：除了实情，数据能证明一切;

2)丰富性：统计揭露出的部分固然明晰，没揭露出来的或许更重要;

3)公平性：每个人都应当用数据说话。

6描述性统计分析

“五点法”：最小值、1/4分位数、均值、3/4分位数、最大值;

“两度”：峰度、偏度

六西格玛：

7变量分析方法选取

8数据挖掘分析

按挖掘方法分类：包括统计方法、机器学习方法、神经网络方法和数据库方法。

其中：

1)统计方法可分为：判别分析(贝叶斯判别、费谢尔判别、非参数判别等)，聚类分析(系统聚类、动态聚类等)，探索性分析(主成分分析等)等。

2)机器学习方法可分为：归纳学习方法(决策树、规则归纳等)，基于范例学习，遗传算法等。

3)神经网络方法可分为：前向神经网络(BP算法等)，自组织神经网络(自组织特征映射、竞争学习等)。

4)数据库方法分为：多维数据分析和OLAP技术，此外还有面向属性的归纳方法。

关联规则：关联规则反映一个事物与其他事物之间的相互依存性和关联性，如果两个事物或者多个事物之间存在一定的关联关系，那么其中一个事物就能够通过其他事物预测到。

9选取分析所需的相关数据

10数据质量的评估

在现实社会中，存在着大量的“脏数据”：

❶不完整性(数据结构的设计人员、数据采集设备和数据录入人员)：

1)缺少感兴趣的属性

2)感兴趣的属性缺少部分属性值

3)仅仅包含聚合数据，没有详细数据

❷噪音数据(采集数据的设备、数据录入人员、数据传输)：

1)数据中包含错误的信息

2)存在着部分偏离期望值的孤立点

❸不一致性(数据结构的设计人员、数据录入人员)：

1)数据结构的不一致性

2)Label的不一致性

3)数据值的不一致性

❹数据类型冲突：

1)性别：string(Male、Female)、Char(M、F)、Integer(0、1)

2)日期：Date、DateTime、Sting

❺数据标签冲突：解决同名异义、异名同义：

学生成绩、分数

❻度量单位冲突：

1)学生成绩

a.百分制：100~0

b.五分制：A、B、C、D、E

c.字符表示：优、良、及格、不及格

❼概念不清：

最近交易额：前一个小时、昨天、本周、本月

❽聚焦冲突：根源在于表结构的设计

11数据的清洗处理

主要任务：

补充缺失数据

识别孤立点

处理不一致的数据

处理方法：

分箱(Binning)的方法：

聚类方法：检测并消除异常点

线性回归：对不符合回归的数据进行平滑处理