相关性

相关性（Correlation）指两个或多个变量之间统计关联的程度和方向，用于衡量变量如何共同变化。其关键特性包括：

• 方向：正相关（变量同向变化）或负相关（变量反向变化）。
• 强度：绝对值（0~1）越大，关联越强（如0.8为强相关，0.2为弱相关）。
• 非因果性：相关性仅反映关联，不能证明因果关系，需进一步实验验证。

步骤：

1. 数据准备：清理缺失值、异常值（如3σ原则）。
2. 选择方法：根据数据类型（连续/分类）和关系类型（线性/非线性）选取合适系数。
3. 计算与检验：通过统计软件（如Python、R、Excel）计算系数及p值。

解读示例：

• 若收入与教育程度的皮尔逊r = 0.65（p < 0.05），说明二者显著正相关，但需注意是否存在混淆变量（如家庭背景）。
• 若广告投入与销量的斯皮尔曼ρ = 0.3，表明弱正相关，可能需优化广告策略。

1. 非线性关系：皮尔逊系数仅检测线性相关，对曲线关系（如抛物线）可能给出r ≈ 0，需结合散点图分析。解决方法：尝试斯皮尔曼相关或拟合非线性模型。
2. 异常值影响：单个极端值可能显著扭曲相关系数（如收入与消费数据中存在亿万富翁）。解决方法：Winsorize处理（缩尾）或使用稳健统计量。
3. 混杂变量（Confounder）：未控制的第三方变量可能导致伪相关。示例：冰淇淋销量与溺水率正相关（真实原因为夏季高温）。解决方法：多元回归分析或实验设计控制变量。
4. 样本量依赖性：小样本中强相关性可能不显著，大样本中弱相关性可能显著（p值敏感）。建议：结合效应量（如r值）与p值综合判断。
5. 多重共线性：在回归分析中，多个高相关自变量会导致模型不稳定（系数符号异常）。检测：方差膨胀因子（VIF > 10为严重共线性）。

1. 金融分析：
   • 股票与大盘指数的相关性（β系数）衡量系统性风险。
   • 资产配置中低相关性资产分散投资风险。
2. 医学研究：
   • 基因表达相关性网络识别共表达模块（如癌症标志物）。
   • 药物剂量与疗效的剂量-反应关系分析。
3. 用户行为分析：
   • 用户点击率与页面停留时间的相关性优化网页设计。
   • 购物车商品关联性分析（啤酒与尿布经典案例）。

Python示例：

import pandas as pd
import seaborn as sns

# 计算皮尔逊相关矩阵
data = pd.read_csv('data.csv')
corr_matrix = data.corr(method='pearson')
print(corr_matrix)

• Pearson, K. (1895). Notes on regression and inheritance in the case of two parents. Proceedings of the Royal Society of London, 58, 240-242.
• Spearman, C. (1904). The proof and measurement of association between two things. American Journal of Psychology, 15(1), 72-101.
• Kendall, M. G. (1938). A new measure of rank correlation. Biometrika, 30(1/2), 81-93.
• Altman, N., & Krzywinski, M. (2015). Association, correlation, and causation. Nature Methods, 12(10), 899-900.
• 张尧庭, & 方开泰. (1982). 多元统计分析引论. 科学出版社.
• Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum Associates.
• 孙振球, & 徐勇勇. (2014). 医学统计学（第4版）. 人民卫生出版社.