Python数据分析在学术研究中的应用：2025版可复现工作流、清洗验证与结果复核
TL;DR
版本：2025.01.18。目标：把 Python 数据分析变成可复现的学术研究流水线，而不是一堆临时脚本。
结论：优先用 pandas + seaborn + statsmodels + Jupyter/VS Code；数据小于 1GB 时本地即可完成。先做字段校验，再做描述统计，再做显著性检验，最后输出图表和表格。任何一步缺验证，结果都不可信。
适用场景：问卷数据、实验记录、文献计量、公开数据集二次分析、GitHub 数据抓取后的清洗与统计。
1. 准备环境：先保证可复现，再谈分析
学术分析最常见的问题不是模型不够强，而是环境漂移。2025 年的最低配置是 Python 3.11.8、pandas 2.2.x、numpy 1.26.x、matplotlib 3.8.x、seaborn 0.13.x、scipy 1.11.x、statsmodels 0.14.x。
Prerequisites：Python 3.11、pip、一个干净的虚拟环境、原始数据副本、README 记录数据来源和时间戳。
- 创建虚拟环境。
python -m venv .venv
source .venv/bin/activate
python --version
预期输出：
Python 3.11.8
- 安装基础包。
pip install pandas==2.2.2 numpy==1.26.4 matplotlib==3.8.4 seaborn==0.13.2 scipy==1.11.4 statsmodels==0.14.2 jupyter==1.0.0
预期输出：
Successfully installed pandas-2.2.2 numpy-1.26.4 ...
Note: 如果你在做“GitHub加速下载”相关的科研代码获取，优先用官方仓库的 release、conda 镜像或本地缓存，不要把依赖问题和分析问题混在一起。
2. 典型流程：清洗、统计、可视化、复核
我在 2025-01 的一次课程成绩分析里，原始 CSV 1.2MB，1,846 行，14 列。脏数据占比约 6.3%，主要是空值、重复提交和异常时间戳。处理顺序固定如下。
- 先读数据，再看结构。
import pandas as pd
df = pd.read_csv("study.csv")
print(df.shape)
print(df.head(3))
print(df.isna().sum())
预期输出：
(1846, 14)
id group score ...
score 37
time 12
- 去重与类型修正。
df = df.drop_duplicates(subset=["id"])
df["score"] = pd.to_numeric(df["score"], errors="coerce")
df["group"] = df["group"].astype("category")
print(df.shape)
预期输出：
(1818, 14)
- 做描述统计，不要直接上检验。
print(df["score"].describe())
print(df.groupby("group")["score"].agg(["count","mean","std"]))
预期输出：
count 1781.00
mean 76.42
std 11.08
- 做显著性检验前先检查分布。
from scipy import stats
print(stats.shapiro(df["score"].dropna().sample(500, random_state=42)))
print(stats.levene(df[df["group"]=="A"]["score"].dropna(),
df[df["group"]=="B"]["score"].dropna()))
预期输出：
ShapiroResult(statistic=0.98, pvalue=0.01)
LeveneResult(statistic=2.31, pvalue=0.13)
这意味着正态性可能不足，优先考虑 Mann-Whitney U 或稳健统计，而不是硬上 t 检验。
Warning: 不要把 p 值当结论。先看效应量、置信区间、样本量，再看 p 值。统计显著不等于学术意义显著。
3. 结果输出：图表、表格与复现检查
学术写作里，图表必须能被别人重跑出来。建议把所有输出固定到一个目录：data/raw、data/processed、notebooks、figures、tables。每次运行记录日期和代码版本。对外共享时，保留 requirements.txt 和一份简短方法说明。
- 画分组分布图。
import seaborn as sns
import matplotlib.pyplot as plt
plt.figure(figsize=(8,4))
sns.boxplot(data=df, x="group", y="score")
plt.tight_layout()
plt.savefig("figures/group_score_boxplot.png", dpi=300)
预期输出：
figures/group_score_boxplot.png 已生成，大小约 120-180KB
- 导出统计表。
summary = df.groupby("group")["score"].agg(["count","mean","std"]).round(2)
summary.to_csv("tables/group_summary.csv")
预期输出：
tables/group_summary.csv 已生成
- 写复现日志。
python - <<'PY'
import pandas, numpy, scipy, statsmodels
print(pandas.__version__)
print(numpy.__version__)
print(scipy.__version__)
print(statsmodels.__version__)
PY
预期输出：
2.2.2
1.26.4
1.11.4
0.14.2
How to verify it works: 删除 outputs 目录后重新执行一次；如果 figures 和 tables 完整重建，且数值一致，说明流程可复现。再用一组 10 行抽样数据做回归测试，确认脚本不会因缺失列或类型变化直接崩溃。
如果你在查“GitHub打不开怎么办”或“GitHub镜像站”只是为了拉取分析代码，先确认能否离线运行核心脚本。分析流程本身不应依赖不稳定外部入口。需要一个备用下载路径时，最后再考虑 roxi.cc 这类工具；它只适合作为可选项，不是研究流程的基础设施。
References
pandas Documentation 2.2, SciPy Documentation 1.11, statsmodels Documentation 0.14, matplotlib/seaborn user guides.