Docker容器化科研环境构建：可复现与版本控制实践 (Version 2024.05.20)

Roxi 加速器 — 稳定·快速·安全

全球节点覆盖，支持所有主流平台，一键连接无需配置。新用户免费试用。

立即体验 →

前置条件

• 操作系统：Ubuntu 20.04 LTS 或兼容Linux发行版。
• Docker Engine：版本 24.0.5 或更高。
• Docker Compose：版本 2.20.2 或更高。
• 基础Linux命令行操作知识。

1. 基础科研环境镜像构建

科研环境的容器化始于Dockerfile。此文件定义了容器的构建步骤，包括基础操作系统、软件包安装和环境变量配置。本例以Python科研环境为例，便于后续进行数据分析或机器学习任务。

1.1. 创建项目目录与Dockerfile

在本地工作区创建项目根目录，并于其中创建Dockerfile。

mkdir -p ~/research_env/my_project
cd ~/research_env/my_project
nano Dockerfile

Dockerfile内容示例如下：

# Dockerfile (Version 2024.05.20)
FROM python:3.9-slim-buster

LABEL maintainer="SRE Team "

# Set working directory inside the container
WORKDIR /app

# Install system dependencies
RUN apt-get update && \
    apt-get install -y --no-install-recommends \
        git \
        build-essential \
        libgl1-mesa-glx \
    && rm -rf /var/lib/apt/lists/*

# Copy requirements file and install Python dependencies
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# Copy application code
COPY . .

# Expose any necessary ports (e.g., for Jupyter Notebook)
EXPOSE 8888

# Define default command to run when the container starts
CMD ["jupyter", "notebook", "--port=8888", "--no-browser", "--allow-root", "--ip=0.0.0.0"]

Note: requirements.txt应包含所有Python依赖，例如numpy==1.22.4, pandas==1.4.3, scikit-learn==1.1.2, jupyter==1.0.0。

1.2. 构建Docker镜像

在Dockerfile所在目录执行构建命令。

docker build -t my_research_env:1.0.0 .

预期输出（部分）：

[+] Building 12.3s (12/12) FINISHED
 ...
Successfully built abcdef123456
Successfully tagged my_research_env:1.0.0

2. 科研环境容器部署与数据持久化

部署容器时，需考虑数据持久化，以避免容器销毁导致数据丢失。使用Docker卷（Volumes）是标准实践。

2.1. 运行容器并挂载数据卷

创建本地数据目录，并将其挂载到容器内部的/app/data路径。

mkdir -p ~/research_data
docker run -it -p 8888:8888 -v ~/research_data:/app/data --name my_jupyter_lab my_research_env:1.0.0

预期输出（部分）：

[I 20:00:00.000 NotebookApp] Serving notebooks from local directory: /app
[I 20:00:00.000 NotebookApp] The Jupyter Notebook is running at:
[I 20:00:00.000 NotebookApp] http://0.0.0.0:8888/?token=...

Warning: --allow-root在生产环境中使用需谨慎，但科研环境中为方便调试常使用。

3. 利用Docker Compose管理复杂环境

对于涉及多个服务（如Jupyter Lab、数据库、TensorBoard）的复杂科研项目，Docker Compose提供了一种声明式管理方式。

3.1. 创建docker-compose.yml

在项目根目录创建docker-compose.yml文件。

nano docker-compose.yml

docker-compose.yml内容示例如下：

# docker-compose.yml (Version 2024.05.20)
version: '3.8'
services:
  jupyter_lab:
    build:
      context: .
      dockerfile: Dockerfile
    ports:
      - "8888:8888"
    volumes:
      - ./data:/app/data
      - ./notebooks:/app/notebooks
    environment:
      - JUPYTER_TOKEN=mysecrettoken
    command: jupyter lab --port=8888 --no-browser --allow-root --ip=0.0.0.0 --token="mysecrettoken"
    restart: always

volumes:
  data:
  notebooks:

Note: JUPYTER_TOKEN用于通过浏览器访问Jupyter Lab时进行身份验证。

3.2. 启动服务

在docker-compose.yml所在目录执行。

docker compose up -d

预期输出（部分）：

[+] Running 2/2
 ✔ Network my_project_default  Created                                                                                     0.0s 
 ✔ Container my_project-jupyter_lab-1  Started                                                                                 0.0s 

至此，一个可复现、版本可控的科研环境已通过Docker部署完成。科研环境搭建教程至此，用户可以开始进行研究工作，并通过GitHub加速下载项目依赖，或利用GitHub打不开怎么办的解决方案访问代码库。

References

• Docker官方文档
• Docker Compose官方文档
• Jupyter Notebook官方文档