基于像素集编码器的卫星影像时间序列分类

Satellite Image Time Series Classification with Pixel-Set Encoders and Temporal Self-Attention

📦 源代码: GitHub 仓库

1 项目概述

本项目复现发表在 CVPR 2020 的论文：

Satellite Image Time Series Classification with Pixel-Set Encoders and Temporal Self-Attention

• 论文链接：https://doi.org/10.1109/CVPR42600.2020.01233
• 原始代码仓库：https://github.com/VSainteuf/pytorch-psetae

1.1 小组成员

• 王少艺（2025303120175）
• 余娟（2025303110117）
• 丁红俊（2025303110115）

2 模型架构

2.1 PSE-TAE 模型结构

PSE-TAE 架构图

模型主要包括三个部分：

• Pixel-Set Encoder (PSE)：对每个地块内部的像素集合进行编码，提取空间维度上的统计与聚合特征
• Temporal Attention Encoder (TAE)：基于自注意力机制建模多时相遥感观测之间的时间依赖关系
• MLP Classifier：将时空特征映射到最终地物类别，实现多类别分类

3 复现结果

3.1 训练过程可视化

3.1.1 Fold 1 训练指标

Fold 1 训练指标

3.1.2 Fold 2 训练指标

Fold 2 训练指标

3.1.3 Fold 3 训练指标

Fold 3 训练指标

3.1.4 Fold 4 训练指标

Fold 4 训练指标

3.1.5 Fold 5 训练指标

Fold 5 训练指标

4 代码说明

4.1 主要脚本

• train.py — 模型训练与验证
• inference.py — 模型推理
• dataset.py — 数据集处理

4.2 环境配置

项目使用 Python，需要安装以下依赖：

• PyTorch
• torchnet
• scikit-learn
• numpy
• pandas
• matplotlib

5 数据说明

项目面向 Sentinel-2 遥感影像数据集的多类别地物分类任务。

6 结论

1. 本项目成功复现了 PSE-TAE 模型的训练和推理流程
2. 5 折交叉验证结果显示模型具有良好的稳定性和可复现性
3. PSE-TAE 模型在遥感影像时空分类任务上表现优异