图神经网络与Transformer在图像美学与情感评价中的应用

1. 项目背景与核心价值

这个项目将深度学习中的图神经网络（GNN）和Transformer架构创新性地应用于图像美学与情感评价领域。传统图像评价系统往往只关注构图、色彩等客观美学指标，而忽略了观看者的主观情感反应。我们设计的联合评价模型能够同时预测专业评分和观众情感倾向，为摄影社区、广告设计、影视后期等场景提供更全面的图像质量评估方案。

在技术选型上，GNN擅长处理图像中物体间的拓扑关系（如视觉焦点分布），Transformer则能捕捉长距离的视觉特征依赖。两者结合后，模型不仅能分析"这张照片是否符合三分法构图"，还能判断"画面中的夕阳是否让人感到温暖怀旧"。这种多维度的评价体系，在当前的计算机视觉研究中仍属前沿探索方向。

2. 技术架构解析

2.1 双流特征提取网络

主体架构采用并行的双分支设计：

• 美学评价分支：使用ResNet-50 backbone提取多层次视觉特征，通过空间注意力机制强化关键区域（如黄金分割点）
• 情感分析分支：采用Vision Transformer处理全局上下文，特别关注颜色直方图、纹理模式等影响情绪的特征

两个分支在第四阶段通过图卷积层进行特征交互，构建的图结构中：

• 节点：图像超像素区域
• 边：区域间的视觉相似度（通过CIELAB色彩距离计算）
• 节点特征：包含美学属性（清晰度、对比度）和情感属性（色调冷暖、形状尖锐度）

2.2 多任务学习框架

损失函数采用加权组合：

code复制L_total = 0.6*L_aesthetic + 0.4*L_emotional

其中美学损失使用Earth Mover's Distance（EMD）度量预测分数与真实评分的分布差异，情感损失则采用改进的交叉熵：

python复制class WeightedCE(nn.Module):
    def __init__(self, class_weights):
        super().__init__()
        self.weights = torch.tensor(class_weights)
        
    def forward(self, pred, target):
        ce = F.cross_entropy(pre