掌握 Flynn 分类中的 SISD、SIMD、MISD、MIMD,区分向量 / SIMT、多核与硬件多线程,并理解共享内存多处理机的通信与一致性问题。

多处理机通过多个处理单元并行工作提高吞吐量、缩短运行时间或增强可靠性。并行并不自动带来线性加速:任务之间的串行部分、同步、通信、负载不均、共享存储器带宽和缓存一致性都可能成为瓶颈。

# 一、Flynn 分类法

指令流是处理单元正在执行的一系列指令;数据流是这些指令所处理的数据序列。Flynn 分类法按二者的数目将体系结构分为四类。

flowchart TD
    F[Flynn 分类:指令流 × 数据流] --> SISD[SISD<br/>单指令流、单数据流]
    F --> SIMD[SIMD<br/>单指令流、多数据流]
    F --> MISD[MISD<br/>多指令流、单数据流]
    F --> MIMD[MIMD<br/>多指令流、多数据流]
    SISD --> A[传统单处理器]
    SIMD --> B[向量单元、数据并行]
    MISD --> C[少见:冗余 / 容错等]
    MIMD --> D[多核、多处理机]

类别全称基本含义典型理解
SISDSingle Instruction, Single Data一个处理单元按一条指令流处理一份数据流传统标量单核顺序执行模型
SIMDSingle Instruction, Multiple Data一条控制流使多个处理单元对不同数据做同类操作数组、图像、矩阵等数据级并行
MISDMultiple Instruction, Single Data多个处理单元对同一数据流执行不同指令流实际少见,可用于冗余与容错类设计
MIMDMultiple Instruction, Multiple Data多个处理单元各自执行不同指令流、处理不同数据多核 CPU、多处理器系统的典型抽象

# 1. SISD

SISD 中一个处理单元在一个时刻通常只按一条指令流操作一份数据。它可以内部使用流水线、缓存或超标量等技术,但从 “可见指令流 / 数据流” 这一分类维度仍可作为单处理器模型理解。不要把 “有流水线” 自动等同于 SIMD 或多处理机。

# 2. SIMD、向量处理器与 SIMT

SIMD 让多个计算通道对不同元素执行同一种操作。例如两个长度为 NN 的向量逐元素相加,本质上是

ci=ai+bi,0≤i<N.c_i=a_i+b_i,\qquad 0\leq i<N.

若硬件一次处理 ww 个元素,理想情况下需要约 ⌈N/w⌉\lceil N/w\rceil 批,而不是逐个元素执行 NN 次。实际速度还受访存带宽、对齐、尾部元素和分支发散影响。

向量处理器以向量寄存器和向量指令表达一组元素的同构操作;现代 CPU 的 SIMD 扩展也可视为短向量数据并行。两者共同点是以同一操作作用于多个数据元素,差别主要是 ISA 的向量长度、寄存器组织和实现方式。

**SIMT(Single Instruction, Multiple Threads)** 常用来描述 GPU 的线程执行模型。它也强调一条指令在许多线程上执行,但程序员面对的是多个线程;当同一线程束中的控制流分歧时,硬件可通过掩码、分批执行等方式处理,效率会下降。SIMT 与严格锁步的 SIMD 很接近,却不宜简单视为完全同义。

# 3. MISD 与 MIMD

MISD 的多个处理单元对相同数据流执行不同操作,在通用计算机中十分少见;可把多路冗余计算、结果比对等容错思路作为理解实例,但具体系统是否严格符合 MISD 要看其实际数据流组织。

MIMD 中各处理单元可运行不同线程或进程,处理不同数据,并通过共享内存或消息传递协作。它的灵活性高,代价是并发程序必须处理同步、通信、共享数据竞争和负载均衡。

# 二、多核、物理核心与硬件多线程

# 1. 物理核心与逻辑处理器

物理核心是芯片上真实存在的独立处理单元,具有取指、译码、执行等硬件资源,并常拥有私有一级缓存或其他局部缓存资源。** 逻辑核心(逻辑处理器)** 是操作系统可调度和识别的处理器执行上下文;一个物理核心可通过硬件多线程暴露为多个逻辑处理器。

概念是否独立硬件计算核心关键特征
物理核心是有实际执行流水线和部分缓存 / 控制资源
逻辑核心不一定操作系统调度所见的执行上下文
硬件线程一个核心维护的一套架构状态通常各有 PC、寄存器等状态,竞争共享执行资源

一个有 PP 个物理核心、每核心支持 HH 个硬件线程的机器,操作系统通常可见约 P×HP\times H 个逻辑处理器;这只是可调度上下文数,不意味着同时拥有 P×HP\times H 份完整执行资源。

# 2. 硬件多线程与超线程

硬件多线程使一个物理核心保留多套线程的寄存器、PC 等架构状态。当一个线程因 cache miss、分支或长延迟操作暂时无法有效使用执行单元时,核心可选择另一线程继续发射指令,提高资源利用率。

方式发射特点目的
粗粒度多线程遇到长延迟才切换线程隐藏长延迟,切换相对少
细粒度多线程按周期或更频繁地轮换线程平滑隐藏流水线等待
同时多线程(SMT)同一周期可从多个线程发射指令填满宽发射核心的空闲槽位

“Hyper-Threading” 是 Intel 对某些 SMT 实现的商标称呼。硬件线程通常共享执行单元、缓存、带宽等物理资源,故超线程不等于性能翻倍;当线程争用相同资源时,收益可能很小甚至下降。

flowchart TB
    subgraph CHIP[多核处理器芯片]
        subgraph C0[物理核心 0]
            T0[硬件线程 0<br/>PC、寄存器状态]
            T1[硬件线程 1<br/>PC、寄存器状态]
            E0[共享的取指、执行单元与局部缓存]
            T0 --> E0
            T1 --> E0
        end
        subgraph C1[物理核心 1]
            T2[硬件线程 0]
            E1[执行单元与局部缓存]
            T2 --> E1
        end
    end
    OS[操作系统调度器] --> T0
    OS --> T1
    OS --> T2

# 三、共享内存多处理机

# 1. 基本结构

共享内存多处理机(shared-memory multiprocessor)让多个处理器访问同一物理内存空间。处理器通过读写共享变量通信,并通过锁、信号量、屏障或原子指令协调访问。

flowchart LR
    P0[处理器 / 核 0<br/>私有缓存] --- N[互连网络<br/>总线、交叉开关等]
    P1[处理器 / 核 1<br/>私有缓存] --- N
    P2[处理器 / 核 2<br/>私有缓存] --- N
    N --- M[共享主存]

它有两个关键结构特征:

  • 共享地址空间:所有处理器可通过统一地址空间访问同一物理内存,数据共享直接,但需要同步来避免竞态;
  • 处理器互连:总线、交叉开关或片上互连把处理器与内存连接起来;互连带宽、延迟和仲裁能力影响系统扩展性。

共享内存不表示 “每次读写都直接到主存”。多核常有私有缓存,同一内存地址的多个缓存副本会引出一致性与可见性问题。

# 2. 缓存一致性与内存一致性

若核 0 把变量 xx 写成新值,而核 1 的私有缓存仍保留旧值,就发生了缓存副本不一致。** 缓存一致性(cache coherence)** 要求对同一地址的读写观察满足规定的一致规则;常见硬件协议用失效、更新、状态位和互连消息维护副本。

** 内存一致性模型(memory consistency model)** 进一步规定不同地址读写在多处理器间可被观察到的顺序。即便单个地址的缓存是一致的,编译器与 CPU 的重排序也可能使另一个核以意外顺序观察多个变量更新,因此并发程序还需正确使用原子操作和内存屏障。

本章只需先分清:

  • 一致性关心 “同一地址的多个副本是否符合规则”;
  • 一致性模型关心 “多个地址读写的可见顺序”;
  • 锁和原子操作为软件建立必要的同步关系,不能只依赖 “多核会自动按源码顺序执行”。

# 3. 统一与非统一访存

若各处理器到共享内存的平均访问时间相近,可称为 UMA(uniform memory access)风格;若内存物理上分布在节点附近、访问本地与远端内存时间不同,则为 NUMA(non-uniform memory access)风格。两者都可提供共享地址空间,但 NUMA 更强调数据放置与局部性。

# 四、并行性能的基本边界

即使并行部分可被 pp 个处理器理想均分,仍存在无法并行的串行部分。若程序串行比例为 ss,Amdahl 定律给出理论加速上界:

Sp≤1s+1−sp.S_p\leq\frac{1}{s+\frac{1-s}{p}}.

该式并非要求死记所有推导,而是提醒:增加核心数只能加速可并行部分;同步、通信、缓存未命中、内存带宽和负载不均会使实际速度进一步低于上界。

例题 5.5:硬件线程不是新增物理核心

一台机器有 4 个物理核心,每核心支持 2 个硬件线程。操作系统显示 8 个逻辑处理器。能否据此断定它具有 8 倍于单核心的性能?

【解】 不能。8 是可调度硬件线程上下文的数量;每对线程仍共享所在物理核心的执行单元和部分缓存、带宽资源。实际加速还受程序并行度、资源争用与串行部分限制。

# 五、解题检查

  • Flynn 分类数的是指令流和数据流,不是简单数 “CPU 有几颗核”。
  • SIMD 是数据级并行;MIMD 更适合描述不同线程执行不同代码的多核系统。
  • 物理核心、逻辑核心、硬件线程必须分开;SMT 共享许多物理资源。
  • 共享内存便于通信,却需要同步和缓存一致性;共享地址空间不等于无竞争、无延迟。
  • Amdahl 定律中的 pp 增大时,加速比受串行比例上限约束。