掌握 Flynn 分类中的 SISD、SIMD、MISD、MIMD,区分向量 / SIMT、多核与硬件多线程,并理解共享内存多处理机的通信与一致性问题。
多处理机通过多个处理单元并行工作提高吞吐量、缩短运行时间或增强可靠性。并行并不自动带来线性加速:任务之间的串行部分、同步、通信、负载不均、共享存储器带宽和缓存一致性都可能成为瓶颈。
# 一、Flynn 分类法
指令流是处理单元正在执行的一系列指令;数据流是这些指令所处理的数据序列。Flynn 分类法按二者的数目将体系结构分为四类。
flowchart TD
F[Flynn 分类:指令流 × 数据流] --> SISD[SISD<br/>单指令流、单数据流]
F --> SIMD[SIMD<br/>单指令流、多数据流]
F --> MISD[MISD<br/>多指令流、单数据流]
F --> MIMD[MIMD<br/>多指令流、多数据流]
SISD --> A[传统单处理器]
SIMD --> B[向量单元、数据并行]
MISD --> C[少见:冗余 / 容错等]
MIMD --> D[多核、多处理机]| 类别 | 全称 | 基本含义 | 典型理解 |
|---|---|---|---|
| SISD | Single Instruction, Single Data | 一个处理单元按一条指令流处理一份数据流 | 传统标量单核顺序执行模型 |
| SIMD | Single Instruction, Multiple Data | 一条控制流使多个处理单元对不同数据做同类操作 | 数组、图像、矩阵等数据级并行 |
| MISD | Multiple Instruction, Single Data | 多个处理单元对同一数据流执行不同指令流 | 实际少见,可用于冗余与容错类设计 |
| MIMD | Multiple Instruction, Multiple Data | 多个处理单元各自执行不同指令流、处理不同数据 | 多核 CPU、多处理器系统的典型抽象 |
# 1. SISD
SISD 中一个处理单元在一个时刻通常只按一条指令流操作一份数据。它可以内部使用流水线、缓存或超标量等技术,但从 “可见指令流 / 数据流” 这一分类维度仍可作为单处理器模型理解。不要把 “有流水线” 自动等同于 SIMD 或多处理机。
# 2. SIMD、向量处理器与 SIMT
SIMD 让多个计算通道对不同元素执行同一种操作。例如两个长度为 的向量逐元素相加,本质上是
若硬件一次处理 个元素,理想情况下需要约 批,而不是逐个元素执行 次。实际速度还受访存带宽、对齐、尾部元素和分支发散影响。
向量处理器以向量寄存器和向量指令表达一组元素的同构操作;现代 CPU 的 SIMD 扩展也可视为短向量数据并行。两者共同点是以同一操作作用于多个数据元素,差别主要是 ISA 的向量长度、寄存器组织和实现方式。
**SIMT(Single Instruction, Multiple Threads)** 常用来描述 GPU 的线程执行模型。它也强调一条指令在许多线程上执行,但程序员面对的是多个线程;当同一线程束中的控制流分歧时,硬件可通过掩码、分批执行等方式处理,效率会下降。SIMT 与严格锁步的 SIMD 很接近,却不宜简单视为完全同义。
# 3. MISD 与 MIMD
MISD 的多个处理单元对相同数据流执行不同操作,在通用计算机中十分少见;可把多路冗余计算、结果比对等容错思路作为理解实例,但具体系统是否严格符合 MISD 要看其实际数据流组织。
MIMD 中各处理单元可运行不同线程或进程,处理不同数据,并通过共享内存或消息传递协作。它的灵活性高,代价是并发程序必须处理同步、通信、共享数据竞争和负载均衡。
# 二、多核、物理核心与硬件多线程
# 1. 物理核心与逻辑处理器
物理核心是芯片上真实存在的独立处理单元,具有取指、译码、执行等硬件资源,并常拥有私有一级缓存或其他局部缓存资源。** 逻辑核心(逻辑处理器)** 是操作系统可调度和识别的处理器执行上下文;一个物理核心可通过硬件多线程暴露为多个逻辑处理器。
| 概念 | 是否独立硬件计算核心 | 关键特征 |
|---|---|---|
| 物理核心 | 是 | 有实际执行流水线和部分缓存 / 控制资源 |
| 逻辑核心 | 不一定 | 操作系统调度所见的执行上下文 |
| 硬件线程 | 一个核心维护的一套架构状态 | 通常各有 PC、寄存器等状态,竞争共享执行资源 |
一个有 个物理核心、每核心支持 个硬件线程的机器,操作系统通常可见约 个逻辑处理器;这只是可调度上下文数,不意味着同时拥有 份完整执行资源。
# 2. 硬件多线程与超线程
硬件多线程使一个物理核心保留多套线程的寄存器、PC 等架构状态。当一个线程因 cache miss、分支或长延迟操作暂时无法有效使用执行单元时,核心可选择另一线程继续发射指令,提高资源利用率。
| 方式 | 发射特点 | 目的 |
|---|---|---|
| 粗粒度多线程 | 遇到长延迟才切换线程 | 隐藏长延迟,切换相对少 |
| 细粒度多线程 | 按周期或更频繁地轮换线程 | 平滑隐藏流水线等待 |
| 同时多线程(SMT) | 同一周期可从多个线程发射指令 | 填满宽发射核心的空闲槽位 |
“Hyper-Threading” 是 Intel 对某些 SMT 实现的商标称呼。硬件线程通常共享执行单元、缓存、带宽等物理资源,故超线程不等于性能翻倍;当线程争用相同资源时,收益可能很小甚至下降。
flowchart TB
subgraph CHIP[多核处理器芯片]
subgraph C0[物理核心 0]
T0[硬件线程 0<br/>PC、寄存器状态]
T1[硬件线程 1<br/>PC、寄存器状态]
E0[共享的取指、执行单元与局部缓存]
T0 --> E0
T1 --> E0
end
subgraph C1[物理核心 1]
T2[硬件线程 0]
E1[执行单元与局部缓存]
T2 --> E1
end
end
OS[操作系统调度器] --> T0
OS --> T1
OS --> T2# 三、共享内存多处理机
# 1. 基本结构
共享内存多处理机(shared-memory multiprocessor)让多个处理器访问同一物理内存空间。处理器通过读写共享变量通信,并通过锁、信号量、屏障或原子指令协调访问。
flowchart LR
P0[处理器 / 核 0<br/>私有缓存] --- N[互连网络<br/>总线、交叉开关等]
P1[处理器 / 核 1<br/>私有缓存] --- N
P2[处理器 / 核 2<br/>私有缓存] --- N
N --- M[共享主存]它有两个关键结构特征:
- 共享地址空间:所有处理器可通过统一地址空间访问同一物理内存,数据共享直接,但需要同步来避免竞态;
- 处理器互连:总线、交叉开关或片上互连把处理器与内存连接起来;互连带宽、延迟和仲裁能力影响系统扩展性。
共享内存不表示 “每次读写都直接到主存”。多核常有私有缓存,同一内存地址的多个缓存副本会引出一致性与可见性问题。
# 2. 缓存一致性与内存一致性
若核 0 把变量 写成新值,而核 1 的私有缓存仍保留旧值,就发生了缓存副本不一致。** 缓存一致性(cache coherence)** 要求对同一地址的读写观察满足规定的一致规则;常见硬件协议用失效、更新、状态位和互连消息维护副本。
** 内存一致性模型(memory consistency model)** 进一步规定不同地址读写在多处理器间可被观察到的顺序。即便单个地址的缓存是一致的,编译器与 CPU 的重排序也可能使另一个核以意外顺序观察多个变量更新,因此并发程序还需正确使用原子操作和内存屏障。
本章只需先分清:
- 一致性关心 “同一地址的多个副本是否符合规则”;
- 一致性模型关心 “多个地址读写的可见顺序”;
- 锁和原子操作为软件建立必要的同步关系,不能只依赖 “多核会自动按源码顺序执行”。
# 3. 统一与非统一访存
若各处理器到共享内存的平均访问时间相近,可称为 UMA(uniform memory access)风格;若内存物理上分布在节点附近、访问本地与远端内存时间不同,则为 NUMA(non-uniform memory access)风格。两者都可提供共享地址空间,但 NUMA 更强调数据放置与局部性。
# 四、并行性能的基本边界
即使并行部分可被 个处理器理想均分,仍存在无法并行的串行部分。若程序串行比例为 ,Amdahl 定律给出理论加速上界:
该式并非要求死记所有推导,而是提醒:增加核心数只能加速可并行部分;同步、通信、缓存未命中、内存带宽和负载不均会使实际速度进一步低于上界。
例题 5.5:硬件线程不是新增物理核心
一台机器有 4 个物理核心,每核心支持 2 个硬件线程。操作系统显示 8 个逻辑处理器。能否据此断定它具有 8 倍于单核心的性能?
【解】 不能。8 是可调度硬件线程上下文的数量;每对线程仍共享所在物理核心的执行单元和部分缓存、带宽资源。实际加速还受程序并行度、资源争用与串行部分限制。
# 五、解题检查
- Flynn 分类数的是指令流和数据流,不是简单数 “CPU 有几颗核”。
- SIMD 是数据级并行;MIMD 更适合描述不同线程执行不同代码的多核系统。
- 物理核心、逻辑核心、硬件线程必须分开;SMT 共享许多物理资源。
- 共享内存便于通信,却需要同步和缓存一致性;共享地址空间不等于无竞争、无延迟。
- Amdahl 定律中的 增大时,加速比受串行比例上限约束。
