297 lines
12 KiB
Markdown
297 lines
12 KiB
Markdown
# Restartable Sequences (rseq) 机制
|
||
|
||
## 1. 概述
|
||
|
||
Restartable Sequences（rseq，可重启序列）是一种用户态与内核协作的机制，用于实现高效的 per-CPU 数据访问。它允许用户态程序在不使用传统同步原语（如锁或原子操作）的情况下，安全地访问和修改 per-CPU 数据结构。
|
||
|
||
### 1.1 设计目标
|
||
|
||
rseq 的核心目标是提供一种**乐观并发**机制：
|
||
|
||
- 用户态代码可以假设自己不会被打断，直接操作 per-CPU 数据
|
||
- 如果确实被打断（抢占、信号等），内核负责将执行重定向到恢复路径
|
||
- 这种"要么完整执行，要么从头开始"的语义，避免了传统锁的开销
|
||
|
||
### 1.2 典型应用场景
|
||
|
||
- **内存分配器**：tcmalloc、jemalloc 等使用 per-CPU 缓存加速分配
|
||
- **引用计数**：per-CPU 引用计数可避免缓存行争用
|
||
- **统计计数器**：per-CPU 计数器的无锁更新
|
||
- **RCU 读侧临界区**：快速获取当前 CPU 信息
|
||
|
||
## 2. 核心概念
|
||
|
||
### 2.1 临界区（Critical Section）
|
||
|
||
rseq 临界区是一段用户态代码，具有以下特征：
|
||
|
||
```
|
||
┌─────────────────────────────────────────────────────────────┐
|
||
│ rseq 临界区 │
|
||
│ │
|
||
│ start_ip ──► ┌─────────────────────────────────┐ │
|
||
│ │ 1. 读取 cpu_id │ │
|
||
│ │ 2. 使用 cpu_id 索引 per-CPU 数据 │ │
|
||
│ │ 3. 执行操作（读/改/写） │ │
|
||
│ │ 4. 提交点（commit point） │ │
|
||
│ end_ip ────► └─────────────────────────────────┘ │
|
||
│ │ │
|
||
│ │ 被打断时跳转 │
|
||
│ ▼ │
|
||
│ abort_ip ──► ┌─────────────────────────────────┐ │
|
||
│ │ 恢复/重试逻辑 │ │
|
||
│ └─────────────────────────────────┘ │
|
||
└─────────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
- **start_ip**：临界区起始地址
|
||
- **post_commit_offset**：从 start_ip 到提交点的偏移量
|
||
- **abort_ip**：中断恢复地址，必须位于临界区外
|
||
|
||
### 2.2 用户态数据结构
|
||
|
||
用户态需要在 TLS（线程本地存储）中维护一个 `struct rseq` 结构：
|
||
|
||
| 字段 | 大小 | 说明 |
|
||
|------|------|------|
|
||
| cpu_id_start | u32 | 进入临界区时的 CPU ID |
|
||
| cpu_id | u32 | 当前 CPU ID（内核更新） |
|
||
| rseq_cs | u64 | 指向当前临界区描述符的指针 |
|
||
| flags | u32 | 标志位（保留） |
|
||
| node_id | u32 | NUMA 节点 ID |
|
||
| mm_cid | u32 | 内存管理上下文 ID |
|
||
|
||
### 2.3 临界区描述符
|
||
|
||
`struct rseq_cs` 描述一个具体的临界区：
|
||
|
||
| 字段 | 大小 | 说明 |
|
||
|------|------|------|
|
||
| version | u32 | 版本号，必须为 0 |
|
||
| flags | u32 | 标志位 |
|
||
| start_ip | u64 | 临界区起始地址 |
|
||
| post_commit_offset | u64 | 临界区长度 |
|
||
| abort_ip | u64 | 中断恢复地址 |
|
||
|
||
## 3. 工作原理
|
||
|
||
### 3.1 注册流程
|
||
|
||
```
|
||
用户态 内核态
|
||
│ │
|
||
│ sys_rseq(rseq_ptr, len, 0, sig) │
|
||
│ ──────────────────────────────────────► │
|
||
│ │ 1. 验证参数
|
||
│ │ 2. 记录注册信息
|
||
│ │ 3. 设置 NEED_RSEQ 标志
|
||
│ │
|
||
│ 返回 0（成功） │
|
||
│ ◄────────────────────────────────────── │
|
||
│ │
|
||
```
|
||
|
||
### 3.2 临界区执行
|
||
|
||
正常执行时，用户态代码：
|
||
|
||
1. 将临界区描述符地址写入 `rseq->rseq_cs`
|
||
2. 读取 `rseq->cpu_id` 获取当前 CPU
|
||
3. 使用该 CPU ID 访问 per-CPU 数据
|
||
4. 完成操作后，清除 `rseq->rseq_cs`
|
||
|
||
### 3.3 内核干预时机
|
||
|
||
内核在以下事件发生后，返回用户态前进行检查和修正：
|
||
|
||
```
|
||
┌──────────────────────────────────────────────────────────────┐
|
||
│ 触发 rseq 处理的事件 │
|
||
├──────────────────────────────────────────────────────────────┤
|
||
│ 抢占（Preemption） │
|
||
│ └─► 调度器切换进程时设置 PREEMPT 事件 │
|
||
│ │
|
||
│ 信号递送（Signal Delivery） │
|
||
│ └─► 设置信号帧前设置 SIGNAL 事件 │
|
||
│ │
|
||
│ CPU 迁移（Migration） │
|
||
│ └─► 进程被迁移到其他 CPU 时设置 MIGRATE 事件 │
|
||
└──────────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
### 3.4 返回用户态前的处理
|
||
|
||
当进程即将返回用户态时，内核执行以下步骤：
|
||
|
||
```
|
||
返回用户态前处理流程
|
||
│
|
||
▼
|
||
┌─────────────────┐
|
||
│ 检查 NEED_RSEQ │
|
||
│ 标志位 │
|
||
└────────┬────────┘
|
||
│ 已设置
|
||
▼
|
||
┌─────────────────┐
|
||
│ 读取 rseq_cs │
|
||
│ 指针 │
|
||
└────────┬────────┘
|
||
│
|
||
┌────────────┴────────────┐
|
||
│ │
|
||
▼ ▼
|
||
rseq_cs == 0 rseq_cs != 0
|
||
(不在临界区) (在临界区)
|
||
│ │
|
||
│ ▼
|
||
│ ┌───────────────┐
|
||
│ │ 当前 IP 在 │
|
||
│ │ 临界区内？ │
|
||
│ └───────┬───────┘
|
||
│ 是 │ 否
|
||
│ ┌──────────┴──────────┐
|
||
│ ▼ ▼
|
||
│ ┌───────────────┐ ┌───────────────┐
|
||
│ │ 修改返回地址 │ │ 清除 rseq_cs │
|
||
│ │ 为 abort_ip │ │ (lazy clear) │
|
||
│ └───────────────┘ └───────────────┘
|
||
│ │ │
|
||
└──────────────┴─────────────────────┘
|
||
│
|
||
▼
|
||
┌─────────────────┐
|
||
│ 更新 cpu_id 等 │
|
||
│ TLS 字段 │
|
||
└─────────────────┘
|
||
│
|
||
▼
|
||
返回用户态
|
||
```
|
||
|
||
## 4. 安全机制
|
||
|
||
### 4.1 签名验证
|
||
|
||
注册时用户提供一个 32 位签名值（sig），内核在处理临界区时会验证：
|
||
|
||
- 读取 `abort_ip - 4` 处的 4 字节
|
||
- 必须与注册时的签名匹配
|
||
- 防止恶意构造的临界区描述符
|
||
|
||
### 4.2 地址验证
|
||
|
||
内核对所有用户态地址进行严格验证：
|
||
|
||
- `start_ip`、`abort_ip` 必须在用户地址空间内
|
||
- `start_ip + post_commit_offset` 不能溢出
|
||
- `abort_ip` 必须在临界区外
|
||
|
||
### 4.3 错误处理
|
||
|
||
当检测到以下错误时，内核向进程发送 SIGSEGV：
|
||
|
||
- 用户内存访问失败
|
||
- 签名不匹配
|
||
- 地址验证失败
|
||
- 版本号不为 0
|
||
|
||
## 5. 与进程生命周期的集成
|
||
|
||
### 5.1 fork
|
||
|
||
- **CLONE_VM（线程）**：子线程需要重新注册 rseq
|
||
- **fork（进程）**：子进程继承父进程的 rseq 注册状态
|
||
|
||
### 5.2 execve
|
||
|
||
执行新程序时，rseq 注册状态被清除，新程序需要重新注册。
|
||
|
||
### 5.3 exit
|
||
|
||
进程退出时，rseq 状态随 PCB 一起释放，无需特殊处理。
|
||
|
||
## 6. 系统调用接口
|
||
|
||
### sys_rseq
|
||
|
||
```c
|
||
long sys_rseq(struct rseq *rseq, u32 rseq_len, int flags, u32 sig);
|
||
```
|
||
|
||
**参数：**
|
||
- `rseq`：用户态 rseq 结构的地址
|
||
- `rseq_len`：结构长度（至少 32 字节）
|
||
- `flags`：0 表示注册，RSEQ_FLAG_UNREGISTER (1) 表示注销
|
||
- `sig`：签名值
|
||
|
||
**返回值：**
|
||
- 成功：0
|
||
- 失败：负的错误码
|
||
|
||
**错误码：**
|
||
| 错误码 | 说明 |
|
||
|--------|------|
|
||
| EINVAL | 参数无效（长度、对齐、flags 等） |
|
||
| EPERM | 签名不匹配 |
|
||
| EBUSY | 已注册（重复注册相同参数） |
|
||
| EFAULT | 地址无效 |
|
||
|
||
## 7. 辅助向量（auxv）
|
||
|
||
内核通过 ELF 辅助向量向用户态传递 rseq 支持信息：
|
||
|
||
| 类型 | 值 | 说明 |
|
||
|------|-----|------|
|
||
| AT_RSEQ_FEATURE_SIZE | 27 | rseq 结构大小（32） |
|
||
| AT_RSEQ_ALIGN | 28 | rseq 对齐要求（32） |
|
||
|
||
用户态库（如 glibc）使用这些信息来：
|
||
- 确定内核是否支持 rseq
|
||
- 正确分配和对齐 TLS 中的 rseq 结构
|
||
|
||
## 8. 使用示例
|
||
|
||
以下伪代码展示了 rseq 的典型使用模式：
|
||
|
||
```c
|
||
// 1. 注册 rseq
|
||
struct rseq *rseq_ptr = &__rseq_abi; // TLS 中的 rseq 结构
|
||
syscall(SYS_rseq, rseq_ptr, sizeof(*rseq_ptr), 0, RSEQ_SIG);
|
||
|
||
// 2. 定义临界区描述符
|
||
struct rseq_cs cs = {
|
||
.version = 0,
|
||
.flags = 0,
|
||
.start_ip = (uintptr_t)&&start,
|
||
.post_commit_offset = (uintptr_t)&&commit - (uintptr_t)&&start,
|
||
.abort_ip = (uintptr_t)&&abort,
|
||
};
|
||
|
||
// 3. 执行临界区
|
||
retry:
|
||
rseq_ptr->rseq_cs = (uintptr_t)&cs;
|
||
start:
|
||
cpu = rseq_ptr->cpu_id;
|
||
// 使用 cpu 访问 per-CPU 数据
|
||
per_cpu_data[cpu].counter++;
|
||
commit:
|
||
rseq_ptr->rseq_cs = 0;
|
||
goto done;
|
||
|
||
abort:
|
||
// 签名（必须紧挨在 abort 标签前）
|
||
.int RSEQ_SIG
|
||
rseq_ptr->rseq_cs = 0;
|
||
goto retry;
|
||
|
||
done:
|
||
// 操作完成
|
||
```
|
||
|
||
## 9. 参考资料
|
||
|
||
- [Linux rseq(2) man page](https://man7.org/linux/man-pages/man2/rseq.2.html)
|
||
- [LWN: Restartable sequences](https://lwn.net/Articles/697979/)
|
||
- Linux 6.6.21 kernel/rseq.c
|