阅读笔记 on 扎塔-Zata

《大语言模型》读书笔记（赵鑫）

Wed, 12 Mar 2025 09:50:27 +0800

《大语言模型》（赵鑫等著）的读书笔记，按原书章节顺序覆盖第 1 至 11 章：语言模型的演进与扩展法则、预训练数据与模型架构、指令微调与人类对齐、解码与部署、提示学习，以及规划与智能体。

原书 PDF：大语言模型PDF

第 1 章引言

1.1 语言模型的发展历程

语言模型旨在通过建模人类语言的规律来预测词序列的概率，其发展经历了四个主要阶段：

统计语言模型（SLM）：20世纪90年代兴起，基于统计方法和马尔可夫假设（如n-gram模型），广泛用于信息检索和早期NLP任务。但受限于数据稀疏和高阶上下文建模能力不足。
神经语言模型（NLM）：引入神经网络（如RNN）和分布式词表示（词嵌入，如word2vec），克服数据稀疏问题，增强语义表示能力，显著提升了NLP任务性能。
预训练语言模型（PLM）：基于大规模无标注数据预训练（如ELMo、BERT、GPT-1），引入Transformer架构和“预训练-微调”范式，提升上下文感知和任务迁移能力。
大语言模型（LLM）：通过规模扩展（如GPT-3、ChatGPT）带来性能跃升，具备涌现能力（如上下文学习），从语言建模转向通用任务求解，成为AI研究热点。

1.2 大语言模型的能力特点

大语言模型相比传统模型展现出显著优势：

丰富的世界知识：通过超大规模数据预训练，掌握广泛知识。
通用任务解决能力：基于下一个词预测的多任务学习，能解决多样化任务。
复杂任务推理能力：在知识推理和数学问题中表现出色。
人类指令遵循能力：通过自然语言提示实现任务执行。
人类对齐能力：通过强化学习等技术与人类价值观对齐。
工具使用能力：可通过微调或提示学习调用外部工具，扩展功能。

1.3 大语言模型关键技术概览

大语言模型的成功依赖以下技术：

规模扩展：参数、数据和算力的增加遵循“扩展法则”，提升性能。
数据工程：高质量数据采集、清洗和课程设计至关重要。
高效预训练：分布式训练（如DeepSpeed）和优化技术支持大规模模型训练。
能力激发：指令微调和提示策略（如思维链）激发模型潜能。
人类对齐：RLHF等技术确保模型输出符合人类预期。
工具使用：通过插件机制扩展模型能力。

1.4 大语言模型对科技发展的影响

大语言模型推动了多个领域的变革：

自然语言处理：取代传统任务特定方法，研究转向提升综合能力。
信息检索：与搜索引擎融合，形成对话式信息获取模式。
计算机视觉：支持多模态模型发展（如GPT-4、Sora）。
AI4Science：赋能数学、化学等领域的科研创新。此外，大语言模型改变了科研范式和产业应用，推动通用人工智能（AGI）的探索。

总结

本章回顾了语言模型从统计方法到大语言模型的演化，强调了大语言模型在能力、技术和应用上的突破。它不仅是语言建模的延续，更是AI从专用智能向通用智能跃升的关键，展现了技术规模化与数据驱动的巨大潜力，同时也带来了新的研究与应用挑战。

第 2 章基础介绍

2.1 大语言模型概述

定义：大语言模型是指在海量无标注文本数据上预训练得到的超大规模语言模型，参数规模通常达百亿、千亿甚至万亿（如GPT-3、PaLM、LLaMA），或通过超大规模数据训练的较小模型（如LLaMA-2 7B）。
特点：相比传统语言模型，大语言模型采用更复杂的训练方法，展现出强大的自然语言理解和复杂任务求解能力。
构建目标：旨在成为通用任务求解器，而非仅针对特定任务优化。

2.2 大语言模型的构建过程

构建大语言模型通常分为两个阶段：

2.2.1 大规模预训练

目标：利用大规模无标注文本数据为模型参数找到较好的初始值，压缩世界知识。
技术路径：基于Transformer架构（尤其是仅解码器架构）和“预测下一个词”的任务（如GPT系列），已成为主流。
数据与算力：
- 需要高质量、多源化的文本数据（当前开源模型常用2-3T词元，趋势仍在扩大）。
- 算力需求极高：百亿参数模型需百卡集群（如A100 80G）训练数月，千亿参数需千卡甚至万卡。
挑战：数据清洗、学习率调整、异常检测等经验性技术需研发人员深度优化，避免算力浪费。

2.2.2 指令微调与人类对齐

指令微调（SFT）：
- 通过任务输入-输出配对数据（模仿学习），激发模型问答能力。
- 数据规模较小（数万至百万条即可），算力需求低（如单机八卡A100数天完成）。
人类对齐（Alignment）：
- 使用强化学习（如RLHF）增强模型与人类价值观一致性，减少有害输出。
- RLHF需训练奖励模型，基于人类偏好排序，资源消耗介于预训练与微调之间。
结果：经过微调与对齐，模型具备较强的人机交互能力，能通过问答解决任务。

2.3 扩展法则（Scaling Law）

扩展法则研究模型性能与规模（模型参数𝑁、数据规模𝐷、算力𝐶）的关系，是大语言模型成功的关键。

2.3.1 KM 扩展法则（OpenAI）

公式：性能损失𝐿与𝑁、𝐷、𝐶呈幂律关系（𝐿(𝑁) ∝ 𝑁⁻ᵅᴺ等）。
特点：倾向将算力更多分配给模型规模（𝑎≈0.73 > 𝑏≈0.27），认为参数规模提升更重要。
意义：提供定量指导，排除架构等次要因素影响。

2.3.2 Chinchilla 扩展法则（DeepMind）

公式：𝐿(𝑁,𝐷) = 𝐸 + 𝐴/𝑁ᵅ + 𝐵/𝐷ᵝ，推导出最优分配𝑁opt∝𝐶ᵃ，𝐷opt∝𝐶ᵇ。
特点：主张参数与数据规模等比例扩展（𝑎≈0.46，𝑏≈0.54），指出早期模型（如GPT-3）数据不足。
实例：Chinchilla（70B参数，1.4T词元）验证了数据规模的重要性。

2.3.3 讨论

可预测扩展：小模型可预估大模型性能，早期训练可监控异常，节省算力。
任务层面：语言建模损失减少不总对应任务性能提升，某些任务甚至出现“逆向扩展”。
数据需求：实际数据需求远超法则估计（如LLaMA-2 7B用2T词元），Transformer架构对数据扩展性强，未达饱和。

2.4. 涌现能力（Emergent Abilities）

定义：模型规模达一定阈值时，特定任务性能突然跃升，常见于大模型而非小模型。
代表性能力：
- 上下文学习（ICL）：无需训练，仅通过提示和示例完成任务（如GPT-3 175B）。
- 指令遵循：经微调后按自然语言指令执行任务（如InstructGPT）。
- 逐步推理：通过思维链（CoT）解决复杂推理问题（如PaLM 540B）。
争议：
- 可能因评估指标不连续或模型规模测试有限而夸大。
- 用户感知仍以离散方式为主（如代码正确性），支持涌现能力的实用性。
与扩展法则关系：法则预测平滑提升，涌现能力呈现跃升，二者趋势不完全一致。

2.5. GPT系列模型的技术演变

GPT系列由OpenAI开发，经历了四个阶段：

2.5.1 早期探索（GPT-1, GPT-2）

GPT-1 (2018)：基于解码器Transformer，奠定预训练基础，参数较小（~100M），需微调。
GPT-2 (2019)：参数增至1.5B，探索无监督多任务学习，提出语言建模即任务求解。

2.5.2 规模扩展（GPT-3）

GPT-3 (2020)：参数175B，引入上下文学习，确立提示学习范式，验证规模提升性能。

2.5.3 能力增强（GPT-3.5, Codex, InstructGPT）

Codex (2021)：在代码数据上微调，提升编程与推理能力。
InstructGPT (2022)：引入RLHF，增强指令遵循与安全性。
GPT-3.5：整合代码训练与对齐技术，综合能力提升。

2.5.4 性能跃升（ChatGPT, GPT-4）

ChatGPT (2022)：优化对话能力，支持多轮交互与插件，引发广泛关注。
GPT-4 (2023)：图文多模态，推理能力跃升，安全性增强（如红队攻击）。
GPT-4 Turbo等：扩展上下文（128K）、多模态支持（视觉、语音），优化性能与生态。

2.6. 总结与展望

核心驱动：大规模预训练、指令微调与对齐、规模扩展是LLM成功的基石。
挑战：算力依赖、数据稀缺、幻觉与安全性需持续改进。
趋势：多模态、更高效训练（如数据合成）、更强泛化能力是未来方向。

第 3 章大语言模型资源

本章主要介绍了大语言模型研发中可公开使用的资源，包括模型检查点和API、预训练数据、微调数据以及常用代码库。以下是对内容的简要总结，方便您快速把握核心要点：

3.1 公开可用的模型检查点或API

背景：预训练大模型需要大量算力和数据，开源模型检查点和商业API极大降低了研发门槛。
通用模型检查点：
- LLaMA及LLaMA-2：Meta AI 发布的开源模型，参数规模从7B到70B，广泛用于研究和微调，LLaMA-2支持商用并优化了性能。
- ChatGLM：智谱AI和清华大学开发的中英双语模型，6B参数，支持对话和长文本处理。
- Falcon：TII发布的模型，最高180B参数，是当时最大的开源模型。
- Baichuan及Baichuan-2：百川智能的中英双语模型，7B和13B，支持商用。
- InternLM及InternLM-2：上海人工智能实验室的多语言模型，7B至20B，提供完整工具链。
- Qwen：阿里巴巴的多语言模型，0.5B至72B，支持代码、数学等多模态任务。
- Mistral及Mixtral：Mistral AI的模型，7B至46.7B，采用MoE架构提升效率。
- DeepSeek LLM：幻方公司的中英模型，7B至67B，擅长代码和数学。
- Gemma：谷歌的轻量模型，2B和7B，专注英语任务。
- MiniCPM：面壁智能与清华合作的2B模型，高效且支持多模态。
- YuLan-Chat：中国人民大学的中英模型，最新12B版本经过完整训练流程。
LLaMA变体系列：如Alpaca、Vicuna等，通过指令微调扩展功能，覆盖基础指令、中文指令、垂域指令和多模态指令。
公共API：
- OpenAI：提供GPT-3.5 Turbo、GPT-4等语言模型API，以及text-embedding系列用于文本表征。

3.2 常用的预训练数据集

网页：如Common Crawl、C4、RefinedWeb（英文）和ChineseWebText、WanJuan（中文），提供大规模多语言数据。
书籍：如BookCorpus、Project Gutenberg，高质量长文本，需注意版权。
维基百科：多语言、高质量知识源，支持实时更新。
代码：如The Stack、StarCoder，提升模型编程能力。
混合型：如The Pile、ROOTS、Dolma，整合多源数据。

3.3 常用微调数据集

指令微调：
- NLP任务：P3、FLAN，基于多任务数据集。
- 对话：ShareGPT、OpenAssistant、Dolly，来源于真实用户交互。
- 合成：Self-Instruct、Alpaca，利用大模型生成数据。
人类对齐：如HH-RLHF、SHP、PKU-SafeRLHF，关注有用性、诚实性和无害性。

3.4 代码库资源

Hugging Face：提供Transformers、Datasets、Accelerate，简化模型开发和数据处理。
DeepSpeed：微软的高性能库，支持分布式训练，包含MII和Chat框架。
Megatron-LM：NVIDIA的优化库，支持多种并行策略。
本书配套：包括LLMSurvey综述、YuLan-Chat模型和LLMBox代码库。

总结

本章全面梳理了大语言模型研发的资源生态，从模型到数据再到代码库，为读者提供了入门和实践的参考。资源的开源共享显著降低了研发成本，推动了技术进步。

第 4 章预训练

预训练是研发大语言模型的第一个训练阶段，也是最为重要的一个阶段。有效的预训练能够为大语言模型的能力奠定坚实的基础：通过在大规模语料上进行预训练，大语言模型可以获得通用的语言理解与生成能力，掌握较为广泛的世界知识，具备解决众多下游任务的性能潜力。在这一过程中，预训练语料的规模和质量对于提升大语言模型的能力至关重要。

4.1 数据来源

重要性：预训练是构建大语言模型的关键阶段，数据的规模和质量直接影响模型的语言理解与生成能力。
数据类型：
- 通用文本数据：包括网页（主要来源数据集，如C4、RefinedWeb）、书籍（数据集，Books3、Bookcorpus2）、对话文本，提供广泛的世界知识。
- 专用文本数据：如多语文本（提升跨语言能力，如BLOOM、PaLM）、科学文本（增强科学推理，如arXiv）、代码（提高编程能力，如GitHub、StackExchange）。
图4.1：展示了不同模型（如LLaMA、GPT-3、CodeGen等）的预训练数据来源比例，网页数据通常占主导地位。

4.2 数据预处理

目标：通过质量过滤、敏感内容过滤和去重，确保数据的高质量和安全性。
质量过滤：
- 启发式规则：基于语种（如过滤非目标语言）、统计指标（如困惑度、符号比例）、关键词（如HTML标签）。
- 分类器方法：训练分类器（如FastText、BERT）识别低质量数据，需平衡效率与准确性。
敏感内容过滤：
- 有毒内容：使用分类器（如Jigsaw数据集训练）过滤攻击性文本。
- 隐私内容：通过规则（如正则表达式）去除PII（如邮箱、电话号码）。
数据去重：
- 粒度：句子、文档、数据集级别。
- 方法：精确匹配（后缀数组）、近似匹配（MinHash）。
影响：
- 数据数量：符合扩展法则（如Chinchilla的20:1比例），更多数据提升性能。
- 数据质量：高质量数据（如Phi-1的“教科书级”数据）显著提高效率，低质量数据导致“幻象”等问题。
- 重复数据：可能引发双下降现象，需精细去重。
- 数据集污染：需避免训练与测试数据重叠，确保评估公平性。

4.3 词元化（分词）

目标：将文本转化为模型可处理的词元序列。
方法：
- BPE：基于频率合并词元（如GPT-2的Byte-level BPE），解决未登录词问题。
- WordPiece：基于似然性增量合并（如BERT），使用前缀标记子词。
- Unigram：从大词表迭代删除词元（如T5），基于一元语言模型。
选用：定制化分词器（如SentencePiece）更高效，需考虑无损重构和高压缩率。

4.4 数据调度

数据混合：
- 典型分布：如LLaMA以网页为主，CodeGen增加代码比例。
- 策略：增加多样性、优化配比（如DoReMi）、针对特定能力调整（如数学、代码）。
数据课程：
- 顺序安排：从通用到专业化（如CodeLLaMA：通用→代码→Python）。
- 应用：提升代码、数学、长文本能力。
YuLan模型示例：
- 数据收集：网页、书籍、代码等多源数据。
- 清洗：质量过滤、去重（MinHash）、隐私去除。
- 调度：通过小模型测试确定1:8中英文比例，最终使用1,680B词元。

第 5 章模型架构

5.1 Transformer模型

核心结构：Transformer由多层多头自注意力（Multi-head Self-attention）和前馈网络（FFN）组成，分为编码器和解码器两部分，可独立使用（如BERT用编码器，GPT用解码器）。
输入编码：词元序列通过嵌入模块转为词向量，加入位置编码（Position Embedding, PE）以捕捉序列顺序信息。
多头自注意力：通过查询（Query）、键（Key）、值（Value）计算注意力分数，支持长距离依赖建模，计算高效且并行性强。
前馈网络层：引入非线性变换，提升模型表达能力。
编码器与解码器：编码器用双向注意力生成上下文表示，解码器用掩码自注意力自回归生成序列，解码器还可通过交叉注意力关注编码器输出。

5.2 详细配置

归一化方法：包括LayerNorm、RMSNorm（提高训练速度）和DeepNorm（稳定深层模型训练）。
归一化位置：分为Post-Norm（原始设计，收敛快但不稳定）、Pre-Norm（稳定但性能稍逊）和Sandwich-Norm（结合两者，灵活性高但可能不稳定）。
激活函数：从ReLU（简单但有神经元失效问题）发展到GELU、Swish及GLU变体（如SwiGLU、GeGLU），后者性能更优但计算复杂。
位置编码：
- 绝对位置编码：如正余弦编码或可学习嵌入，局限于训练长度。
- 相对位置编码：如Transformer-XL、T5偏置，引入相对距离信息，支持一定外推。
- RoPE：用旋转矩阵融合绝对与相对位置信息，广泛应用（如LLaMA）。
- ALiBi：通过距离惩罚增强外推能力，无需额外参数。
注意力机制：
- 完整自注意力：计算复杂度高（O(T²)）。
- 稀疏注意力：如滑动窗口注意力，降低复杂度至O(wT)。
- 多查询/分组查询：共享键值矩阵，提高效率。
- 硬件优化：如FlashAttention和PagedAttention，提升计算和内存效率。
混合专家模型（MoE）：通过路由网络选择激活专家（如Mixtral 8×7B），在低计算成本下提升性能。
LLaMA配置：推荐Pre-RMSNorm、SwiGLU、RoPE，代码实现展示了其解码器结构。

5.3 主流架构

编码器-解码器：如T5，双向编码+自回归解码，适用于理解与生成任务。
因果解码器：如GPT-3，单向掩码注意力，主流架构，擅长生成任务。
前缀解码器：如GLM-130B，前缀双向编码+输出单向解码，参数共享，灵活性强。

5.4 长上下文模型

挑战：传统模型受限于上下文窗口（如LLaMA-2的4096词元），需扩展以处理长文本。
扩展位置编码：
- 直接微调：用长文本训练，但收敛慢。
- 位置索引修改：如位置内插（缩放索引）、位置截断（限制远距离角度）。
- 基修改：调整RoPE底数或截断关键子空间，提升外推能力。
调整上下文窗口：
- 并行上下文窗口：分段编码，顺序关系弱。
- Λ形窗口：关注起始和邻近词元，适合流式生成。
- 词元选择：基于相似度选关键词元或分块，优化效率。
长文本数据：需少量多样化数据（1B词元即可），领域分布应与预训练匹配，优先整体型文本。

5.5 新型模型架构

问题：Transformer自注意力复杂度高（O(T²)），不适合超长序列。
状态空间模型（SSM）：结合RNN和CNN优点，支持并行训练和高效解码。
变种：
- Mamba：输入选择机制，性能强但无并行卷积。
- RWKV：词元偏移+时间/频道混合，效率高但训练非并行。
- RetNet：多尺度保留机制，支持并行与循环计算。
- Hyena：长卷积替换注意力，训练高效但解码复杂度随序列增长。

关键点与趋势

Transformer主导地位：因果解码器（如GPT系列）因生成能力强成为主流，长上下文和效率优化是当前重点。
配置优化：归一化、激活函数和位置编码的改进显著提升稳定性和性能。
长文本建模：位置编码扩展和上下文窗口调整并行发展，数据质量至关重要。
新型架构：SSM及其变种（如Mamba）在效率和长序列建模上挑战Transformer。

第 6 章模型预训练

本章详细阐述了大语言模型预训练的流程，包括预训练任务设计、优化参数设置、可扩展训练技术、效率分析及代码实践。以下是各节的核心内容：

6.1 预训练任务

预训练任务旨在通过自监督学习从海量无标注数据中提取语义和世界知识，常见任务分为三类：

语言建模 (LM)
- 核心思想：预测下一个词元，基于自回归方式优化似然函数$LLM(\mathbf{u}) = \sum_{t=1}^T \log P(u_t | \mathbf{u}_{<t}) $。
- 应用：广泛用于解码器模型（如GPT-3、PaLM），通过预测词元学习语言生成规律。
- 变种：
  - 前缀语言建模：基于前缀预测后缀，仅计算后缀损失，适用于前缀解码器架构。
  - 中间填充任务：调整序列顺序，训练模型填补中间缺失信息，常用于代码补全。
- 特点：任务简单但效果显著，可隐式学习多任务能力（如情感分析、算术推理）。
去噪自编码 (DAE)
- 目标：从损坏文本 $\mathbf{\tilde{u}}$ 恢复原始文本 $\mathbf{u}$，优化 $ L_{DAE}(\mathbf{u}) = \log P(\mathbf{\tilde{u}} | \mathbf{u} \setminus \mathbf{\tilde{u}}) $。
- 应用：常见于BERT、T5，通过随机替换或删除词元训练模型。
- 特点：实现复杂，需设计替换策略，较少单独用于大模型预训练。
混合去噪器 (MoD)
- 思想：统一语言建模和去噪自编码，定义 S（前缀）、R（短片段）、X（长片段）三种去噪器。
- 应用：用于UL2、PaLM 2，输入以特殊标记（如 [S], [R], [X]）区分任务类型。
- 优势：增强模型对不同损坏模式的适应性。

6.2 优化参数设置

为确保大模型训练稳定性和性能，需优化以下参数：

批次大小：通常为1M-4M词元，动态调整（如GPT-3从32K增至3.2M）以提升稳定性。
学习率：采用预热（0.1%-0.5%步数）+衰减策略（如余弦衰减），最大值一般为 $5 \times 10^{-5}$ 至 $1 \times 10^{-4}$ 。
优化器：常用Adam/AdamW（超参数 $\beta_1=0.9, \beta_2=0.95, \epsilon=10^{-8}$ ）或Adafactor（节省显存）。
稳定技术：
- 梯度裁剪（阈值1.0）防止损失突增；
- 权重衰减（系数0.1）增强泛化；
- 训练恢复设置存档点应对异常。

6.3 可扩展的训练技术

针对大模型的计算资源挑战，提出以下高效训练技术：

3D 并行训练：
- 数据并行：复制模型到多GPU，均分数据计算梯度后平均。
- 流水线并行：将模型层分配到不同GPU，配合梯度累积提升效率。
- 张量并行：分解参数矩阵（如注意力层 $ W_Q, W_K, W_V $），并行计算。
零冗余优化器 (ZeRO)：分片模型参数、梯度、优化器状态，减少显存冗余（ZeRO-3可降至 $ 1/N_D $）。
激活重计算：仅保存部分激活值，反向传播时重算，节省显存但增加计算开销。
混合精度训练：结合FP16/BF16（16位）和FP32（32位），提升效率并减少显存占用。

6.4 模型参数量计算与效率分析

参数量计算：以LLaMA为例，公式为 $ 2VH + H + L \cdot (4H^2 + 3HH’ + 2H) $，如LLaMA-7B约为67亿参数。
训练运算量：近似为 $ 6CP $（未用激活重计算）或 $ 8CP $（使用时），C为词元总数，P为参数量。
训练时间：基于 $ \text{时间} = \frac{\text{运算量}}{\text{GPU数} \times \text{GPU浮点运算能力}} $，如LLaMA-65B约21天。
显存估计：
- 模型参数与优化器：ZeRO-3下为 $ 16P/N_D $ 字节。
- 激活值：受批次大小 $ B $、序列长度 $ T $、层数 $ L $ 等影响。
- 总显存：如LLaMA-7B每GPU约66GB。

6.5 预训练代码实践

基于Transformers和DeepSpeed，提供LLaMA-7B预训练示例：

代码结构：包括模型加载、分词器初始化、数据处理（PTDataset类）和训练循环。
关键参数：支持BF16、ZeRO-3、激活重计算等优化。
运行方式：使用torchrun实现多GPU训练，DeepSpeed配置文件设置并行策略。

总结要点

任务设计：语言建模为主流，辅以去噪任务提升多样性。
优化策略：动态批次、学习率调度和Adam优化器是关键。
训练技术：3D并行和混合精度显著提升效率。
资源估算：参数量、运算量和显存需求可量化分析。
实践支持：提供可运行代码，适配中小规模模型训练。

第 7 章指令微调

1. 指令微调概述

定义：指令微调（Instruction Tuning）是用自然语言形式的指令数据对预训练大语言模型进行参数微调的过程，旨在增强模型的指令遵循能力和零样本学习能力。术语由谷歌研究员于2022年ICLR论文正式提出。
别称：有监督微调（Supervised Fine-tuning）或多任务提示训练（Multitask Prompted Training）。
目标：通过微调使模型能够理解并执行多样化的下游任务指令。

2. 指令数据的构建（7.1节）

指令数据通常包括任务描述（指令）、输入-输出对及可选示例。构建方法包括以下三种：

2.1 基于现有NLP任务数据集

来源：利用开源NLP数据集（如翻译、摘要、分类），添加任务描述（如“请翻译成英文”）将其转化为指令格式。
工具：PromptSource平台支持任务描述的创建与验证。
扩展：可通过翻转输入-输出对生成新任务（如基于答案生成问题）。
代表性数据集：FLAN、P3、Super-Natural Instructions等，FLAN v2混合约20M条实例。

2.2 基于日常对话数据

来源：用户真实查询（如InstructGPT中的OpenAI API数据）或人工标注的对话任务（如开放式生成、问答）。
特点：贴近真实场景，适合提升指令遵循能力。
开源数据集：Dolly、OpenAssistant、ShareGPT（多轮对话数据）。

2.3 基于合成数据

方法：利用大语言模型生成指令数据，减少人工标注成本。
代表性技术：
- Self-Instruct：以少量人工实例为种子，迭代生成52K条数据（如Alpaca-52K）。
- Evol-Instruct：通过深度（复杂化）和广度（多样性）演化提升指令质量。
- Self-Align：基于人类对齐原则过滤高质量数据。
- 指令回译：从现有文本逆向生成指令。
优势：高效、可扩展；挑战：需过滤低质或重复数据。

2.4 提升方法

指令格式：任务描述设计和示例数量影响性能，混合零样本与少样本提示效果更佳。
数量扩展：适量高质量指令（52K条可媲美text-davinci-003）比大规模低质数据更重要。
重写与筛选：如Evol-Instruct复杂化、YuLan-Chat-3主题多样化、Alpagasus筛选高质指令。

2.5 作用

性能改进：提升模型在多任务上的表现，小模型甚至超越未微调大模型。
任务求解：增强零样本任务能力，缓解预训练问题（如重复生成）。
领域适配：通过特定领域数据微调（如Med-PaLM医学模型）适配专业任务。

3. 训练策略（7.2节）

3.1 优化设置

目标函数：序列到序列损失，仅计算输出部分损失。
批次与学习率：较小批次和学习率（如InstructGPT 8/5.03×10⁻⁶，Alpaca 128/2×10⁻⁵）。
多轮对话：通过损失掩码一次性输入多轮内容，提高效率。

3.2 数据组织

平衡分布：混合NLP任务、对话和合成数据，设置最大采样容量避免单一数据集主导。
多阶段微调：先用NLP数据，后用对话和合成数据，逐步增加复杂性。
结合预训练：微调中加入少量预训练数据正则化，或预训练中引入指令任务。

4. 参数高效微调（7.3节）

针对大模型全参数微调成本高的问题，提出参数高效微调方法：

4.1 LoRA（低秩适配）

原理：冻结预训练权重，通过低秩分解矩阵（A、B）更新参数，减少训练量。
显存节省：从16P降至2P+16P_LoRA（如LLaMA 7B从108GB降至14GB）。
变种：
- AdaLoRA：动态调整秩，优化性能。
- QLoRA：4比特量化预训练参数，进一步降至0.5P显存。
应用：广泛用于LLaMA、BLOOM等模型的多语言、多领域微调。

4.2 其他方法

适配器微调：在Transformer层插入瓶颈网络，仅训练适配器参数。
前缀微调：在注意力层添加可训练前缀向量。
提示微调：在输入层加入连续提示向量，依赖底层模型能力。

5. 代码实践与分析（7.4节）

5.1 指令微调代码

实现：基于Transformers库，使用SFTDataset处理指令数据，DataCollator计算序列损失。
资源需求：LLaMA 7B-65B全量微调需2-16张A800 GPU，时间3-11小时。

5.2 实验分析

数据集：FLAN v2（NLP任务）、ShareGPT（对话）、Alpaca（合成）。
改进策略：Evol-Instruct复杂化、YuLan-Chat-3多样化。
结果：
- FLAN v2擅NLP任务，ShareGPT擅对话，Alpaca介于两者。
- 复杂性与多样性提升对话能力，接近ShareGPT。
- 大模型（13B）比小模型（7B）更强。

5.3 LoRA实践

代码：扩展nn.Linear实现LoRA，使用PEFT库集成。
资源：LLaMA 7B-65B需1-2张A800 GPU，时间2.3-26小时，显存大幅降低。

总结

指令微调通过多样化的数据构建和高效训练策略显著提升大语言模型的指令遵循能力。参数高效方法如LoRA在降低资源需求的同时保持性能，成为实际应用的关键技术。实验表明，指令质量优于数量，模型规模和数据类型匹配下游任务是性能提升的关键。

第 8 章人类对齐

概述

大语言模型（LLM）通过海量文本数据学习，行为受数据质量和来源影响。经过预训练和指令微调后，模型具备通用能力和指令遵循能力，但可能生成有偏见、冒犯或错误的文本。为确保模型行为与人类价值观、社会伦理一致，人类对齐（Human Alignment）成为关键研究问题。本章探讨对齐背景、标准及技术方法。

8.1 人类对齐的背景与标准

背景：尽管LLM在下游任务表现出色，但可能生成错误或有害内容，因预训练和微调未充分考虑人类价值观。人类对齐旨在通过引入新标准（如有用性、诚实性、无害性）确保模型与人类期望一致。例8.1展示了未经对齐的模型易受误导逻辑影响，而对齐后能识别错误并提供合理输出。
对齐标准：
- 有用性：提供准确、有创造性的信息，理解上下文并主动澄清歧义。
- 诚实性：输出真实客观，避免误导并表达不确定性。
- 无害性：避免有害、冒犯性内容，拒绝恶意请求。
- 其他细化标准包括行为对齐、意图对齐和道德对齐，主观性强，难以形式化建模。

8.2 基于人类反馈的强化学习（RLHF）

概述：RLHF通过人类反馈指导LLM对齐，包含三步骤：监督微调、奖励模型训练和强化学习（如PPO）。目标是优化模型在有用性、诚实性、无害性上的表现。
人类反馈收集：
- 选择高素质标注员（如母语者、高学历），通过一致性筛选确保可靠性。
- 反馈形式：评分（直接打分）和排序（Elo评分系统，两两比较）。
奖励模型训练：
- 用人类偏好数据训练模型预测评分，方法包括打分式（MSE损失）、对比式（正负例分数差）和排序式（全局排序）。
- 优化策略：目标函数加正则项、选用大模型作为基座、针对多标准训练多个奖励模型。
强化学习训练：
- 将文本生成视为决策过程，LLM为策略模型，优化目标是最大化奖励。
- PPO算法通过优势估计、重要性采样和梯度裁剪/KL散度惩罚提升稳定性。
代表性工作：
- InstructGPT：通过SFT、奖励模型和PPO对齐GPT-3，小模型（1.3B）性能超大模型（175B）。
- LLaMA-2：结合拒绝采样和PPO，迭代优化安全性与有用性。
进阶RLHF：
- 过程监督：对生成步骤逐一评估（如PRM800K数据集），提升细粒度对齐。
- AI反馈（RLAIF）：用对齐模型（如Constitutional AI）或自我反馈替代人类反馈，降低成本。

8.3 非强化学习的对齐方法

局限性与替代：RLHF复杂且不稳定，非强化学习方法通过监督微调（SFT）直接对齐，依赖高质量数据集和算法。
对齐数据收集：
- 基于奖励模型：用已训练奖励模型评分或排序输出。
- 基于LLM：利用对齐模型（如ChatGPT）自我评价和修正生成数据。
DPO算法：
- 通过偏好数据直接优化策略模型，避免奖励建模，目标函数基于正负例概率差。
- 优点：资源占用少、稳定性高，性能媲美RLHF。
其他监督对齐：
- 质量提示：为输出加前缀（如“好的回复”）区分质量。
- 质量对比：用对比学习优化正负例概率，增强匹配性。

8.4 SFT与RLHF的比较

总体比较：
- SFT：模仿学习，通过词元级损失优化，简单高效。
- RLHF：强化学习，通过文本级奖励优化，探索性强。
SFT优缺点：
- 优点：提升性能、泛化能力和专业性。
- 缺点：易产生幻觉、受数据质量和一致性影响。
RLHF优缺点：
- 优点：增强能力、减少有害输出和幻觉，偏好标注一致性高。
- 缺点：样本效率低、不稳定，依赖SFT初始化。
讨论：SFT解锁能力，RLHF优化对齐，未来需结合二者优点并探索超级对齐。

总结

人类对齐是LLM发展中的核心挑战，RLHF通过人类反馈和强化学习实现对齐，DPO等非强化方法则提供高效替代。SFT和RLHF各有优劣，实际应用需根据任务需求权衡，未来研究方向包括更有效的对齐技术和超级智能监管。

第 9 章解码与部署

9.1 解码策略

大语言模型通过自回归生成文本，解码策略决定输出质量与多样性。

9.1.1 背景

自回归解码流程：模型基于上下文逐词生成概率分布，选择下一词元，迭代至结束。
基本策略：
- 贪心搜索：每步选概率最高词元，适合翻译/摘要，但开放任务易生成重复、不自然文本。
- 概率采样：按概率分布采样，增加多样性，但可能引入无关词元。

9.1.2 贪心搜索改进

束搜索：保留Top-k候选句子（束大小3-6），选整体概率最高者，避免局部最优。
长度惩罚：归一化概率（惩罚因子0.6-0.7），鼓励长句生成。
重复惩罚：如n-gram惩罚（3-5）、出现/频率惩罚（0.1-1），减少重复。

9.1.3 随机采样改进

温度采样：调整softmax温度（<1集中分布，>1均匀化），控制随机性。
Top-k采样：从Top-k词元采样，减少低概率词影响。
Top-p采样：从累积概率≥p的词元集采样，适应上下文变化。
对比解码：利用大/小模型概率差值，提升重要词元影响力。

9.1.4 实际设置

T5：贪心/束搜索（束大小4，惩罚0.6）。
GPT-3：束搜索（4，0.6）。
Alpaca：Top-k（50）、Top-p（0.9）、温度0.7。
LLaMA：任务相关（如贪心、温度0.1/0.8）。
OpenAI API：支持多种策略及惩罚参数。

9.2 解码加速算法

自回归解码效率低，需优化全量解码（初始计算）和增量解码（逐词生成）阶段。

参考：全量解码与增量解码原理区别以及应用

9.2.1 解码效率分析

阶段：
- 全量解码：一次性计算输入状态，缓存键值。
- 增量解码：仅计算新词元状态，更新缓存。
效率指标：GPU算力（FLOP/s）、带宽（byte/s）、计算强度（FLOP/byte）。
瓶颈：
- 全量解码：计算瓶颈（算力限制）。
- 增量解码：带宽瓶颈（内存墙）。

9.2.2 系统级优化

FlashAttention：分块融合注意力计算，减少访存量，提速10倍。
PagedAttention：分页管理键值缓存，优化拼接与注意力并行。
批次管理：
- vLLM连续批处理：动态拆分请求，增大批次。
- DeepSpeed-MII动态分割：融合全量/增量解码，提升吞吐。

9.2.3 解码策略优化

推测解码：小模型预测、大模型验证，加速2倍。
级联解码：按请求难度分配模型，分类器判断结果。
非自回归解码：并行生成（如Medusa），需验证质量。
早退机制：熵阈值或混合深度跳层计算，提效。

9.2.4 代码实践

常见库：llama.cpp（跨平台量化）、vLLM（高效解码）、DeepSpeed-MII（动态分割）、FlexFlow（推测优化）。
vLLM示例：加载LLaMA-2-7b，支持贪心搜索、网络服务。

9.3 低资源部署策略

模型压缩减少显存占用，适应资源受限环境。

9.3.1 量化基础

量化：浮点数映射为整数（如INT8），缩放因子S、零点Z控制范围。
类型：
- 均匀/非均匀：间隔是否固定。
- 对称/非对称：零点是否为0。
- 粒度：张量、通道、组，精度与开销权衡。
示例：非对称/对称量化8-bit，误差分析。

9.3.2 训练后量化

权重量化：
- GPTQ：逐层分组量化，3-4bit有效。
- AWQ：激活感知缩放，关注关键权重。
权重+激活量化：
- 细粒度：异常值用FP16，正常值INT8。
- SmoothQuant：平衡量化难度，转移至权重。
其他：
- QLoRA：4-bit量化+16-bit适配器微调。
- 量化感知训练：蒸馏压缩权重/激活/缓存。

9.3.3 经验分析

结论：
- INT8权重影响小，4-bit需优化策略。
- 激活值难量化，需混合精度。
- 轻量化微调（如QLoRA）补偿损失。
实验：LLaMA 4/8-bit量化性能接近16-bit，显存降至3.94-7.34GB。

9.4 其他压缩方法

模型蒸馏：
- 传统：反馈（logits）、特征（中间层）。
- 大模型：白盒（MINILLM）、黑盒（思维链蒸馏）。
模型剪枝：
- 传统：结构化（删组件）、非结构化（掩码0）。
- 大模型：Sheared LLaMA动态剪枝至2.7B，恢复87.8%精度。

总结

本章探讨了大语言模型的解码与部署技术。解码策略平衡质量与多样性，加速算法优化效率，低资源策略通过量化、蒸馏、剪枝减少资源需求。未来需进一步提升效率与真实场景适配性。

第 10 章提示学习

10.1 基础提示

提示学习通过自然语言接口与大语言模型交互，是解决下游任务的主要方法。提示质量直接影响模型表现，设计方法分为人工设计和自动优化。

10.1.1 人工提示设计

关键要素：
- 任务描述：清晰具体，如“回答问题”或“补全代码”，可用符号（如###）强调格式。
- 输入数据：自然语言或线性化结构化数据（如表格、图）。
- 上下文信息：提供参考文档或示例，提升复杂任务能力。
- 提示策略：如“逐步思考”前缀或专家角色，提升推理或领域表现。
设计原则：
- 清晰表达目标：明确任务、格式和限制（如“50字摘要”）。
- 分解子任务：将复杂任务拆分为有序子步骤。
- 少样本示例：提供输入-输出对，增强语义映射。
- 模型友好格式：用特殊符号分隔，优先英语指令。

10.1.2 自动提示优化

离散提示优化（自然语言词元）：
- 梯度方法：用梯度搜索最佳词元，或优化“软词元”嵌入。
- 强化学习：将提示生成视为策略网络，基于奖励优化。
- 编辑方法：迭代修改提示，适配API调用场景。
- 大模型方法：用大模型生成提示，蒙特卡洛搜索筛选。
连续提示优化（嵌入向量）：
- 监督学习：微调前缀/输入层提示向量，节省参数。
- 迁移学习：共享源任务提示，或加权组合适配目标实例。
局限性：大模型参数量大，传统优化方法适用性有限。

10.2 上下文学习 (In-context Learning, ICL)

上下文学习通过任务描述和示例提示大模型，无需微调即可处理新任务。

10.2.1 形式化定义

形式：提示 = 任务描述 + 示例（可选） + 测试输入，模型生成输出。
与指令微调区别：ICL仅靠提示调用，微调提升零样本能力。

10.2.2 示例设计

示例选择：
- 相关度排序：用k-NN检索相似示例。
- 集合多样性：MMR/DPP算法平衡相关性和多样性。
- 大模型评分：评估示例增益，或训练分类器筛选。
示例格式：
- 人工标注：输入-输出对，或加任务描述/思维链。
- 自动生成：用大模型基于种子示例扩展模板。
示例顺序：
- 候选顺序：语义相似度排序，靠近测试样本优先。
- 质量评估：用任务表现或预测熵值筛选。

10.2.3 底层机制

预训练阶段：
- 任务设计：元训练（如MetaICL）增强示例学习能力。
- 数据选择：多样性及长程依赖提升ICL，长尾词汇关键。
推理阶段：
- 任务识别：利用预训练知识识别任务。
- 任务学习：隐式梯度下降或复杂算法学习新任务。
- 规模效应：小模型偏任务识别，大模型强于任务学习。

10.3 思维链提示 (Chain-of-Thought, CoT)

思维链通过中间推理步骤增强复杂推理任务表现。

10.3.1 基本形式

结构：⟨输入，思维链，输出⟩，提供逻辑推理过程。
简单方法：如“Let’s think step by step”诱导推理。

10.3.2 优化策略

示例设计：
- 复杂化：增加推理步骤或问题长度。
- 多样化：聚类选择多样示例，减弱错误影响。
生成方法：
- 采样法：Self-consistency生成多路径，投票集成。
- 验证法：DIVERSE用验证器检查推理路径/步骤。
拓展结构：
- 思维树 (ToT)：树形搜索，支持前瞻和回溯。
- 思维图 (GoT)：图结构，节点汇聚复杂推理。

10.3.3 进一步讨论

能力来源：
- 训练数据：局部变量重叠支持推理。
- 函数学习：分解为信息聚焦和单步组合。
模型影响：
- 符号与模式：表达任务意图为主。
- 推理生成：含推理路径的序列更准确。

总结

提示学习是高效利用大模型的关键。基础提示依赖人工设计或自动优化，上下文学习通过示例实现无微调任务适应，思维链提示增强复杂推理。未来需优化示例设计、推理结构及模型稳定性。

第 11 章规划与智能体

11.1 基于大语言模型的规划

规划是大语言模型解决复杂问题和自主智能体的核心能力，通过分解任务并制定动作序列来简化问题求解。

11.1.1 整体框架

核心组件：
1. 任务规划器（Task Planner）：由大语言模型担任，生成解决方案（动作序列），可引入存储机制管理长期任务。
2. 规划执行器（Plan Executor）：执行动作，可由大语言模型或物理实体（如机器人）实现。
3. 环境（Environment）：动作执行的场景（如Web、虚拟世界）。
工作流程：任务规划器生成方案，执行器在环境中执行，环境提供反馈，规划器根据反馈优化方案，迭代进行。

11.1.2 方案生成

形式：自然语言（直观但不严谨）或代码（规范、可执行）。
方法：
1. 一次性方案生成：生成完整动作序列，简单但容错性低，适合逻辑性强的任务（代码表达）或非形式化任务（自然语言）。
2. 迭代式方案生成：逐步生成下一步动作，结合环境反馈调整。
  - ReAct方法：模拟“思考-决策”，生成决策理由和动作，迭代推进。
  - 回溯策略：如思维树，通过回退优化方案，避免次优结果。

11.1.3 反馈获取

外部反馈：
- 物理工具：如代码解释器，提供执行结果。
- 人类：在具身智能中提供实时环境信息。
- 虚拟环境：如游戏，提供动作反馈。
内部反馈：
- 大语言模型自我判断动作正确性。
- Reflexion方法：将简单反馈转为详细反思，优化方案。

11.2 基于大语言模型的智能体

智能体是具备感知、决策、执行能力的自主系统，大语言模型提升其在开放动态环境中的表现。

11.2.1 智能体概述

发展历程：
- 规则智能体：依赖预定义规则，适应性低。
- 模型智能体：如强化学习，通过试错学习策略。
- 大语言模型智能体：利用语言理解和规划能力，处理复杂任务。

11.2.2 大语言模型智能体的构建

核心组件：
1. 记忆组件：
  - 短期记忆：上下文窗口，临时存储近期信息。
  - 长期记忆：持久存储知识、经验，外部存储实现。
2. 规划组件：分解任务，生成并优化动作方案。
3. 执行组件：执行规划，与环境交互，可借助外部工具。
工作流程：感知环境→检索记忆→规划策略→执行动作→获取反馈→更新记忆，动态调整行为。
示例：RecAgent推荐系统智能体，用户Bob通过记忆、规划、执行完成观影及社交行为。

11.2.3 多智能体系统的构建

构建方法：定义目标→创建多智能体（不同角色）→设计交互机制→考虑可扩展性等。
通讯协同机制：
- 通讯机制：协议（交换规则）、拓扑（连接关系）、内容（传输信息）。
- 协同机制：协作（共享资源）、竞争（博弈优化）、协商（冲突解决）。

11.2.4 典型应用

WebGPT：单智能体，增强信息检索，提供准确回答。
MetaGPT：多智能体，模拟软件开发团队，高效协作但代码成功率待提升。
西部世界沙盒模拟：生成式智能体，社会仿真，支持复杂交互。

11.2.5 待解决的关键技术问题

资源消耗：模型调用成本高，多智能体系统难以扩展。
工具使用：适配性不足，可扩展性需加强。
多智能体交互：通信协调复杂，需高效机制。
模型适配：指令理解、长期记忆、行为一致性待优化。
真实世界应用：硬件限制、信息超载、安全性要求高。

总结

本章介绍了基于大语言模型的规划框架（方案生成与反馈获取）及智能体系统（单智能体与多智能体）的构建与应用。规划通过任务分解和反馈优化解决复杂问题，智能体则整合记忆、规划、执行能力适应动态环境。未来需解决资源效率、工具适配、交互机制及真实世界应用的挑战，以推动智能体技术发展。

近红外光谱的知识点

Tue, 04 Mar 2025 14:54:46 +0800

近红外的基础知识点

波长和波数的转换关系

例如：

如果波长 $\lambda = 500 \text{nm}$，则波数为：

$$ \tilde{\nu} = \frac{1}{500 \times 10^{-7}} = 20000 \, \text{cm}^{-1} $$$$ \tilde{\nu} = \frac{ 10^{7}}{波长 } = 波数 \, \text{cm}^{-1} $$

以下是不同波长和波数范围在实际应用中的意义：

波长范围 ($\lambda$)	波数范围 ($\tilde{\nu}$)	应用领域
200–400 nm	25000–50000 cm⁻¹	紫外吸收光谱、臭氧层吸收
400–700 nm	14286–25000 cm⁻¹	可见光、颜色感知
700–2500 nm	4000–14286 cm⁻¹	近红外光谱、遥感
2500–25000 nm	400–4000 cm⁻¹	中红外光谱、分子振动
>25000 nm	<400 cm⁻¹	远红外、热辐射

吸收峰

吸收峰近红外的范围：780～2526nm范围内的电磁波，习惯上又将近红外区划分为近红外短波（780~ 1100nm）和近红外长波（1100 ~2526nm）

水的吸收峰：在750nm左右、950-1000nm、1400-1450nm、1900-2000nm
羟基（ROH）的吸收峰 730-750、930-950、1400-1500、2050-2100
羟酸(RCO_2H）的吸收峰 1900附近
羟酸衍生物(RCO_2R’）的吸收峰 1950附近
酚类（ArOH）的吸收峰750附近、930-950、1400-1500

血液中几种物质的基本含量

血液酒精含量 (BAC)

血液酒精含量 (Blood Alcohol Concentration, BAC) 是衡量酒精摄入的重要指标，常用于判断醉酒程度。

BAC 范围 (g/L)	对应 mmol/L	临床意义
0.00-0.20 g/L	0-43 mmol/L	正常范围，未饮酒或微量饮酒
0.20-0.50 g/L	43-108 mmol/L	轻度饮酒，反应能力略有下降
0.50-0.80 g/L	108-176 mmol/L	中度饮酒，协调能力下降
0.80-1.50 g/L	176-329 mmol/L	明显醉酒，判断力严重受损
1.50-3.00 g/L	329-658 mmol/L	严重醉酒，可能出现意识模糊、呕吐、昏迷等
>3.00 g/L	>658 mmol/L	极度危险，可能发生呼吸抑制、低血糖、心脏骤停甚至死亡

醉酒分级（百分比表示）

轻度醉酒 (0.02%-0.05%)：200 mg/L - 500 mg/L
中度醉酒 (0.05%-0.10%)：500 mg/L - 1000 mg/L
重度醉酒 (0.10%-0.15%)：1000 mg/L - 1500 mg/L
极重度醉酒 (>0.15%)：>1500 mg/L

血液乳酸

血液乳酸浓度反映体内代谢状态，常用于评估组织缺氧或运动负荷。

乳酸类型	正常值范围	轻度升高范围	显著升高范围	危急值范围
动脉血乳酸	0.5-1.6 mmol/L	1.6-2.0 mmol/L	≥2.0 mmol/L	>5.0 mmol/L
静脉血乳酸	0.5-2.2 mmol/L	2.2-4.0 mmol/L	≥4.0 mmol/L	>8.0 mmol/L

不同状态下的乳酸水平

静息状态（空腹、安静）：
 正常值：0.5 ~ 2.2 mmol/L (90 ~ 396 mg/L)
 轻度升高：2.2 ~ 4.0 mmol/L（可能与轻度运动或应激相关）
 显著升高：≥4.0 mmol/L（提示可能存在组织缺氧或其他病理状态）

运动后：
 中等强度运动：2.0 ~ 8.0 mmol/L（乳酸生成增加，但仍可被代谢清除）
 高强度运动：>8.0 mmol/L（乳酸堆积显著，可能达到乳酸阈值以上）

病理状态：
 乳酸酸中毒诊断标准：≥5.0 mmol/L（伴随血液 pH < 7.35）
 危险水平：≥10.0 mmol/L（可能危及生命，需紧急处理）

换算说明

1 mmol/L ≈ 90 mg/L（乳酸分子量为 90）

血液血糖

血糖浓度是评估糖代谢的重要指标，常用于糖尿病诊断。

血糖类型	正常值范围	糖尿病前期范围	糖尿病诊断标准
空腹血糖	3.89-6.11 mmol/L	6.11-7.00 mmol/L	≥7.00 mmol/L
餐后2小时血糖	<7.78 mmol/L	7.78-11.11 mmol/L	≥11.11 mmol/L
随机血糖	<11.11 mmol/L	-	≥11.11 mmol/L

血糖分级（mg/L 表示）

空腹血糖（禁食8小时以上）：
 正常值：700-1100 mg/L (0.07%-0.11%)
 空腹血糖受损：1100-1260 mg/L
 糖尿病诊断标准：≥1260 mg/L

餐后2小时血糖：
 正常值：<1400 mg/L
 糖耐量受损：1400-2000 mg/L
 糖尿病诊断标准：≥2000 mg/L

随机血糖：
 正常值：<2000 mg/L
 糖尿病诊断标准：≥2000 mg/L

换算说明

1 mmol/L ≈ 180 mg/L（葡萄糖分子量为 180）

血液尿酸

血液尿酸浓度与痛风和高尿酸血症相关，男女正常值范围有所差异。

性别	正常值范围 (μmol/L)	正常值范围 (mmol/L)	高尿酸血症阈值 (mmol/L)	痛风风险增加 (mmol/L)
男性	208-428 μmol/L	0.208-0.428 mmol/L	>0.428 mmol/L	>0.480 mmol/L
女性	155-357 μmol/L	0.155-0.357 mmol/L	>0.357 mmol/L	>0.420 mmol/L

正常值（mg/L 表示）

男性：58.8-120.9 mg/L (相当于 208-428 μmol/L)
女性：43.7-100.7 mg/L (相当于 155-357 μmol/L)

换算说明

1 μmol/L = 0.168 mg/L（尿酸分子量为 168）

以上内容以 Markdown 格式整理，包含表格和代码块，清晰展示了血液中酒精、乳酸、血糖和尿酸的基本含量及其临床意义。

近红外在硅棒中氧碳含量的测定

参考：
http://www.anytesting.com/news/1928815.html

单晶硅材料可以用于制造太阳能电池、半导体器件等，由于其应用领域的特殊性要求其纯度达到99.9999% 甚至更高。在单晶硅生产过程中由原料及方法等因素难以避免的引入了碳、氧等杂质，直接影响了单晶硅的性能。因而需对单晶硅材料中的氧碳含量进行控制。

关键要点

研究表明，近红外光谱仪在硅棒中氧碳含量测定中面临显著挑战，主要是因为氧碳的特征吸收带主要在中红外区域，近红外区域的信号非常弱。
证据倾向于认为，近红外光谱不适合直接测量硅中的氧碳含量，标准方法是低温中红外傅里叶变换红外光谱（FTIR）。
一个意想不到的细节是，某些高次谐波或组合带可能出现在近红外区域，但这些信号太弱，难以用于精确测量。

概述

近红外光谱仪在硅棒中氧碳含量测定中面临显著挑战，主要由于氧和碳的特征吸收带主要在中红外区域（约400至4000 cm⁻¹），而近红外区域（约4000至12800 cm⁻¹）的信号非常弱。这使得近红外光谱不适合直接测量硅中的氧碳含量，标准方法是使用低温中红外傅里叶变换红外光谱（FTIR），其灵敏度和分辨率更高。

主要挑战

信号弱度：氧和碳在近红外区域的吸收带（如高次谐波或组合带）非常弱，难以检测，尤其是在痕量水平（如ppma或ppba）。
分辨率和灵敏度低：与中红外相比，近红外光谱的分辨率和灵敏度较低，难以准确量化硅中的微量杂质。
干扰问题：近红外区域可能受到其他杂质或硅晶格本身的吸收干扰，增加测量复杂性。
数据分析复杂：提取近红外谱图中的弱信号需要高级数据分析技术，增加了操作难度。

单晶硅中碳和氧的含量分析

在单晶硅中，碳（C）和氧（O）是常见的杂质元素，它们的含量通常以原子浓度（atoms/cm³）来表示。您提到的碳含量范围为 $10^{16} \sim 10^{17}$ atoms/cm³，接下来我们可以通过一些计算将其转换为其他单位（如 PPMA），并讨论氧的含量。

1. 碳的含量：$10^{16} \sim 10^{17}$ atoms/cm³

(1) 转换为 PPMA

PPMA 是基于原子比例的单位，表示每百万个硅原子中有多少个碳原子。为了计算 PPMA，我们需要知道单晶硅的原子密度。

$$ N_{\text{Si}} = 5 \times 10^{22} \, \text{atoms/cm}^3 $$
碳的原子浓度范围为 $10^{16} \sim 10^{17}$ atoms/cm³。

$$ \text{PPMA}_{\text{C}} = \frac{\text{碳的原子浓度}}{\text{硅的原子密度}} \times 10^6 $$$$ \text{PPMA}_{\text{C}} = \frac{10^{16}}{5 \times 10^{22}} \times 10^6 = 0.2 \, \text{PPMA} $$$$ \text{PPMA}_{\text{C}} = \frac{10^{17}}{5 \times 10^{22}} \times 10^6 = 2 \, \text{PPMA} $$

因此，碳的含量范围为 0.2～2 PPMA。

(2) 氧的含量

氧是单晶硅中的另一种常见杂质，其典型含量范围为 $10^{17} \sim 10^{18}$ atoms/cm³。

类似的，我们可以将氧的含量转换为 PPMA：

$$ \text{PPMA}_{\text{O}} = \frac{10^{17}}{5 \times 10^{22}} \times 10^6 = 2 \, \text{PPMA} $$$$ \text{PPMA}_{\text{O}} = \frac{10^{18}}{5 \times 10^{22}} \times 10^6 = 20 \, \text{PPMA} $$

因此，氧的含量范围为 2～20 PPMA。

2. 总结

碳的含量范围为 $10^{16} \sim 10^{17}$ atoms/cm³，对应的 PPMA 范围为 0.2～2 PPMA。
氧的含量范围为 $10^{17} \sim 10^{18}$ atoms/cm³，对应的 PPMA 范围为 2～20 PPMA。

这些杂质的含量对单晶硅的性能有重要影响，例如电学性质、机械强度等。如果需要更精确的数据，可以参考具体的材料规格或实验测量结果。

可行性分析

鉴于这些挑战，近红外光谱仪在硅棒中氧碳含量测定中的可行性较低。研究表明，当前技术难以克服这些限制，因此不推荐将其作为常规方法。不过，若结合其他技术或针对特定样品，可能有间接应用的潜力，但这需要进一步研究。

一个意想不到的细节是，尽管氧和碳的特征吸收带不在近红外区域，但某些高次谐波（如氧的第四次谐波可能在近红外边缘）可能被检测到，但信号强度不足以支持精确测量。

支持的资源包括：碳和氧在硅中的定量分析和硅单晶中碳氧含量的测定方法。

报告

近红外光谱仪在硅棒中氧碳含量测定中的应用面临显著挑战，主要是由于氧和碳的特征吸收带主要集中在中红外区域，而非近红外区域。本报告详细分析了这些挑战及其对可行性的影响，并探讨了潜在的间接应用可能性。以下是全面的分析，基于当前研究和行业标准。

背景与标准方法

硅棒中的氧和碳含量是半导体材料质量控制的关键指标，直接影响其机械和电学性能。标准方法是使用低温傅里叶变换中红外光谱（FTIR），其工作波数范围为400至4000 cm⁻¹，覆盖碳的吸收峰（如607.5 cm⁻¹）和氧的吸收峰（如1136.3 cm⁻¹）。例如，碳和氧在硅中的定量分析指出，FTIR可在低温下实现对碳和氧的灵敏检测，达到ppba（十亿分之一原子）级别。

相比之下，近红外光谱（NIR）覆盖的波数范围为4000至12800 cm⁻¹（对应780至2500 nm），主要用于分析复杂混合物中的过振动和组合带，常见于农业和食品工业，但其在半导体材料分析中的应用较少。

挑战分析

以下是近红外光谱仪在硅棒中氧碳含量测定中面临的四大主要挑战：

信号弱度
氧和碳在硅中的振动模式（如取代碳和间隙氧）的基频吸收带在中红外区域，其在近红外区域的过振动或组合带非常弱。理论上，高次谐波（如氧的第四次谐波可能在4000 cm⁻¹以上）可能出现在近红外边缘，但由于非谐性效应，这些信号强度显著降低，难以用于精确测量。例如，硅晶圆中碳氧含量的评估提到，室温FTIR测量已能检测0.1 ppm的碳氧含量，但这是基于中红外吸收。
分辨率和灵敏度低
近红外光谱的分辨率和灵敏度通常低于中红外光谱，尤其在检测微量杂质时。Bruker的报告碳和氧在硅中的定量分析强调，低温中红外分析可将碳检测下限降至10 ppba，而近红外由于信号弱，难以达到类似灵敏度。
干扰问题
近红外区域可能受到其他杂质或硅晶格本身的吸收干扰。例如，硅晶格的振动模式或掺杂元素（如硼、磷）的吸收可能掩盖氧碳的弱信号。文献硅晶圆中微量杂质的红外光谱模拟指出，薄硅片中的干涉条纹已对中红外测量构成挑战，近红外区域的干扰可能更复杂。
数据分析复杂
提取近红外谱图中的弱信号需要依赖化学计量学方法，如主成分分析（PCA）或偏最小二乘法（PLS），这增加了分析复杂性和专业知识要求。文献近红外光谱在连续制造中的挑战提到，近红外应用的模型鲁棒性是常见问题，尤其在动态样品流中。

可行性评估

鉴于上述挑战，近红外光谱仪在硅棒中氧碳含量测定中的可行性较低。研究表明，当前技术难以克服信号弱度和干扰问题，因此不推荐将其作为常规方法。然而，存在一些潜在的间接应用场景，例如：

若氧碳含量影响硅的某些可通过近红外测量的光学性质（如折射率或散射），可能通过相关性分析间接推断。但这需要建立明确的模型，目前文献支持不足。
某些高次谐波或组合带可能出现在近红外边缘（如氧的第四次谐波可能在4000 cm⁻¹以上），但信号强度不足以支持精确测量，需结合表面增强技术（如SEIRA）可能有所改善，但这增加了实验复杂性。

一个意想不到的细节是，尽管氧和碳的基频吸收不在近红外区域，但某些高次谐波（如碳的第七次谐波可能在4235 cm⁻¹）可能被检测到，但其强度远低于中红外基频，实用性有限。

对比表：中红外与近红外在硅氧碳测定中的优劣

方法	优点	缺点	适用性
中红外FTIR（标准）	直接检测基频吸收，灵敏度高，精度高	需要低温环境，成本较高，样品制备复杂	硅氧碳常规测量
近红外光谱	非破坏性，快速，设备成本可能较低	信号弱，干扰多，灵敏度低，不适合直接测量	间接测量或其他应用

结论与展望

近红外光谱仪在硅棒中氧碳含量测定中的挑战主要源于信号弱度和技术限制，当前可行性较低。未来，若能开发新型探测器或增强信号的技术（如表面增强红外吸收光谱），可能改善其应用潜力，但目前仍建议采用中红外FTIR作为标准方法。

支持的资源包括：碳和氧在硅中的定量分析、硅单晶中碳氧含量的测定方法和硅晶圆中碳氧含量的评估。

关键引文

近红外在酸性清洗液含量检测中的应用可行性分析

关键要点

研究表明，这些物质在近红外区域的吸收峰主要来源于其分子振动的基本频率的倍频和组合带。
检测这些物质的近红外可行性较高，但需建立校准模型以确保准确性。
不同化合物的吸收峰可能重叠，影响复杂混合物的识别。

直接回答

近红外吸收峰对应

这些物质在近红外区域的吸收峰主要来源于其分子中官能团（如O-H、N-H、C-H）的倍频和组合带。例如：

过氧化氢（H₂O₂）：约1420纳米（7042 cm⁻¹）。
硫酸（H₂SO₄）：O-H拉伸的倍频约1667纳米（6000 cm⁻¹）。
氨（NH₃）：N-H拉伸的倍频约1515纳米（6600 cm⁻¹）。
水（H₂O）：1364、1378、1400纳米（7330、7252、7143 cm⁻¹）。
盐酸（HCl）：H-Cl拉伸的倍频约1724纳米（5800 cm⁻¹）。
异丙醇：C-H和O-H的倍频，通常在近红外区域有特征吸收。

这些峰值反映了分子振动的更高能量跃迁，适合用于检测混合物中的成分。

检测可行性

使用近红外检测这些物质是可行的，尤其在定量分析中，如监测过氧化氢的浓度或水的含量的场景。研究表明，近红外光谱可快速、无损地分析样品，但需要建立校准模型以区分重叠的吸收峰。对于简单混合物（如硫酸+过氧化氢），检测效果较好；但复杂混合物可能因峰重叠而降低准确性。仪器灵敏度和样品浓度也会影响检测效果。

意外细节

有趣的是，近红外光谱在农业和食品工业中广泛用于水分和蛋白质的测量，但对硫酸等强酸的近红外研究较少，可能因其倍频吸收较弱。

详细调查报告：近红外吸收峰及检测可行性分析

引言

近红外（NIR）光谱学是一种基于电磁波近红外区域（约700纳米至2500纳米或14,286至4,000 cm⁻¹）的分析技术，主要用于检测分子振动的倍频和组合带。与中红外光谱相比，近红外光谱的吸收峰强度较低，但因其穿透性强，适合非破坏性分析。本报告旨在探讨用户提到的物质（基于附件中的化学混合物）在近红外区域的吸收峰，并评估使用近红外检测的可行性。

物质及近红外吸收峰分析

根据附件，涉及的物质包括SPM（硫酸+过氧化氢）、SC1（氨+过氧化氢+水）、SC2（盐酸+过氧化氢+水）和IPA（异丙醇）。以下为各成分的近红外吸收峰，基于分子官能团的倍频和组合带：

物质	近红外吸收峰（纳米）	对应波数（cm⁻¹）	备注
过氧化氢 (H₂O₂)	约1420	7042	O-H拉伸的倍频
硫酸 (H₂SO₄)	约1667	6000	O-H拉伸的倍频
氨 (NH₃)	约1515	6600	N-H拉伸的倍频
水 (H₂O)	1364, 1378, 1400	7330, 7252, 7143	O-H拉伸的倍频和组合带
盐酸 (HCl)	约1724	5800	H-Cl拉伸的倍频
异丙醇	C-H和O-H的倍频，范围广	约6000-7000 cm⁻¹	典型醇类特征吸收

这些吸收峰来源于分子振动的倍频，通常是中红外基本频率的2倍左右，但因非谐性效应，实际位置略低。例如，过氧化氢的1420纳米峰对应其O-H拉伸的倍频，而水的多个峰反映了其复杂的氢键网络。

混合物的近红外吸收特征

对于混合物，其近红外光谱将是各成分吸收峰的叠加：

SPM（硫酸+过氧化氢）：硫酸约1667纳米，过氧化氢约1420纳米，峰位较分开，易区分。
SC1（氨+过氧化氢+水）：氨约1515纳米，过氧化氢1420纳米，水1364-1400纳米，峰位较近，可能需高分辨率仪器。
SC2（盐酸+过氧化氢+水）：盐酸约1724纳米，过氧化氢1420纳米，水1364-1400纳米，峰位分布较广，检测较可行。
IPA（异丙醇）：作为单一物质，其C-H和O-H倍频在近红外区域有特征吸收，适合定量分析。

检测可行性评估

近红外光谱的检测可行性取决于以下因素：

吸收峰的强度和分辨率：近红外吸收峰通常较弱，需高灵敏度仪器。研究表明，过氧化氢的1420纳米峰在气体检测中可用于浓度测量 (Determination of Hydrogen Peroxide by near Infrared Spectroscopy)。
峰的重叠：混合物中峰可能重叠，如SC1中的氨和水峰接近，可能需主成分回归（PCR）或偏最小二乘回归（PLSR）等化学计量学方法分析。
样品状态：近红外适合液体、气体和固体样品分析，附件中的混合物多为液体或气体，检测条件较优。
校准模型：为确保定量准确性，需建立校准模型，基于已知浓度的标准样品。研究显示，近红外在农业（如水分测量）和制药工业中广泛应用，表明其对类似混合物的分析能力 (Near-Infrared Spectroscopy in Bio-Applications)。

总体而言，近红外检测这些物质是可行的，尤其在简单混合物中。复杂混合物可能需结合化学计量学方法以提高准确性。

应用场景及局限性

近红外光谱在工业中常用于快速、无损检测，如监测过氧化氢在灭菌过程中的浓度 (Hydrogen peroxide vapor cross sections: A flow cell study using laser absorption in the near infrared)。对于硫酸等强酸，近红外研究较少，可能因其倍频吸收较弱，但仍可通过O-H倍频检测。
局限性包括：

吸收峰强度低，可能需高浓度样品。
复杂混合物中峰重叠可能降低分辨率。
仪器成本和校准模型的建立需额外投入。

结论

这些物质在近红外区域的吸收峰主要为官能团倍频，检测可行性较高，适合快速定量分析。但复杂混合物需注意峰重叠问题，并通过化学计量学方法优化。

关键引文

瑞金医院拉曼无创血糖论文

Mon, 24 Feb 2025 00:00:00 +0000

Subcutaneous depth-selective spectral imaging with mμSORS enables noninvasive glucose monitoring

摘要

Noninvasive blood glucose monitoring offers substantial advantages forpatients, but current technologies are often not sufficiently accurate for
clinical applications or require personalized calibration. Here we reportmultiple μ-spatially offset Raman spectroscopy, which captures Raman signals at varying skin depths, and show that it accurately detects bloodglucose levels in humans. In 35 individuals with or without type 2 diabetes,we first determine the optimal depth for glucose detection to be at orbelow the capillary-rich dermal–epidermal junction, where we observea strong correlation between specific Raman bands and venous plasmaglucose concentrations. In a second study, comprising 230 participants, we then improve accuracy of our regression model to reach a mean absolute relative difference of 14.6%, without personalized calibration, whereby 99.4% of calculated glucose values fall into clinically acceptable zones of the consensus error grid (zones A and B). These findings highlight the ability and robustness of multiple μ-spatially offset Raman spectroscopy for noninvasive blood glucose measurement in a clinical setting.

Noninvasive blood glucose monitoring offers substantial advantages for patients, but current technologies are often not sufficiently accurate for clinical applications or require personalized calibration.

非侵入式血糖监测为患者提供了显著的优势，但当前技术往往在临床应用中不够精确，或者需要个性化校准。

substantial 实质的 clinical applications 临床应用 personalized calibration 个性化校准 subcutaneous 皮下的

Here we report multiple μ-spatially offset Raman spectroscopy, which captures Raman signals at varying skin depths, and show that it accurately detects bloodglucose levels in humans. In 35 individuals with or without type 2 diabetes,we first determine the optimal depth for glucose detection to be at orbelow the capillary-rich dermal–epidermal junction, where we observea strong correlation between specific Raman bands and venous plasmaglucose concentrations.

在此，我们报告了一种多重微空间偏移拉曼光谱技术，该技术能够捕获不同皮肤深度的拉曼信号，并证明其能够准确检测人体内的血糖水平。在35名有或无2型糖尿病的个体中，我们首先确定了检测葡萄糖的最佳深度为毛细血管丰富的真皮-表皮交界处或其下方，在此深度我们观察到特定拉曼光谱带与静脉血浆葡萄糖浓度之间存在强相关性。

In a second study, comprising 230 participants, we then improve accuracy of our regression model to reach a mean absolute relative difference of 14.6%, without personalized calibration, whereby 99.4% of calculated glucose values fall into clinically acceptable zones of the consensus error grid (zones A and B).

在第二项研究中，包括230名参与者，我们进一步提高了回归模型的准确性，使平均绝对相对差达到14.6%，无需个性化校准，其中99.4%的计算葡萄糖值落在共识误差网格的临床可接受区域（A区和B区）。

consensus error grid 共识误差网格

These findings highlight the ability and robustness of multiple μ-spatially offset Raman spectroscopy for noninvasive blood glucose measurement in a clinical setting. 这些发现突显了多重微空间偏移拉曼光谱技术在临床环境中进行非侵入式血糖测量的能力和稳健性。

引言

Blood glucose monitoring is critical for health management, especially for the over 500 million people with diabetes worldwide. 血糖监测对健康管理至关重要，特别是对于全球超过5亿的糖尿病患者。
Patients with diabetes typically receive recommendations to monitor their blood glucose level multiple times per day. 糖尿病患者通常被建议每天多次监测血糖水平。
Nevertheless, conventional finger pricks induce pain and risk of infection, which thereby reduced the patients’ quality of life and their adherence to treatment. 然而，传统的指尖采血会引起疼痛和感染风险，从而降低了患者的生活质量和治疗依从性。
More recently, minimally invasive continuous blood glucose monitoring technologies have been developed, utilizing indwelling sensors to measure glucose levels in interstitial compartments. 最近，微创持续血糖监测技术已经开发出来，利用植入式传感器测量间质液中的葡萄糖水平。
However, these sensors require constant attachment to the user and cause inconvenience. 然而，这些传感器需要持续附着在用户身上，并带来不便。
Hence, there remains a persistent need for practical solutions to noninvasive blood glucose monitoring. 因此，仍然迫切需要实用的非侵入性血糖监测解决方案。
So far, the route to clinically applicable noninvasive blood glucose monitoring remains elusive. 到目前为止，临床上适用的非侵入性血糖监测方法仍未明确。
Among the various approaches, including iontophoresis, transdermal impedance spectroscopy, photoacoustic spectroscopy and infrared spectroscopy, Raman spectroscopy is highly anticipated due to its direct identification of glucose molecules with high specificity by spectral information, along with its selectable wavelengths for deep penetration in human skin. 在众多方法中，包括离子电渗透、经皮阻抗光谱、光声光谱和红外光谱，拉曼光谱因其通过光谱信息直接高特异性地识别葡萄糖分子，以及其可选择波长以深入穿透人体皮肤而备受期待。
Recently developed paraboloidal mirror Raman, confocal Raman and spatially offset Raman spectroscopy (SORS) have shown promising results for noninvasive blood glucose testing. 最近开发的抛物面镜拉曼、体视拉曼和空间偏移拉曼光谱（SORS）在非侵入性血糖测试中显示出令人期待的结果。
However, these Raman spectroscopy methods require subject-specific training to build a proper mathematical model for each user, introducing additional procedures in practical applications. 然而，这些拉曼光谱方法需要针对每个用户进行特定训练以构建适当的数学模型，这在实际应用中引入了额外的程序。
The main hindrance to higher robustness and accuracy in Raman spectroscopic measurements is the broad and strong fluorescence background signal from the skin surface. 拉曼光谱测量实现更高稳健性和准确性的主要障碍是皮肤表面广泛而强烈的荧光背景信号。
Therefore, a Raman spectroscopy method to reduce the interference of the skin surface signal when capturing deeper glucose signals is imperative for clinically applicable noninvasive blood glucose monitoring. 因此，在捕获更深层葡萄糖信号时减少皮肤表面信号干扰的拉曼光谱方法，对于临床上适用的非侵入性血糖监测至关重要。
In this work, we present multiple μ-spatially offset Raman spectroscopy (mμSORS), a technique capable of directly measuring Raman signals from both epidermal and dermal layers of human skin, and thus, potentially feasible for clinical noninvasive blood glucose monitoring. 在这项工作中，我们提出了多重微空间偏移拉曼光谱（mμSORS），这是一种能够直接测量人体皮肤表皮和真皮层拉曼信号的技术，因此可能适用于临床非侵入性血糖监测。
Utilizing an optical probe with fibre layout at five different offsets, mμSORS realized depth-selective detection of Raman signals, with larger offsets capturing a higher proportion of signals from greater depths. 通过使用具有五种不同偏移的光纤布局的光学探头，mμSORS实现了拉曼信号的深度选择性检测，较大的偏移捕获了来自更深处更高比例的信号。
We first conducted a preliminary basic experimental study with humans (BESH) involving 35 participants that demonstrated that in contrast to the Raman signal from the skin surface, the mμSORS signal from deeper layers, especially around or below the dermal–epidermal junction (DEJ), exhibits a statistically notable correlation of Raman glucose peaks to venous plasma glucose (VPG) levels. 我们首先进行了一项涉及35名参与者的人体初步基础实验研究（BESH），结果表明，与皮肤表面的拉曼信号相比，来自更深层（特别是真皮-表皮交界处（DEJ）附近或下方）的mμSORS信号显示出拉曼葡萄糖峰值与静脉血浆葡萄糖（VPG）水平在统计上显著的相关性。
Based on this optimal detection depth, we then expanded the BESHs, monitoring the VPG of additional 230 participants while collecting Raman spectra from the optimal offsets using mμSORS. 基于这一最佳检测深度，我们随后扩展了BESH，监测了另外230名参与者的VPG，同时使用mμSORS从最佳偏移处收集拉曼光谱。
A partial least squares (PLS) regression model was applied to predict the blood glucose level from the Raman spectra. 使用偏最小二乘（PLS）回归模型从拉曼光谱预测血糖水平。
Using independent training and test dataset consisting of data from different individuals (individual-independent), the model reached a mean absolute relative difference (MARD) of 14.6%, with 99.4% of the predictions in clinically acceptable zones of the consensus error grid (CEG; A + B). 使用由不同个体数据组成的独立训练和测试数据集（个体无关），该模型达到了14.6%的平均绝对相对差异（MARD），99.4%的预测位于共识误差网格（CEG；A + B）的临床可接受区域。
This result indicates that mμSORS achieves a high accuracy in blood glucose measurement without personalized calibration and data acquisition, marking a valid demonstration of a clinically applicable technology for noninvasive blood glucose monitoring. 这一结果表明，mμSORS在无需个性化校准和数据采集的情况下实现了高精度的血糖测量，标志着临床上适用的非侵入性血糖监测技术的有效演示。

结果

mµSORS detects depth-selective Raman signals in skin layers

mµSORS 在皮肤层中检测深度选择性拉曼信号

We tailored mμSORS for depth-selective detection of Raman signals from human skins. 我们调整了 mμSORS 以实现从人体皮肤中深度选择性地检测拉曼信号。
SORS is an advanced spectroscopic technology, known for its ability to detect Raman signals beneath surfaces, and is widely applied in applications such as cargo content inspection, archaeology, cancer screening and pharmaceutical analysis. SORS 是一种先进的光谱技术，以其检测表面下拉曼信号的能力而闻名，广泛应用于货物内容检查、考古学、癌症筛查和药物分析等领域。
Here, we reformed this technology at the scale of tens to hundreds of micrometres, aiming to obtain Raman signals from various depths of the skin to realize noninvasive blood glucose monitoring. 在这里，我们在数十至数百微米的尺度上改进了这项技术，旨在从皮肤不同深度获取拉曼信号，以实现非侵入性血糖监测。
An optical probe focused a 785-nm laser on the sample (human thenar in this work) and then collected the backscattered photons, directing them to a concentrically organized fibre bundle. 一个光学探头将 785 纳米激光聚焦在样本上（本研究中使用人体大鱼际），然后收集背散射光子，将其引导至同心组织的纤维束。
The concentrical layers of fibres were designed to capture photons emitted at specific lateral offsets, which were 0 μm (offset 0), 50 μm (offset 1), 100 μm (offset 2), 150 μm (offset 3) and 200 μm (offset 4) from the incident beam centre, respectively. 同心纤维层被设计为捕获在特定横向偏移处发射的光子，分别为距入射光束中心的 0 微米（偏移 0）、50 微米（偏移 1）、100 微米（偏移 2）、150 微米（偏移 3）和 200 微米（偏移 4）。
The signal intensity is notably lower for larger offsets. 信号强度在较大偏移处显著较低。
Nevertheless, the concentric layout led to more fibres at greater offsets, compensating for the decrease in signal intensity. 尽管如此，同心布局使得较大偏移处有更多纤维，从而补偿了信号强度的下降。
We used a series of bilayer samples to assess the depth-selective detection capability of mμSORS. 我们使用一系列双层样本评估了 mμSORS 的深度选择性检测能力。
Each offset exhibited a maximum intensity of the bottom layer at a different detection depth, indicating that Raman photons backscattered from larger offsets had a higher probability to have originated from greater depths. 每个偏移在不同检测深度处显示底层最大强度，表明从较大偏移处背散射的拉曼光子更可能来自更深处。
Therefore, mμSORS technology proves capable of selectively collecting Raman signals at various depths on a sub-millimetre scale. 因此，mμSORS 技术证明能够在亚毫米尺度上选择性地收集不同深度的拉曼信号。
For the purpose of noninvasive glucose detection, the key is to acquire Raman signals dominated from the dermis, which is rich in interstitial fluid (ISF) and capillary loops and could provide direct evidence of blood glucose levels. 为了非侵入性葡萄糖检测，关键是获取主要来自真皮的拉曼信号，真皮富含间质液（ISF）和毛细血管环，可以提供血糖水平的直接证据。
The dermis lies under the DEJ, the depth of which can be identified from the optical coherence tomography (OCT) image. 真皮位于真皮-表皮交界处（DEJ）下方，其深度可以通过光学相干断层扫描（OCT）图像识别。
We first observed the biological variation in the histogram of DEJ depths from 232 samples (thenar from both hands of 116 individuals), which ranged from 250 to 700 μm, with the most common depth around 350 μm. 我们首先观察了来自 232 个样本（116 个个体双手的大鱼际）的 DEJ 深度直方图中的生物变异，范围从 250 微米到 700 微米，最常见深度约为 350 微米。
We then selected four typical individuals with different DEJ depths (labelled I–IV, in the order of increasing DEJ depth) and measured their mμSORS spectra (offsets 0–4). 然后，我们选择了四个具有不同 DEJ 深度的典型个体（标记为 I-IV，按 DEJ 深度递增顺序排列），并测量了他们的 mμSORS 光谱（偏移 0-4）。
Compared with the reference Raman spectra taken from ex vivo human epidermis and dermis samples (dashed lines in Fig. 1e), the shape of spectra from offsets 0–4 exhibited a clear transition from epidermis-like to dermis-like for all four individuals, with corresponding shifts in the relative intensities of the Raman peaks assigned to collagen and nucleic acid. 与从离体人体表皮和真皮样本获得的参考拉曼光谱（图 1e 中的虚线）相比，偏移 0-4 的光谱形状在所有四个个体中表现出从表皮样到真皮样的明显过渡，伴随胶原蛋白和核酸拉曼峰相对强度的相应变化。
It is assumed that the distinct spectral features within the 1,200–1,400 cm⁻¹ range, particularly evident in the relative intensities of the collagen Raman peak (1,240 cm⁻¹) and the nucleic acid Raman peak (1,320 cm⁻¹), mainly result from the compositional difference. 假设在 1,200-1,400 cm⁻¹ 范围内的独特光谱特征，特别是胶原蛋白拉曼峰（1,240 cm⁻¹）和核酸拉曼峰（1,320 cm⁻¹）的相对强度，主要源于成分差异。
This difference is shown in the skin tissue cross-section, where the epidermis consists of densely packed cells, whereas the dermis is rich in collagen. 这种差异在皮肤组织横截面中显示出来，其中表皮由密集排列的细胞组成，而真皮富含胶原蛋白。
Combining the spectral transition and the DEJ depths derived from OCT, we can roughly characterize the detection depth of mμSORS in human thenar skin. 结合光谱过渡和 OCT 得出的 DEJ 深度，我们可以大致表征 mμSORS 在人体大鱼际皮肤中的检测深度。
The transition of mμSORS spectra from epidermis-like to dermis-like occurred at smaller offsets for samples with shallower DEJ depths and vice versa. 对于 DEJ 深度较浅的样本，mμSORS 光谱从表皮样到真皮样的过渡发生在较小的偏移处，反之亦然。
Based on this trend we can use the DEJ depth determined by OCT as a ‘ruler’ to gauge the depth measured by a given offset of mμSORS. 根据这一趋势，我们可以使用 OCT 确定的 DEJ 深度作为“标尺”，来衡量 mμSORS 特定偏移测量的深度。
We thus roughly estimated the detection depths of five mμSORS offsets: 0–270 μm for offset 0, 270–370 μm for offset 1, 370–430 μm for offset 2, 430–620 μm for offset 3 and >620 μm for offset 4. 因此，我们大致估计了五个 mμSORS 偏移的检测深度：偏移 0 为 0-270 微米，偏移 1 为 270-370 微米，偏移 2 为 370-430 微米，偏移 3 为 430-620 微米，偏移 4 为 >620 微米。
In addition, mμSORS spectra at offsets 3 and 4 displayed dermis-like shapes or at least a mixture of epidermis-like and dermis-like features in all samples. 此外，在所有样本中，偏移 3 和 4 的 mμSORS 光谱显示出真皮样形状，或至少是表皮样和真皮样特征的混合。
Even offset 2 showed mixed features in Sample III, where the DEJ is deeper than 72% of all the 232 samples. 甚至在样本 III 中，偏移 2 也显示出混合特征，该样本的 DEJ 深度超过所有 232 个样本的 72%。
These results indicate that mμSORS also has a capability for depth-selective detection in human skin, and it could effectively capture signals from the dermis for most individuals using offsets 2–4. 这些结果表明，mμSORS 在人体皮肤中也具有深度选择性检测能力，并且对于大多数个体，使用偏移 2-4 可以有效地捕获真皮信号。

Dermal Raman spectra demonstrate high correlation with VPG

真皮拉曼光谱与 VPG 表现出高相关性

Having verified that mµSORS can selectively detect signals from various depths, including those deeper than the DEJ in human thenar skin, we proceeded to evaluate its capability for measuring glucose in the skin and predicting the blood glucose at a clinical setting. 在验证了 mµSORS 可以选择性地检测人体大鱼际皮肤中不同深度（包括 DEJ 以下）的信号后，我们继续评估其在皮肤中测量葡萄糖并在临床环境中预测血糖的能力。
We conducted a preliminary BESH with 35 participants, in which we measured both mµSORS spectra from their right-hand thenar and their VPG concentrations during a 5-h oral glucose tolerance test (OGTT). 我们对 35 名参与者进行了一项初步 BESH，在 5 小时的口服葡萄糖耐量测试（OGTT）期间，测量了他们右手大鱼际的 mµSORS 光谱及其静脉血浆葡萄糖（VPG）浓度。
Their VPG levels ranged from 2.9 to 31.8 mmol l⁻¹, covering the physiological to pathological blood glucose region. 他们的 VPG 水平范围从 2.9 到 31.8 mmol l⁻¹，涵盖了从生理到病理的血糖区域。
Individuals were free to take their hands off the setup or walk around in the sampling intervals. 在采样间隔期间，个体可以自由将手从设备上移开或走动。
A total of 415 mµSORS spectra sets (offsets 0–4) were acquired, each corresponding to VPG levels measured at the same time points, yielding 415 VPG–spectra data pairs. 总共采集了 415 组 mµSORS 光谱（偏移 0-4），每组对应于同时点测量的 VPG 水平，产生了 415 个 VPG-光谱数据对。
Consistent with before, the average spectra from the preliminary BESH exhibited a transition from epidermis-like to dermis-like with increasing offsets. 与之前一致，初步 BESH 的平均光谱随着偏移增加，从表皮样过渡到真皮样。
Moreover, offsets 2–4 displayed highly similar spectral shapes and dermis-like spectral features between 1,150 and 1,400 cm⁻¹, indicating that all these three offsets are capable of detecting dermal signals. 此外，偏移 2-4 在 1,150 到 1,400 cm⁻¹ 之间显示出高度相似的光谱形状和真皮样光谱特征，表明这三个偏移都能够检测真皮信号。
To analyse Raman spectra across different glucose levels at different offsets, we categorized all the 415 VPG–spectra data pairs into ten groups based on the VPG level (equal binning). 为了分析不同偏移处不同葡萄糖水平的拉曼光谱，我们根据 VPG 水平将所有 415 个 VPG-光谱数据对分为十组（等间隔分组）。
To account for variations in absolute spectrum intensity across groups, we normalized the glucose Raman band using the phenylalanine Raman band at 1,001 cm⁻¹, because phenylalanine is abundant in solid skin tissue compartments such as lipids, proteins and collagen. 为了解释各组间绝对光谱强度的变化，我们使用 1,001 cm⁻¹ 处的苯丙氨酸拉曼带对葡萄糖拉曼带进行归一化，因为苯丙氨酸在固态皮肤组织成分（如脂质、蛋白质和胶原蛋白）中含量丰富。
With a larger offset that can detect dermal signals, such as offset 3, the normalized glucose Raman peak increased notably with VPG across the ten groups, exhibiting a trend not seen at offset 0. 对于能够检测真皮信号的较大偏移（如偏移 3），归一化的葡萄糖拉曼峰随着十组 VPG 的增加而显著增加，表现出偏移 0 未见的趋势。
Linear correlation analysis revealed a high correlation (with a Pearson correlation coefficient (CORR) of 0.94–0.97) between VPG and the normalized glucose Raman band at offsets 2–4, much higher than the correlation at offset 0 (CORR = 0.63) and offset 1 (CORR = 0.85). 线性相关分析显示，偏移 2-4 处 VPG 与归一化葡萄糖拉曼带之间具有高相关性（皮尔逊相关系数（CORR）为 0.94-0.97），远高于偏移 0（CORR = 0.63）和偏移 1（CORR = 0.85）的相关性。
The normalized glucose Raman band at offsets 2–4 also demonstrated notably greater sensitivity to VPG, as indicated by the steeper slopes in the linear fit, suggesting that Raman spectra from dermal skin layers offer more relevant information about blood glucose levels. 偏移 2-4 处归一化的葡萄糖拉曼带还显示出对 VPG 的更高灵敏度，如线性拟合中更陡的斜率所示，表明真皮层中的拉曼光谱提供了更多与血糖水平相关的信息。
Both correlation and sensitivity to VPG are very similar for offsets 2–4, consistent with the highly similar shapes of average spectra observed at these three offsets. 偏移 2-4 对 VPG 的相关性和灵敏度非常相似，与这三个偏移处观察到的平均光谱高度相似的形状一致。
To further determine the optimal offsets for individual-independent blood glucose monitoring, we built a PLS regression model to fit the VPG–spectra pairs from each offset individually, taking advantage of Raman features across the full spectral range. 为了进一步确定个体无关血糖监测的最佳偏移，我们构建了一个偏最小二乘（PLS）回归模型，分别拟合每个偏移的 VPG-光谱对，充分利用整个光谱范围内的拉曼特征。
A leave-one-subject-out cross-validation scheme was applied. 应用了留一法交叉验证方案。
The results indicated that offset 3 yielded the highest accuracy, closely followed by offset 4 and offset 2. 结果表明，偏移 3 提供了最高准确性，紧随其后的是偏移 4 和偏移 2。
Notably, these offsets encompass the DEJ depths in the majority of individuals, supporting our hypothesis that signals from below the DEJ are more suitable for noninvasive blood glucose monitoring. 值得注意的是，这些偏移涵盖了大多数个体的 DEJ 深度，支持了我们的假设，即 DEJ 以下的信号更适合非侵入性血糖监测。
In addition, our data analysis algorithm provided direct evidence of leveraging glucose-specific Raman spectral information. 此外，我们的数据分析算法提供了利用葡萄糖特异性拉曼光谱信息的直接证据。
The PLS regression coefficients trained on spectra from offset 3 aligned well with the characteristic Raman bands of glucose solution, a distinctive feature absent at offset 0. 在偏移 3 的光谱上训练的 PLS 回归系数与葡萄糖溶液的特征拉曼带高度一致，这是偏移 0 所缺乏的独特特征。
This alignment suggests that while analysing Raman signals from offset 3, we can leverage more directly relevant spectroscopic information of glucose molecules than other biomolecules in human skin. 这种一致性表明，在分析偏移 3 的拉曼信号时，我们可以利用比人体皮肤中其他生物分子更直接相关的葡萄糖分子的光谱信息。
In contrast, at offset 0, neither glucose nor other biomolecular signals could be clearly identified. 相比之下，在偏移 0 处，葡萄糖或其他生物分子信号都无法被清楚识别。

Accurate and individual-independent glucose predictions

准确且个体无关的葡萄糖预测

With the preliminary BESH, we identified direct evidence of glucose molecules in mμSORS spectra, and determined that the optimal offsets to detect blood glucose Raman signals were offsets 2–4. 通过初步 BESH，我们在 mμSORS 光谱中识别了葡萄糖分子的直接证据，并确定检测血糖拉曼信号的最佳偏移为偏移 2-4。
However, due to the small sample size, the prediction accuracy remained low (MARD = 28.0% for offset 3) and failed to meet the clinical standards. 然而，由于样本量较小，预测准确性仍然较低（偏移 3 的 MARD = 28.0%），未能达到临床标准。
To further improve the prediction accuracy, we initiated expanded BESHs of 230 individuals with two major improvements: (1) Raman spectra were collected from thenar of both hands to augment the dataset and eliminate hand-specificity; (2) spectra from offsets 2 and 3 were combined as the input to the PLS model according to the results of the preliminary BESH, whereas offset 4 was removed from the device due to its high spatial cost (requiring more fibres than other offsets) despite its high prediction accuracy. 为了进一步提高预测准确性，我们启动了对 230 名个体的扩展 BESH，进行了两项重大改进：(1) 从双手大鱼际采集拉曼光谱以增加数据集并消除手部特异性；(2) 根据初步 BESH 的结果，将偏移 2 和 3 的光谱组合作为 PLS 模型的输入，而偏移 4 由于其高空间成本（需要比其他偏移更多的纤维）尽管预测准确性高而从设备中移除。
The 230 participants covered a wide range of age (18–80 years) and body mass indices (BMIs; 16.2–38.1 kg m⁻²). 这 230 名参与者涵盖了广泛的年龄范围（18-80 岁）和体质指数（BMI；16.2-38.1 kg m⁻²）。
A relatively balanced representation of sex (91 female and 139 male) and varied skin colours were also achieved. 性别分布相对平衡（91 名女性和 139 名男性），肤色也各异。
VPG levels of individuals ranged between 2.94 to 31.64, effectively covering the entire extent of physiological to pathological blood glucose levels. 个体的 VPG 水平范围在 2.94 到 31.64 之间，有效覆盖了从生理到病理的整个血糖水平范围。
At each sampling point of the OGTT, we measured VPG and two mμSORS spectra from the two hands of the participant, yielding a total of 5,308 VPG–spectra data pairs, ~13 times larger than the dataset in the preliminary BESH. 在 OGTT 的每个采样点，我们测量了参与者的 VPG 和双手的两个 mμSORS 光谱，总共产生了 5,308 个 VPG-光谱数据对，约为初步 BESH 数据集的 13 倍。
Each of these spectra was averaged over 60 frames (8 s per frame), providing a database with 318,480 single spectra in total. 这些光谱每组平均 60 帧（每帧 8 秒），总共提供了包含 318,480 个单一光谱的数据库。
Spectra from offsets 2–3 and both hands were simultaneously used for model training and testing, generating separate predicted glucose concentrations for the left and right hands. 偏移 2-3 和双手的光谱同时用于模型训练和测试，分别生成左手和右手的预测葡萄糖浓度。
Practically, this hand-independent approach allows users to freely choose either hand for blood glucose monitoring, thereby adding flexibility in the clinical use. 实际上，这种手部无关的方法允许用户自由选择任一只手进行血糖监测，从而增加了临床使用的灵活性。
We employed a subject-wise ten-fold cross-validation scheme to evaluate the prediction accuracy of mμSORS for individual-independent blood glucose monitoring. 我们采用了基于个体的十折交叉验证方案，以评估 mμSORS 在个体无关血糖监测中的预测准确性。
Similar to the leave-one-subject-out scheme used in the preliminary BESH, this approach simulated a scenario where a user’s blood glucose levels can be directly measured and monitored without the need for personalized pre-calibration, validating the applicability of mμSORS in real-life clinical settings and distinguishing it from various other works in the field. 与初步 BESH 中使用的留一法方案类似，这种方法模拟了一种场景，即无需个性化预校准即可直接测量和监测用户的血糖水平，验证了 mμSORS 在现实临床环境中的适用性，并将其与其他领域的工作区分开来。
Consequently, a total of 5,308 predicted glucose concentration values were generated, with each VPG value corresponding to two predicted concentration values, one from the left hand and the other from the right hand. 因此，总共生成了 5,308 个预测葡萄糖浓度值，每个 VPG 值对应两个预测浓度值，一个来自左手，另一个来自右手。
Overall, 99.4% of these points fell within the clinically acceptable range (CEG A + B), achieving a MARD value of 14.3%. 总体而言，99.4% 的点落在临床可接受范围（CEG A + B）内，实现了 14.3% 的 MARD 值。
No significant difference in accuracy between female and male participants (13.43 ± 5.79% versus 14.98 ± 6.23%; P = 0.06, two-sample t-test) or between left and right hand (14.62 ± 6.65% versus 14.12 ± 7.16%; P = 0.247, paired sample t-test) was observed. 女性和男性参与者的准确性无显著差异（13.43 ± 5.79% 对 14.98 ± 6.23%；P = 0.06，双样本 t 检验），左手和右手的准确性也无显著差异（14.62 ± 6.65% 对 14.12 ± 7.16%；P = 0.247，配对样本 t 检验）。
For each participant, the predictions from the left-hand and right-hand spectra exhibited good consistency with each other, closely aligning with the VPG values and trends. 对于每个参与者，左手和右手光谱的预测彼此一致，与 VPG 值和趋势密切对齐。
Furthermore, the MARD value consistently remained below 20%, and the CEG A + B exceeded 99% across nearly all VPG intervals. 此外，MARD 值始终保持在 20% 以下，CEG A + B 在几乎所有 VPG 区间内超过 99%。
In summary, mµSORS provides real noninvasive blood glucose monitoring that is both accurate and flexible in clinical settings, without the need for personalized calibration. 总之，mµSORS 提供了真实、准确且灵活的非侵入性血糖监测，在临床环境中无需个性化校准。

Practical glucose monitoring on an independent test set

在独立测试集上的实用葡萄糖监测

To mimic the conditions of clinical blood glucose monitoring even more closely and further validate the clinical applicability of mμSORS, we performed model training and testing on two independent datasets. 为了更贴近临床血糖监测的条件并进一步验证 mμSORS 的临床适用性，我们在两个独立的数据集上进行了模型训练和测试。
Overall, 30 participants (25 with type 2 diabetes (T2D) and 5 without diabetes) recruited at the end of each BESH were selected as an independent test set, while the rest 200 participants comprised the training set. 总体而言，在每次 BESH 结束时招募的 30 名参与者（25 名患有 2 型糖尿病（T2D），5 名无糖尿病）被选为独立测试集，其余 200 名参与者组成训练集。
This generated 4,618 VPG–spectra data pairs in the training set and 690 in the test set, with diverse blood glucose trends and broad VPG distributions in both datasets. 这在训练集中生成了 4,618 个 VPG-光谱数据对，在测试集中生成了 690 个，两个数据集中具有多样化的血糖趋势和广泛的 VPG 分布。
A PLS model was exclusively trained on the training set, after which the resulting regression coefficients were locked, and then used to predict the blood glucose level in the test set. 一个 PLS 模型仅在训练集上进行训练，之后锁定了所得回归系数，然后用于预测测试集中的血糖水平。
A MARD value of 14.6% was achieved in the test set with 99.4% of predictions within the CEG A + B zone. 在测试集中实现了 14.6% 的 MARD 值，99.4% 的预测落在 CEG A + B 区域内。
Examining the prediction accuracy across different VPG concentrations, the CEG A + B ratio consistently reached 100% in 25 out of 28 VPG intervals (1 mmol l⁻¹ each), and the MARD value was lower than 20% in 26 out of 28 VPG intervals. 检查不同 VPG 浓度的预测准确性，在 28 个 VPG 区间（每个 1 mmol l⁻¹）中的 25 个中，CEG A + B 比率始终达到 100%，并且在 28 个 VPG 区间中的 26 个中，MARD 值低于 20%。
These results in the independent test dataset again underscored the prominent capability of mμSORS for noninvasive blood glucose monitoring. 独立测试数据集中的这些结果再次凸显了 mμSORS 在非侵入性血糖监测中的卓越能力。
For both hands, the predicted trends of blood glucose during OGTT closely matched the VPG trends, regardless of whether the individuals had diabetes. 对于双手，在 OGTT 期间预测的血糖趋势与 VPG 趋势密切匹配，无论个体是否患有糖尿病。
For participants with T2D, both VPG and predictions depicted monophasic OGTT response curves typical of T2D patients, in which the blood glucose level increases after the ingest of glucose and then decreases after reaching a peak. 对于患有 T2D 的参与者，VPG 和预测均描绘了 T2D 患者典型的单相 OGTT 反应曲线，其中血糖水平在摄入葡萄糖后增加，到达峰值后下降。
On the other hand, the flat response curves observed in participants without diabetes reflected the capability of mμSORS to generate accurate trend predictions even within the normal VPG range. 另一方面，在无糖尿病参与者中观察到的平坦反应曲线反映了 mμSORS 即使在正常 VPG 范围内也能生成准确趋势预测的能力。
When it comes to every individual, the predicted glucose concentrations still demonstrated high accuracy and good alignment with the VPG, regardless of which hand the predictions came from. 对于每个个体，预测的葡萄糖浓度仍然显示出高准确性和与 VPG 的良好对齐，无论预测来自哪只手。
This confirms the robustness of our system and offers users the flexibility to choose either hand for blood glucose measurements. 这证实了我们系统的稳健性，并为用户提供了选择任一只手进行血糖测量的灵活性。
In greater detail, participant D190 with the most accurate predictions in the test set showed a MARD value for both hands as small as 7.6%. 更详细地说，测试集中预测最准确的参与者 D190 的双手 MARD 值低至 7.6%。
Most participants showed typical prediction accuracy with MARD values between 10% and 15%. 大多数参与者显示出典型的预测准确性，MARD 值在 10% 到 15% 之间。
Even for the participant with the highest MARD in the test set (D193, MARD = 26.5%), the predictions demonstrated a clear trend of increasing blood glucose concentration, consistent with the change of VPG, as well as a close proximity between predictions given by the two hands. 即使对于测试集中 MARD 最高的参与者（D193，MARD = 26.5%），预测仍显示出血糖浓度增加的明确趋势，与 VPG 的变化一致，并且双手给出的预测值非常接近。
In summary, with the more rigorous validation provided by the independent test set, mμSORS once again proved itself of high accuracy and solid practical viability in clinical blood glucose monitoring. 总之，通过独立测试集提供的更严格验证，mμSORS 再次证明了其在临床血糖监测中的高准确性和坚实的实用可行性。

阅读笔记 on 扎塔-Zata

《大语言模型》读书笔记（赵鑫）

第 1 章 引言

1.1 语言模型的发展历程

1.2 大语言模型的能力特点

1.3 大语言模型关键技术概览

1.4 大语言模型对科技发展的影响

总结

第 2 章 基础介绍

2.1 大语言模型概述

2.2 大语言模型的构建过程

2.3 扩展法则（Scaling Law）

2.4. 涌现能力（Emergent Abilities）

2.5. GPT系列模型的技术演变

2.6. 总结与展望

第 3 章 大语言模型资源

3.1 公开可用的模型检查点或API

3.2 常用的预训练数据集

3.3 常用微调数据集

3.4 代码库资源

总结

第 4 章 预训练

4.1 数据来源

4.2 数据预处理

4.3 词元化（分词）

4.4 数据调度

第 5 章 模型架构

5.1 Transformer模型

5.2 详细配置

5.3 主流架构

5.4 长上下文模型

5.5 新型模型架构

关键点与趋势

第 6 章 模型预训练

6.1 预训练任务

6.2 优化参数设置

6.3 可扩展的训练技术

6.4 模型参数量计算与效率分析

6.5 预训练代码实践

总结要点

第 7 章 指令微调

1. 指令微调概述

2. 指令数据的构建（7.1节）

3. 训练策略（7.2节）

4. 参数高效微调（7.3节）

5. 代码实践与分析（7.4节）

总结

第 8 章 人类对齐

概述

8.1 人类对齐的背景与标准

8.2 基于人类反馈的强化学习（RLHF）

8.3 非强化学习的对齐方法

8.4 SFT与RLHF的比较

总结

第 9 章 解码与部署

9.1 解码策略

9.1.1 背景

9.1.2 贪心搜索改进

9.1.3 随机采样改进

9.1.4 实际设置

9.2 解码加速算法

9.2.1 解码效率分析

9.2.2 系统级优化

9.2.3 解码策略优化

9.2.4 代码实践

9.3 低资源部署策略

9.3.1 量化基础

9.3.2 训练后量化

9.3.3 经验分析

9.4 其他压缩方法

总结

第 10 章 提示学习

10.1 基础提示

10.1.1 人工提示设计

10.1.2 自动提示优化

10.2 上下文学习 (In-context Learning, ICL)

10.2.1 形式化定义

10.2.2 示例设计

10.2.3 底层机制

10.3 思维链提示 (Chain-of-Thought, CoT)

第 1 章引言

第 2 章基础介绍

第 3 章大语言模型资源

第 4 章预训练

第 5 章模型架构

第 6 章模型预训练

第 7 章指令微调

第 8 章人类对齐

第 9 章解码与部署

第 10 章提示学习

第 11 章规划与智能体