基础与方法 on 扎塔-Zata

JAX

Fri, 14 Nov 2025 22:35:11 +0800

JAX 详细介绍

JAX 是一个由 Google 开发的开源 Python 库，主要用于高性能数值计算和大规模机器学习研究。它以 NumPy 为基础，提供了一个熟悉的数组计算 API，同时引入了先进的程序转换机制，如自动微分（autodiff）和即时编译（JIT），使其特别适合加速器环境（如 GPU 和 TPU）。JAX 的设计理念是“可组合的函数转换”，允许开发者轻松地将计算优化为高效的机器码，从而在保持代码简洁性的前提下实现高性能。

历史背景

JAX 的开发源于 Google Brain 团队对高性能计算的需求。最初于 2018 年左右作为内部工具启动，旨在解决 TensorFlow 在研究阶段的灵活性问题。2020 年，JAX 正式开源，并迅速在机器学习社区流行开来。它受到了 NumPy、Autograd 和 XLA（Accelerated Linear Algebra，Google 的编译器后端）的启发。JAX 的目标是桥接研究原型与生产部署的差距，让研究者能用纯 Python 代码快速迭代，而无需切换到低级优化。截至 2025 年，JAX 已演变为一个成熟生态，集成到 Flax（神经网络库）和 Optax（优化器）等工具中，并被广泛用于天体物理、量子计算和强化学习等领域。

核心特性

JAX 的强大之处在于其“函数转换”系统，这些转换可以无缝应用于 NumPy-like 的代码，而无需修改核心逻辑。以下是其主要特性：

特性	描述	示例应用
NumPy-like API	提供 `jax.numpy`（简称 `jnp`）模块，几乎兼容 NumPy 的所有数组操作，便于从 NumPy 迁移。	数组创建、线性代数、统计计算。
自动微分 (autodiff)	支持前向/反向模式自动求导，适用于复杂梯度计算。	机器学习中的梯度下降优化。
JIT 编译	使用 XLA 后端将 Python 函数编译为高效机器码，支持懒惰求值。	加速循环密集型计算，如模拟。
向量化 (vmap)	自动将函数向量化，支持批量处理。	处理多维数据，如图像批次。
并行映射 (pmap)	在多设备（如多个 GPU）上并行执行函数。	分布式训练。
多后端支持	无缝运行于 CPU、GPU（CUDA/ROCm）和 TPU，无需代码修改。	异构计算环境。
纯函数式设计	数组不可变（immutable），避免副作用，确保可预测性。	调试和重现性强。

这些特性使 JAX 在性能上远超纯 NumPy，尤其在加速器上。

与 NumPy 和 TensorFlow 的比较

JAX 常被视为 NumPy 的“升级版”和 TensorFlow 的“研究友好”替代品。以下是关键区别：

与 NumPy 的比较：

相似点：JAX 的 API 高度兼容 NumPy（如 jnp.array()、jnp.dot()），迁移成本低。

区别：

方面	NumPy	JAX
数组可变性	支持原地修改（in-place）。	不可变，必须返回新数组（函数式风格）。
性能	CPU 上高度优化，但无加速器支持。	CPU 上可能稍慢（因抽象层），但 GPU/TPU 上更快（JIT 优化）。
高级功能	无自动微分或编译。	支持 autodiff、JIT 等转换。

适用场景：NumPy 适合简单脚本；JAX 适合需要梯度或高性能的场景。

与 TensorFlow 的比较：

相似点：两者都支持自动微分和图优化，TensorFlow 的 Keras 可与 JAX 集成。

区别：

方面	TensorFlow	JAX
抽象层	高层 API（如 Keras）+ 图模式/急切执行。	低层、纯函数式，专注于核心计算。
灵活性	研究时需切换模式，部署复杂。	统一风格，易于原型到生产。
性能	内置优化，但自定义扩展难。	通过转换实现极致优化，支持自定义后端。
学习曲线	更完整框架，适合生产。	更轻量，适合研究（如结合 Flax）。

适用场景：TensorFlow 适合端到端应用；JAX 更适合实验性 ML 研究，常与 PyTorch-like 库（如 Flax）结合。

总体上，JAX 强调“编写一次，到处运行”，而 NumPy/TensorFlow 更侧重通用性或生产部署。

安装指南

JAX 的安装简单，通过 pip 完成。基本命令：

pip install --upgrade jax jaxlib

CPU 版：上述命令即可。
GPU 版（CUDA）：pip install --upgrade "jax[cuda12_pip]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html（替换 cuda12 为你的 CUDA 版本，如 11 或 12）。
TPU 版：需 Google Cloud 环境，参考官方文档。安装后，验证：import jax; print(jax.devices())（显示可用设备）。

基本使用示例

以下是简单示例，展示核心功能。假设已安装 JAX。

基本数组操作（NumPy 风格）：

import jax.numpy as jnp

x = jnp.array([1.0, 2.0, 3.0])
y = jnp.sin(x) + jnp.dot(x, x)
print(y) # 输出: [1.84147098 3.90929337 9.83602988]

自动微分：

from jax import grad

def f(x):
 return jnp.sin(x) ** 2

df_dx = grad(f)(1.0) # 计算 f 在 x=1.0 处的导数
print(df_dx) # 输出: 0.6823278（约值）

JIT 编译（加速）：

from jax import jit

@jit
def fast_f(x):
 return jnp.dot(x, x) + jnp.sin(x)

x = jnp.arange(1000000.0)
result = fast_f(x) # 首次运行编译，后续高速

向量化（处理批量）：

from jax import vmap

def single_loss(params, x, y):
 return jnp.sum((jnp.dot(x, params) - y) ** 2)

batched_loss = vmap(single_loss, in_axes=(None, 0, 0)) # 向量化第二个和第三个参数
# 可用于批量数据训练

这些示例展示了 JAX 的简洁性。

生态系统与应用

JAX 的生态丰富，包括：

Flax/Equinox：构建神经网络。
Optax：优化器集合。
Haiku：TensorFlow-like 模块化。应用领域：深度学习、天体模拟（jaxoplanet）、量子计算（QuTiP 集成）和生成模型。截至 2025 年，JAX 在学术会议（如 NeurIPS）中频繁出现，并被 Meta 和 OpenAI 等公司采用。

总结

JAX 是现代 ML 研究者的利器，它结合了 NumPy 的易用性和 TensorFlow 的高性能，同时提供无与伦比的灵活性。如果你从事数值计算或 AI 原型开发，强烈推荐从官方文档（https://jax.readthedocs.io）入手。JAX 的未来在于进一步优化多模态 AI 和分布式系统，值得持续关注。

mechine_learning_models

Thu, 06 Nov 2025 21:52:05 +0800

random_forest

好的，这是一个非常经典且强大的机器学习算法。我会为您提供一个关于“随机森林”（Random Forest）的详细介绍。

🌳 什么是随机森林 (Random Forest)？

简单来说，随机森林是一种集成学习（Ensemble Learning）算法。

想象一下，当您要做出一个重要决定时，您可能会去询问很多不同领域的朋友或专家，然后综合他们的意见，最终得出一个更明智、更可靠的结论。

随机森林做的就是同样的事情。它不会只依赖一个“决策树”（Decision Tree）模型，而是构建一个由大量决策树组成的“森林”，然后通过集体投票（用于分类）或取平均值（用于回归）的方式来得出最终的预测结果。

它既可以用于分类问题（比如，判断一封邮件是否为垃圾邮件），也可以用于回归问题（比如，预测明天的房价）。

随机森林的“魔法”在于它的名字——“随机”。它通过引入两种随机性来确保森林中的每一棵树都不相同，从而提高模型的整体鲁棒性和准确性。

核心思想：“森林”的构建

随机森林的基础单元是决策树 (Decision Tree)。一棵决策树就像一个流程图，通过一系列“是/否”的问题（例如：“年龄>30岁吗？”、“收入>5万吗？”）来对数据进行划分，最终得出一个结论。

但是，单棵决策树很容易“过拟合”（Overfitting），即它在训练数据上表现完美，但在新的、未见过的数据上表现很差。它“死记硬背”了训练数据，而不是学习到了通用的规律。

“随机”的体现：防止过拟合的秘诀

随机森林通过两种随机化策略来解决单棵树过拟合的问题：

随机性一：数据的随机（Bagging）

Bagging (Bootstrap Aggregating) 的意思是“自助聚合抽样”。
假设我们有1000个训练样本。随机森林在训练第1棵树时，它不会使用全部1000个样本，而是从这1000个样本中随机有放回地抽取1000个样本（这意味着某些样本可能被抽中多次，某些样本可能一次也没被抽中）。
它会训练很多棵树（比如100棵），每棵树都使用这样一份“略有不同”的随机样本集来训练。
效果： 确保了每棵树都是在不同的数据子集上训练的，增加了树之间的差异性。

随机性二：特征的随机（Random Feature Subspace）

这是随机森林相比其他Bagging算法（如单独的Bagging Decision Trees）更进一步的地方。
在训练每棵树的每一个节点时，当算法需要决定“用哪个特征来划分数据”时（例如，是看“年龄”还是看“收入”？），它不会在所有特征中去寻找最优解。
相反，它会随机抽取一小部分特征（例如，总共有50个特征，它随机选出5个），然后只在这5个特征中寻找“最优”的划分点。
效果： 这种做法进一步降低了树之间的相关性。如果某个特征特别强（比如在某个数据集中，“年龄”总是最重要的），那么在不使用特征随机的情况下，森林中的很多树都会在顶部使用“年龄”来划分，导致树长得很像。而特征随机性迫使模型去探索其他“没那么强”但同样有用的特征组合。

最终决策：森林的智慧

当新的数据需要被预测时，森林中的所有树都会对这个数据进行一次预测：

分类问题： 采用“投票”制。例如，100棵树中，有80棵树认为这封邮件是“垃圾邮件”，20棵树认为是“正常邮件”，那么随机森林的最终结论就是“垃圾邮件”。
回归问题： 采用“取平均值”。例如，预测房价，100棵树的预测值分别是 100万、101万、99万…… 随机森林的最终结论就是这些预测值的平均数。

👍 优点

高准确性： 通常情况下，随机森林的表现非常好，是业内最常用的“开箱即用”算法之一，因为它在多种数据集上都有很强的预测能力。
强大的抗过拟合能力： 两种“随机性”的引入，使得它很难发生过拟合。
处理高维数据： 它能处理具有非常多特征（高维度）的数据集，而且通常不需要做特征选择。
特征重要性评估： 随机森林可以评估并输出“哪个特征对预测结果最重要”，这对于业务理解和数据洞察非常有帮助。
鲁棒性强： 它对数据中的缺失值和异常值不敏感，数据预处理的压力较小。
易于并行化： 森林中的每棵树都是独立训练的，因此可以很容易地分配到不同的CPU核心或机器上并行计算，训练速度快。

👎 缺点

黑盒模型： 相比于单棵决策树（可以清晰地画出决策流程图），随机森林（由上百棵树组成）的决策过程非常难以解释。你很难知道它 为什么 会做出某个具体的预测。
计算和内存开销： 当树的数量非常多（例如上千棵）时，训练和预测所需的时间和内存开销会比较大。
对某些类型数据不擅长： 对于某些极度不平衡的数据（例如，99%是A类，1%是B类），它可能表现不佳，需要特殊处理。

总而言之，随机森林是一种非常强大和灵活的机器学习工具，它通过“三个臭皮匠，顶个诸葛亮”的集成思想，极大地提高了模型的稳定性和准确性。

什么是算子？

Sun, 30 Mar 2025 20:31:40 +0800

字典学习（Dictionary Learning）

Thu, 20 Mar 2025 17:59:37 +0800

参考：

维基百科

博客园，似乎是讲的比较详细了

知乎

前言

在中文网络中，“字典学习”是关于这个概念最直接且最常见的翻译，但是我认为，实际上这个翻译是不合适的，我认为“稀疏编码” 才更加符合这个概念。

因为实际上人们更加关心的实际上是将原本的数据进行压缩，整个过程符合稀疏编码的概念，而字典是在整个压缩过程中所产生的产品。

第一部分：背景知识

1.1 信号处理的起源

字典学习的根源可以追溯到信号处理领域。信号处理的目标是从复杂的信号（如音频、图像、视频）中提取有意义的信息。20世纪中期，傅里叶变换（Fourier Transform）和小波变换（Wavelet Transform）成为信号分析的主流工具：

傅里叶变换：将信号分解为不同频率的正弦波和余弦波的组合。
小波变换：在傅里叶变换基础上增加了时间局部性，适合分析非平稳信号。

然而，这些方法依赖于预定义的基函数（比如正弦波、小波），对某些复杂信号的表示能力有限。比如，图像中的边缘特征或音频中的瞬态变化可能无法被这些固定基函数很好地捕捉。这就引出了一个问题：能不能从数据本身学习一组更适合的基函数？

1.2 稀疏表示的兴起

20世纪90年代，稀疏表示（Sparse Representation）开始受到关注。稀疏表示的核心思想是：许多自然信号可以用少量基向量的线性组合来表示。这种思想受到以下启发：

生物学：人类视觉系统（比如V1皮层）倾向于用稀疏的方式编码信息。例如，神经元对特定方向的边缘响应，而对其他方向不响应。
压缩感知（Compressed Sensing）：Donoho 和 Candès 等人在2000年代证明，如果信号是稀疏的，可以通过少量测量精确重构信号。

稀疏表示需要一个“字典”（Dictionary），传统方法（如傅里叶基、小波基）使用固定字典，但这些字典并非对所有信号都最优。于是，研究者开始探索从数据中自适应学习字典的可能性。

1.3 机器学习与特征提取

与此同时，机器学习领域也在快速发展。20世纪末，特征提取成为模式识别和数据分析的关键问题。传统的特征提取方法（如主成分分析 PCA）虽然有效，但有局限性：

PCA 是线性方法，假设数据服从高斯分布。
PCA 的基向量是全局的，无法捕捉局部特征。

字典学习应运而生，它结合了稀疏表示和自适应学习的优势，成为一种强大的特征提取工具。与 PCA 不同，字典学习不要求基向量正交，且可以通过过完备字典（原子数大于数据维度）捕捉更多样化的模式。

1.4 历史里程碑

1996年，Olshausen 和 Field：提出了稀疏编码的概念，首次尝试从自然图像中学习字典，模拟人类视觉系统。
2006年，K-SVD 算法：Aharon 等人提出了 K-SVD，一种高效的字典学习算法，结合了 K-Means 和奇异值分解（SVD），成为经典方法。
2000年代后期，压缩感知：字典学习与压缩感知结合，推动了其在信号恢复中的应用。
2010年代，深度学习：卷积稀疏编码和字典学习的思想被融入深度神经网络，进一步扩展了其影响力。

第二部分：理论基础

2.1 线性代数视角

\[ X \approx D A \]

如果 \( k = m \) 且 \( D \) 可逆，这类似于 PCA 或 ICA（独立成分分析）。
如果 \( k > m \)，字典是过完备的（Overcomplete），允许更灵活的表示，但增加了求解难度。

2.2 稀疏性与 L1 正则化

\[ \min_a \| x - D a \|_2^2 \]\[ \min_a \| x - D a \|_2^2 + \lambda \| a \|_1 \]

L1 范数（\( \| a \|_1 = \sum |a_i| \)）相比 L2 范数（\( \| a \|_2^2 = \sum a_i^2 \)）更倾向于产生零值解，这是稀疏性的来源。

2.3 过完备字典的优势

过完备字典（\( k > m \)）相比完备字典（\( k = m \)）有以下优势：

表达能力强：可以表示更复杂的模式。
鲁棒性：对噪声和数据缺失更具容忍度。
稀疏性：允许用更少的原子组合表示信号。

但缺点是计算复杂度增加，且优化问题变得非凸（Non-convex），需要迭代求解。

2.4 与其他方法的对比

PCA：字典正交，重构误差最小，但不稀疏。
NMF（非负矩阵分解）：字典和系数非负，适合特定数据（如图像光谱），但不一定稀疏。
小波变换：固定字典，计算效率高，但缺乏自适应性。

第三部分：更详细的数学推导

3.1 目标函数

\[ \min_{D, A} \| X - D A \|_F^2 + \lambda \sum_{i=1}^n \| a_i \|_1 \]

其中：

\( \| X - D A \|_F^2 = \sum_{i,j} (X_{ij} - (D A)_{ij})^2 \) 是 Frobenius 范数。
\( \sum_{i=1}^n \| a_i \|_1 \) 是稀疏惩罚项。

3.2 稀疏编码推导

\[ \min_{a_i} \| x_i - D a_i \|_2^2 + \lambda \| a_i \|_1 \]

这是一个凸优化问题。我们可以用近端梯度下降（Proximal Gradient Descent）：

定义损失函数 \( f(a_i) = \| x_i - D a_i \|_2^2 \) 和正则项 \( g(a_i) = \lambda \| a_i \|_1 \)。
梯度：\( \nabla f(a_i) = 2 D^T (D a_i - x_i) \)。
近端算子：对 \( g(a_i) \) 的近端映射是软阈值（Soft Thresholding）： \[ \text{prox}_{\lambda}(z) = \text{sign}(z) \max(|z| - \lambda, 0) \]
迭代更新：\( a_i^{t+1} = \text{prox}_{\lambda} (a_i^t - \eta \nabla f(a_i^t)) \)。

3.3 字典更新推导

\[ \min_D \| X - D A \|_F^2 \]\[ \frac{\partial}{\partial D} \| X - D A \|_F^2 = -2 (X - D A) A^T \]\[ D = X A^T (A A^T)^{-1} \]

但为了避免 \( D \) 的列范数过大，通常加入约束 \( \| d_j \|_2 \leq 1 \)，需要投影到约束集。

3.4 K-SVD 的细节

K-SVD 改进了字典更新步骤：

对每个原子 \( d_j \) 和对应的系数行 \( a^j \) 单独更新。
计算残差 \( E_j = X - \sum_{k \neq j} d_k a^k \)。
对 \( E_j \) 做 SVD 分解，更新 \( d_j \) 和 \( a^j \)。

第四部分：更详细的实现（K-SVD 示例）

以下是一个手写 K-SVD 的简版实现，帮助你理解其内部机制：

import numpy as np

def omp(X, D, sparsity):
 """正交匹配追踪求稀疏系数"""
 n_samples, n_features = X.shape
 k = D.shape[1]
 A = np.zeros((k, n_samples))

 for i in range(n_samples):
 x = X[i]
 residual = x.copy()
 support = []
 for _ in range(sparsity):
 scores = np.abs(D.T @ residual)
 if not support:
 idx = np.argmax(scores)
 else:
 idx = np.argmax(scores * (1 - np.array(support, dtype=int)))
 support.append(idx)
 D_s = D[:, support]
 a_s = np.linalg.pinv(D_s) @ x
 residual = x - D_s @ a_s
 A[support, i] = a_s
 return A

def k_svd(X, n_atoms, sparsity, n_iter):
 """K-SVD 算法"""
 n_features, n_samples = X.shape
 D = np.random.randn(n_features, n_atoms)
 D /= np.linalg.norm(D, axis=0) # 归一化

 for iteration in range(n_iter):
 # 稀疏编码
 A = omp(X, D, sparsity)

 # 字典更新
 for j in range(n_atoms):
 I = A[j, :] != 0
 if np.sum(I) == 0:
 continue
 E_j = X[:, I] - D @ A[:, I] + np.outer(D[:, j], A[j, I])
 U, s, Vt = np.linalg.svd(E_j, full_matrices=False)
 D[:, j] = U[:, 0]
 A[j, I] = s[0] * Vt[0]

 return D, A

# 测试
X = np.random.randn(20, 100) # 20维，100个样本
D, A = k_svd(X, n_atoms=30, sparsity=5, n_iter=10)
X_reconstructed = D @ A
error = np.mean((X - X_reconstructed) ** 2)
print(f"重构误差: {error:.4f}")

代码解释

OMP：实现正交匹配追踪，逐步选择字典原子。
K-SVD：交替进行稀疏编码和字典更新。
归一化：确保字典原子单位长度。

第五部分：更广泛的背景与展望

5.1 跨学科联系

神经科学：字典学习与大脑的稀疏编码机制有相似之处。
物理学：在量子信息和稀疏恢复中有潜在应用。
计算机视觉：用于目标检测、图像超分辨率等。

5.2 当前挑战

计算复杂度：大数据下的字典学习仍需优化。
非凸性：全局最优解难以保证。
可解释性：学到的字典如何与物理意义对应？

5.3 未来方向

与深度学习的融合（如卷积字典学习）。
在线学习和分布式计算的应用。
多模态数据的字典学习。

对比了几种大模型在相同任务下的表现

Thu, 06 Mar 2025 15:11:55 +0800

每个模型我试了多次，然后取比较好的，当然可能也和提示词有关！！！

内容梳理任务

总结文档的内容-1

Summarize the content from the following websites:

https://www.zhihu.com/hot: 知乎 - 有问题，就会有答案打开知乎App在「我的页」右上角打开扫一扫其他扫码方式：微信下载知乎App开通机构号无障碍模式 验证码登录密码登录获取短信验证码获取语音验证码登录/注册其他方式登录未注册手机验证后自动登录，注册即代表同意《知乎协议》《隐私保护指引》知乎专栏圆桌发现移动应用联系我们来知乎工作注册机构号Investor Relations© 2025 知乎京 ICP 证 110745 号京 ICP 备 13052560 号 - 1京公网安备 11010802020088 号京网文[2022]2674-081 号出版物经营许可证药品医疗器械网络信息服务备案（京）网药械信息备字（2022）第00334号广播电视节目制作经营许可证:（京）字第06591号互联网宗教 信息服务许可证：京（2022）0000078侵权举报网上有害信息举报专区儿童色情信息举报专区互联网算法推荐举报专区违法和不良信息举报：010-82716601举报邮箱：jubao@zhihu.com
https://www.aibase.com/zh/daily : AI日报 - 每天三分钟关注AI行业趋势_AIbase zh AI产品榜 每月不到10元，就可以无限制地访问最好的AIbase。立即成为会员 首 页 AI资讯 AI日报 变现指南 AI教程 AI工具导航 AI产品库zh AI产品榜 3月5号 AI 日报AI日报：抖音测试接入豆包AI；即梦接入DeepSeek支持智能提示词生成；Grok语 音模式全面开放查看日报 包含 10 个AI热点话题内容1、AI思维导图神器 MindMapper ：扔个链接就能生成交互式思维导图2、全新技术 Fast3R ：实现千张图片一键3DD 重建，速度惊人!3、强强联合！即梦接入DeepSeek 从提示词到绘画一步到位4、抖音打通豆包AI，字节跳动开启超级AI生态战略5、Grok 语音模式全面开放：11 种模式 上线，自带字幕成英语学习利器6、爱诗科技完成A5轮融资，剑指AI视频生成领域新高地7、微软开源图片模型ART，可生成多图层透明图片8、音乐创作领域投下核弹！DiffRhythm 炸裂问世：10 秒 AI 神曲，人声伴奏一键搞定！9、vivo重组调整，成立新AI部门并将大模型训练转向端侧10、雷军亮相首场代表通道：小米将把最新的AI技术 应用到各个终端上往期日报~3月4号 AI 日报AI日报：可生成汉字！智谱开源文生图模型CogView4；大模型工具Ollama存在严重漏洞；腾讯元宝下载量超DeepSeek 包含 13 个AI热点话题内容查看日报1、智谱发布首个能生成汉字的开源文生图模型CogView42、超强视频生成模型 Wan2.1 GP：低配GPU也能搞定大片！3、颠覆城市建模！AI生 成3D城市模型GaussianCity，生成速度提升 60 倍！4、火山引擎宣布大模型应用开源：上线“大模型应用实验室”，释放 AI 创新潜力5、雷军两会建议：建议加强“AI换脸拟声”违法侵权重灾区治理6、雷军2025两会建议：聚焦人工智能终端与AI换脸拟声治理7、警惕安全隐患！Ollama 大模型工具被指存在严重漏洞8、从编码到创意写作 xAI Grok-3 击败 GPT4.5全能登顶大模型竞技场3月3号 AI 日报AI日报：字节AI编程工具Trae国内版发布；天价AI域名ai.com挂牌1亿美元；星火深度推理大模型X1全面升级 包含 13 个AI热点话题内容查看日报1、科大讯飞宣布完成星火深度推理大模型X1全面升级2、百度文库、百度网盘AI创作新物种「自由画布」全量上线3、中国2025一季 度人工智能现状分析：摆脱“学生”标签，从追赶者到竞争者4、Flora推出AI驱动的“无限画布”工具，专为创意专业人士打造5、字节跳动AI编程产品Trae国内版发布 配置 豆包1.5pro、满血版DeepSeek模型6、荣耀 CEO 李健发布阿尔法计划：未来5年投100亿美元打造 AI 生态！7、超越DeepSeek-R1！阿里万相大模型登上全球开源榜首8、天价域名再现：ai.com挂牌1亿美元，或成史上最贵域名交2月28号 AI 日报AI日报：OpenAI最大最贵模型GPT-4.5发布；百度文心大模型4.5上线定档3月16日；字节AI编程工具Trae集成Claude 3.7 包含 13 个AI热点话题内容查看日报1、百度网盘与百度文库全量上线DeepSeek-R1满血版 前者将于3月改版2、免费试用！Krea推出 Wan 2.1模型：动态效果惊艳 可理解复杂提示3、转战 AI 课程直播！“嘎子哥”谢孟伟开卖DeepSeek课程4、荣耀与阿里在AI领域展开合作 千问、万相等已接入YOYO智能体5、百度文 心大模型4.5将于3月16日发布 具备原生多模态、深度思考等能力6、华为AI助手小艺网页版上线 支持问答、写作、编程等7、文生图模型Ideogram 2a 震撼发布：速度翻 倍、成本减半，英文排版媲美人类设计8、DeepSeek开源周第五天：6.6TiB/s炸场！3FS重新定义AI存储基建2月27号 AI 日报AI日报：阿里春招3000岗位AI相关占50%；DeepSeek开源DualPipe与EPLB技术；字节豆包APP推“照片动起来”功能 包含 18 个AI热点话题内容查看日报1、腾讯混元新一代快思考模型 Turbo S 发布 即将在腾讯元宝中上线2、百度文心4.5或将在3月中旬发布 提升推理及多模态能力3、Anthropic 开放 Claude AI GitHub 集成，助力开发者代码效率4、快手可灵AI 1月全球访问用户环 比增长113%5、Adobe推出Photoshop iOS版本，提供丰富免费功能与无缝跨设备体验6、B站文本转语音模型IndexTTS ：支持拼音纠正汉字发音、精准控制停顿7、阿里启动2026届春招，开放3000岗位AI相关占近50%8、字节跳动AI智能助手豆包APP推出“照片动起来”功能2月26号 AI 日报AI日报：阿里开源文生视频模型万相2.1；幻方量化回应DeepSeek-R2模型提前发布；百度“秒哒”开启用户邀测 包含 16 个AI热点话题内容查看日报1、OpenAI向免费用户推出基于GPT-4o mini的高级语音模式2、支持联网搜索！OPPO ColorOS接入满血版DeepSeek-R13、谷歌超低价AI模型Gemini 2.0 Flash-Lite正式上线 4、OpenAI免费开放ChatGPT高级语音聊天模式 基于GPT-4o mini5、萌翻全网！AI“魔法”让校园地标秒变毛绒玩偶，创意特效火爆出圈！6、报道称字节跳动旗下AI产品 “即梦” 考虑接入 DeepSeek7、AI料理 “神还原” 引爆全网 网友：8888元卖给 上海人！8、阿里全面开源文生视频模型万相2.1：14B和1.3B双版本上线2月25号 AI 日报AI日报：全球首个混合推理模型Claude 3.7 Sonnet发布；阿里开源推理模型QwQ ；DeepSeek平台API充值服务恢复 包含 12 个AI热点话题内容查看日报1、谷歌推出免费AI代码助手Gemini Code Assist ：每月提供18万次代码补全2、DeepSeek开放平 台API充值服务已正式恢复3、百度教育「拍照搜题」、「AI写作文」接入DeepSeek-R1模型4、京东零售技术发布京点点AIGC内容生成平台 一键生成商品图、营销文案5、 拼多多组建电商推荐大模型团队：负责人年薪数倍于百度时期，内部推行赛马机制6、商汤小浣熊家族全面升级：多模态融合 10秒钟即可复刻网页7、DeepSeek开源周第二日：首个面向MoE模型的开源EP通信库8、ChatGPT新增Safari扩展功能，可设置为Safari浏览器地址栏默认搜索引擎2月24号 AI 日报AI日报：DeepSeek开源大模型加速 器FlashMLA；海螺AI推I2V-01-Director模型；Pixverse V4.0支持同步音效与转绘功能 包含 13 个AI热点话题内容查看日报1、百度APP全面焕新：上线AI入口 DeepseekR1深度搜索不卡顿2、海螺AI解锁全新“导演”模式：I2V-01-Director模型向所有人开放3、1x发布家庭机器人NEO Gamma：能冲咖啡、洗衣和吸尘等4、DeepSeek 开源周首日 ：发布大模型加速利器FlashMLA 解码性能飙升至3000GB/s5、Grok 3上线实时语音功能 一共支持10种模式 6、LiblibAI哩布哩布AI宣布再获数亿元融资 一年内连续完成 四轮融资7、融资速度“开挂”！LiblibAI再获数亿投资，一年连融四轮 领跑 AI 应用赛道8、Meta AI 发布新型视频学习模型V-JEPA ：视频理解新突破2月21号 AI 日报AI日报：给力！DeepSeek下周将开源五个项目；阿里通义万相将开源视频生成模型WanX 2.1；ChatGPT周活跃用户突破4亿 包含 15 个AI热点话题内容查看日报1、网信办发布2025年“清朗”系列专项行动 整治AI技术滥用乱象2、小红书将接入DeepSeek，AI 搜索产品“点点” 内测深度思考功能3、腾讯文档接入DeepSeek 上线PPT直出、周报神 器、文献速读功能4、DeepSeek App 上线一个月下载量突破 1 亿5、扣子Coze宣布独家支持 DeepSeek Function Calling 工具调用能力6、超给力！DeepSeek 宣布下周开源五个项目7、Figure推出新型智能模型 Helix，让人形机器人接受语音命令做家务8、Midjourney 网站新增多项组织功能，提升用户体验2月20号 AI 日报AI日报：腾讯 深度思考模型“混元T1”全面开放；字节跳动全新视频生成工具Phantom；苹果智能将于4月初支持简体中文 包含 12 个AI热点话题内容查看日报1、xAI称已面向所有用户 免费提供 Grok3 直到他们服务器崩溃2、谷歌发布全新视觉语言模型 PaliGemma 2 Mix 集成多种功能助力开发者3、NVIDIA和Arc研究所联合发布全球最大生物学 AI 模型 Evo2，助力基因组研究与设计4、Mistral的AI助手Le Chat两周内下载量突破百万5、警惕！马斯克的新AI模型Grok 3被曝存在严重安全漏洞，黑客可轻松操控！6、Xboxx推新生成AI模型Muse,助力游戏开发者高效创建游戏元素7、微软团队推多模态AI模型Magma：整合视觉、语言和动作决策技能8、Rabbit展示新AI代理能力：从下载游戏 到自动管理购物清单

Task:


<URL>: <保留原本的内容，但是更有利于阅读，总结>. ...

模型效果

Qwen ☆☆☆☆☆
Grok ☆☆☆☆☆
Deepseek ☆☆
ChatGLM ☆

Qwen2.5-max ☆☆☆☆☆

Grok3 ☆☆☆☆☆

DeepSeek-V3 ☆☆

ChatGLM-plus ☆

总结文档的内容-2 （检查是否更新

模型效果

qwq-32b ☆☆☆☆☆
Grok ☆☆☆☆☆
Deepseek ☆☆
ChatGLM ☆

这里我给出一个实际上没有更新的内容，最好应该就是返回没有更新


你是一个订阅号运营专家，可以根据差异内容总结出订阅内容的更新情况，请对以下内容差异进行总结：
 "[""Changed: '53 分钟' -> '1 小时'"", ""Changed: '1' -> '2'"", ""Changed: '3' -> '4'"", ""Changed: '3' -> '4'"", ""Changed: '4' -> '5'"", ""Changed: '4' -> '5'""]"

 注意，有些内容的可能仅仅是时间或者数据的变化，这样的内容更新是不需要总结的，可以看作没有更新，返回空数组

 要求：
 1. 提供简洁的内容更新概要
 2. 提取关键点
 3. 计算内容的列表长度
 返回结果使用中文,如果内容更新或者没有关键点，请返回空数组。
 请根据以上要求，总结出订阅内容的更新情况，并返回结果。


 返回格式json（请严格按照以下格式返回）：
 {{
 "summary": {{
 "content": [],
 "key_points": [],
 "word_count": 0,
 "generated_at": ""
 }},
 }}


 """

qwq-32b ☆☆☆☆☆

非常可以，只返回了json，没有一点多余的内容

Grok3 ☆☆☆☆

也非常可以，对了，但是比起qwq-32b ，还是没有做到：只返回json

按照要求输出内容-1

from datetime import datetime
import time
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import PydanticOutputParser
import json
import re
from pydantic import BaseModel, Field
from typing import List, Optional

# 假设的 LLM 获取函数（需要根据你的实际环境调整）
from src.agent.llm import get_ali_llm

# 定义 Pydantic 模型用于输出解析
class SummaryResponse(BaseModel):
 content: List[str] = Field(default_factory=list, description="内容更新概要")
 key_points: List[str] = Field(default_factory=list, description="关键点列表")
 word_count: int = Field(default=0, description="内容字数统计")
 generated_at: str = Field(default="", description="生成时间")
 status: str = Field(default="success", description="处理状态")
 error_message: Optional[str] = Field(default=None, description="错误信息")
 raw_response: Optional[str] = Field(default=None, description="原始响应")

class SubscriptionAgent:
 def __init__(self, llm_model=None, max_retries=3, retry_delay=2):
 # 初始化 LLM，如果没有传入特定模型，使用默认配置
 self.llm = llm_model if llm_model else get_ali_llm("qwen-7b-chat")
 self.max_retries = max_retries # 最大重试次数
 self.retry_delay = retry_delay # 重试间隔时间（秒）

 # 定义 Pydantic 输出解析器
 self.parser = PydanticOutputParser(pydantic_object=SummaryResponse)

 # 定义提示模板，进一步优化以确保提取 key_points
 self.prompt_template = PromptTemplate(
 input_variables=["contentdiff"],
 partial_variables={"format_instructions": self.parser.get_format_instructions()},
 template="""
 你是一个订阅号运营专家，可以根据差异内容总结出订阅内容的更新情况。请对以下内容差异进行总结：
 {contentdiff}

 ###注意，有些内容的可能仅仅是时间或者数据的变化，这样的内容更新是不需要总结的，可以看作没有更新，返回空数组

 ###要求：
 1. 提供内容更新概要（content），用数组形式返回。
 2. 提取每个内容的关键点（key_points），每个关键点应简洁且突出重点。
 3. content和key_points的列表长度应当一致，也就是他们是一一对应关系
 4. 计算 content 字段的总字数（仅统计中文和英文字符，不包括标点和空格）。
 5. 返回结果使用中文，如果没有实质性更新或关键点，返回空数组。
 6. 严格按照以下 JSON 格式返回结果，不添加任何多余的说明文字或注释：
 {format_instructions}
 """
 )

 def extract_json(self, raw_content: str) -> str:
 """从原始响应中提取 JSON 字符串"""
 json_match = re.search(r'\{.*\}', raw_content, re.DOTALL)
 return json_match.group(0) if json_match else raw_content

 def generate_summary(self, contentdiff: str) -> SummaryResponse:
 """
 生成 summary 的主函数
 参数:
 contentdiff: 输入的内容差异文本
 返回:
 SummaryResponse: 包含摘要内容的 Pydantic 模型
 """
 retries = 0
 last_exception = None
 raw_response = None

 while retries < self.max_retries:
 try:
 # 执行 LLM 调用获取原始响应
 chain = self.prompt_template | self.llm
 raw_response = chain.invoke({"contentdiff": contentdiff})

 # 检查并提取原始内容
 raw_content = raw_response.content if hasattr(raw_response, 'content') else str(raw_response)
 json_content = self.extract_json(raw_content)

 # 尝试解析响应
 response = self.parser.parse(json_content)

 # 确保生成时间字段有值
 if not response.generated_at:
 response.generated_at = datetime.now().isoformat()

 # 计算字数（如果 LLM 未提供，则基于 content 计算）
 if response.word_count == 0 and response.content:
 response.word_count = len("".join(response.content).replace(" ", "").replace(",", "").replace(".", ""))

 # 添加原始响应到结果中
 response.raw_response = raw_content

 return response

 except Exception as e:
 last_exception = e
 retries += 1
 if retries < self.max_retries:
 time.sleep(self.retry_delay)
 continue

 # 所有重试都失败后，返回错误响应
 raw_content = raw_response.content if raw_response and hasattr(raw_response, 'content') else str(raw_response) if raw_response else "No response"
 return SummaryResponse(
 content=[],
 key_points=[],
 word_count=0,
 generated_at=datetime.now().isoformat(),
 status="error",
 error_message=f"Failed to parse SummaryResponse: {str(last_exception)}",
 raw_response=raw_content
 )

# 使用示例
def main():
 # 创建示例 contentdiff，确保包含可提取的关键点
 sample_contentdiff = """
"[""Changed: '1' -> '2 分钟前\n.\nAIbase\nFlower Labs 颠覆AI应用模式，2360万美元打造首个全开放混合计算平台\n人工智能正在以前所未有的速度融入我们的日常应用，而一家名为Flower Labs的初创公司正以革命性的方式改变AI模型的部署和运行方式。这家获得Y Combinator支持的新锐企业近日推出了Flower Intelligence，一个创新的分布式云平台，专为在移动设备、个人电脑和网络应用中提供AI模型服务而设计。Flower Intelligence的核心优势在于其独特的混合计算策略。该平台允许应用程序在本地设备上运行AI模型，既保证了速度，又增强了隐私保护。当需要更强大的计算能力时，系统会在获得用户同意的情况下，无\n7'"", ""Added: '美国埃隆大学的一项调查显示，5'"", ""Added: '%的美国成年人都曾使用过像ChatGPT、Gemini、Claude这样的AI大语言模型。这项由北卡罗来纳州埃隆大学“想象数字未来中心”在'"", ""Added: '月份开展的调查，选取了500名受访者。结果发现，在使用过AI的人群中，34%的人表示至少每天会使用一次大语言模型。其中，ChatGPT最受欢迎，72%的受访者都用过;谷歌的Gemini位居第二，使用率为50% 。图源备注：图片由AI生成，图片授权服务商Midjourney越来越多的人开始和AI聊天机器人建立起特殊的关系。调查显示，38%的用户认为大语言模\n27'"", ""Changed: '3' -> '9'"", ""Changed: '49' -> '55'"", ""Changed: '1' -> '2'"", ""Deleted: '\n2 小时前\n.\nAIbase\n叫板Sora？潞晨科技开源视频大模型Open-Sora 2.0，降本提速\n听说过壕无人性的 OpenAI Sora 吧?动辄几百万美元的训练成本，简直就是视频生成界的“劳斯莱斯”。现在，潞晨科技宣布开源视频生成模型 Open-Sora2.0!仅仅花费了区区20万美元（相当于224张 GPU 的投入），就成功训练出了一个拥有 110亿参数的商业级视频生成大模型。性能直追“OpenAI Sora ”别看 Open-Sora2.0成本不高，实力可一点都不含糊。它可是敢于叫板行业标杆 HunyuanVideo 和拥有300亿参数的 Step-Video 的狠角色。在权威评测 VBench 和用户偏好测试中，Open-Sora2.0的表现都令人刮目相看，多项关键指'""]"

 """

 # 初始化智能体
 agent = SubscriptionAgent(max_retries=3, retry_delay=2)
 summary_result = agent.generate_summary(sample_contentdiff)

 # 打印调试信息
 # print("Raw response:", summary_result.raw_response)
 # print("Error message:", summary_result.error_message)
 # print("Summary result:")
 print(json.dumps(summary_result.model_dump(), indent=2, ensure_ascii=False))

if __name__ == "__main__":
 main()





现在我只要你返回应当的json内容

qwq-max ☆☆☆☆

返回的格式不完全符合要求

qwq-32b ☆☆☆

返回的内容不完全符合要求

grok3 ☆☆☆☆☆

完全符合要求