Ting

基础信息

• 会议/期刊：Journal of Machine Learning Research 26 (2025), 1-74
• 关键词：policy gradient, score-aware gradient estimator, average reward RL, exponential family, Lyapunov stability, queueing systems

核心贡献：本文提出 Score-Aware Gradient Estimators (SAGEs)，在 MDP stationary distribution 属于由 policy 参数化的 exponential family 时，利用 stationary score 直接估计 average-reward policy gradient，避免 value-function estimation，并用 local Lyapunov stability 证明含不稳定策略的可数状态空间中局部收敛与 regret 保证。

基础信息

• 会议/期刊：arXiv preprint, 2026
• 关键词：memory governance, selective forgetting, retrieval, conditional success probability, Bayesian update

核心贡献：本文提出 Memory Worth (MW)，用每条记忆被检索后的成功/失败共现次数构造一个轻量、可在线更新的治理信号，并证明它在明确假设下收敛到条件成功概率 p+(m)，可用于陈旧性检测、抑制检索与弃用决策。

Transformer架构

Self-Attention vs RNN

RNN（类比Memory的过程）

• Ht：memory
• f(A,t)：Reflection
• f(B,t)：Read
• f(C,t)：Write

Self-Attention

二者区别

• Self-Attention

一个神经元

神经元的结构

• 绿色进去是embeding

AI Agent工作流

• RL（Reinforcement Learning）：Learn to Maximize Reward

AGENTS.md的作用

告诉他你的项目基本信息，不能动什么，数据怎么走，避免重复 交代信息。

AGENT内容

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

# AGENTS.md

## 项目概述
这是一个基于 Next.js 14 + Prisma + PostgreSQL 的 SaaS 应用。
使用 App Router，不使用 Pages Router。

## 技术栈
- 前端：Next.js 14, React 18, TailwindCSS, shadcn/ui
- 后端：Next.js API Routes, Prisma ORM
- 数据库：PostgreSQL 15
- 认证：NextAuth.js

## 重要约定
- 所有数据库操作必须通过 lib/db.ts 中的 prisma 实例
- API 路由错误统一用 lib/api-error.ts 处理
- 环境变量在 .env.local 中，参考 .env.example

## 禁止事项
- 不要修改 prisma/schema.prisma，除非我明确要求
- 不要删除任何现有测试
- 生产环境的 .env 文件不要碰

• 配置层级
  • 全局层：~/.codex/AGENTS.md
  • 项目层： repo/AGENTS.md
  • 覆写层： repo/services/payments/AGENTS.override.md（子目录）