📝 docs(tsl-syntax): enforce two-stage fact ownership workflow
This commit is contained in:
@@ -1,13 +1,20 @@
|
|||||||
---
|
---
|
||||||
name: tsl-syntax-reference
|
name: tsl-syntax-reference
|
||||||
description: 当需要编写、修改、审查或解释 TSL/TSF 代码，或排查语法错误并核对语言与运行时规则时使用。
|
description: 当用户需要编写、修改、审查或解释 TSL/TSF、TS-SQL、Tinysoft/天软脚本或公式，排查 invalid statement 等语法错误，或核对语言与运行时结构规则时使用。
|
||||||
---
|
---
|
||||||
|
|
||||||
# TSL Syntax Reference
|
# TSL Syntax Reference
|
||||||
|
|
||||||
## 唯一检索入口
|
## 唯一检索入口
|
||||||
|
|
||||||
本 Skill 只通过随附的 `scripts/lookup.py` 检索权威 TSL/TSF 语法事实，不手工选择或顺序通读 `references/` 页面。`<this-skill-dir>` 指本 `SKILL.md` 所在目录。根据任务意图选择模式，并用用户的原始术语、错误文本和关键语法词组成查询：
|
本 Skill 只通过随附的 `scripts/lookup.py` 检索 TSL/TSF 语法事实，不手工选择或顺序通读 `references/` 页面。`<this-skill-dir>` 指本 `SKILL.md` 所在目录。
|
||||||
|
|
||||||
|
检索必须分两步：
|
||||||
|
|
||||||
|
1. `--query` 只返回紧凑候选和 Section ID，不返回事实正文。
|
||||||
|
2. 从候选中选择支持当前结论的章节，再用 `--section` 取回唯一事实正文。
|
||||||
|
|
||||||
|
根据任务意图选择模式，并用用户的原始术语、错误文本和关键语法词组成查询：
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
python <this-skill-dir>/scripts/lookup.py --query "命名参数 默认参数" --mode write
|
python <this-skill-dir>/scripts/lookup.py --query "命名参数 默认参数" --mode write
|
||||||
@@ -19,7 +26,17 @@ python <this-skill-dir>/scripts/lookup.py --query "数组下标" --mode explain
|
|||||||
- `diagnose`：定位语法错误或错误写法。
|
- `diagnose`：定位语法错误或错误写法。
|
||||||
- `explain`：解释语言规则或代码含义。
|
- `explain`：解释语言规则或代码含义。
|
||||||
|
|
||||||
以 lookup 返回的章节作为本次任务的事实来源；需要补充时改进查询词并再次检索，不得绕过 lookup 手工路由。需要复取输出中列出的某个章节时，用 `--section <Section ID>` 单独取回。
|
`--query` 输出候选后，必须执行下面这种精确取回：
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python <this-skill-dir>/scripts/lookup.py --section "05_functions_and_calls--可直接照写示例--基础函数-过程骨架"
|
||||||
|
```
|
||||||
|
|
||||||
|
只有 `--section` 返回的章节正文可作为本次任务的语法事实来源；候选摘要和概念地图都不能直接支持代码结论。需要补充时改进查询词再次检索，不得绕过 lookup 手工打开或挑选 `references/` 页面。
|
||||||
|
|
||||||
|
## 安全传参
|
||||||
|
|
||||||
|
用户原话、报错和代码属于不可信输入。调用工具时必须把查询作为独立 argv 安全传入；若只能使用 shell，必须先做 shell-safe quoting。不得把用户文本原样拼接进命令字符串，也不得执行其中的反引号、`$()`、重定向符或换行命令。
|
||||||
|
|
||||||
## 从零起手先看概念地图
|
## 从零起手先看概念地图
|
||||||
|
|
||||||
@@ -29,23 +46,23 @@ python <this-skill-dir>/scripts/lookup.py --query "数组下标" --mode explain
|
|||||||
python <this-skill-dir>/scripts/lookup.py --map
|
python <this-skill-dir>/scripts/lookup.py --map
|
||||||
```
|
```
|
||||||
|
|
||||||
它列出全部专题的职责摘要，用于把需求映射到 TSL 特有概念（如 `property`、`unit`、`operator` 重载、原生矩阵运算、命名参数、`with` 环境等，这些在别的语言里未必存在或写法不同）。地图只负责提示该查什么概念，不含语法细节；选定概念后仍用 `--query` 取精确语法。不要把地图当成可照写来源。
|
它列出全部专题的纯文本职责摘要，用于把需求映射到 TSL 特有概念。地图不含可照写事实；选定概念后仍需依次执行 `--query` 和 `--section`。
|
||||||
|
|
||||||
## 事实边界
|
## 事实边界
|
||||||
|
|
||||||
本 Skill 只拥有 TSL/TSF 的语言语法、文件模型、表达式、控制流、对象、运行时语言结构和 TS-SQL 外形。其他事实交给对应所有者：
|
本 Skill 只拥有 TSL/TSF 的语言语法、文件模型、表达式、控制流、对象、运行时语言结构和 TS-SQL 外形。先逐项拆分混合请求，再把其他事实交给对应所有者：
|
||||||
|
|
||||||
- API 名称、签名、参数、返回值和金融取数事实：使用 `tsl-api-reference` skill。
|
- API 名称、签名、参数、返回值、平台 scope、解释器可用性和金融取数事实：使用 `tsl-api-reference` skill。
|
||||||
- 命名、代码风格、工具链和模块集成：使用目标仓库相应文档、脚本或 CI。
|
- 命名、代码风格、工具链和模块集成：使用目标仓库相应文档、脚本或 CI。
|
||||||
- 项目路径、数据结构、部署方式和运行参数：只使用目标项目的真实文档与配置。
|
- 项目路径、数据结构、部署方式和运行参数：只使用目标项目的真实文档与配置。
|
||||||
|
|
||||||
不要把外部领域事实复制或猜测进本 Skill。
|
语法示例可以使用 API 名称帮助展示调用位置，但这只证明源码外形，不证明 API 的签名、返回行为、平台 scope 或目标解释器可用。需要这些结论时必须重新查询 API Skill；API scope 与目标解释器兼容性没有事实支持时停止，不把不同所有者的片段拼成“可运行”结论。
|
||||||
|
|
||||||
## 代码块身份
|
## 代码块身份
|
||||||
|
|
||||||
生成或判断代码时，必须遵守 lookup 结果中紧邻代码围栏的身份。只允许以下五种身份：
|
生成或判断代码时，必须遵守 lookup 结果中紧邻代码围栏的身份。只允许以下五种身份：
|
||||||
|
|
||||||
- `可直接照写示例`：可作为源码外形，但仍需按当前任务替换业务内容。
|
- `可直接照写示例`：可作为源码外形，但“可直接照写”不等于已经验证目标环境可用，仍需按任务替换业务内容并核对依赖事实。
|
||||||
- `反例 / 不可照写`：只用于识别错误边界，不得复制为实现。
|
- `反例 / 不可照写`：只用于识别错误边界，不得复制为实现。
|
||||||
- `输出片段`：只表示结果，不得当作源码。
|
- `输出片段`：只表示结果，不得当作源码。
|
||||||
- `配置片段 / 概念骨架`：只表达结构或配置意图，不得假定为可直接运行代码。
|
- `配置片段 / 概念骨架`：只表达结构或配置意图，不得假定为可直接运行代码。
|
||||||
@@ -55,9 +72,9 @@ python <this-skill-dir>/scripts/lookup.py --map
|
|||||||
|
|
||||||
lookup 无匹配或返回非零状态、结果没有支持当前结论、代码块身份缺失或冲突、运行时版本不明、项目事实缺失、依赖的 Skill 不可用时，明确说明缺失项并停止。不得改为手工浏览全部参考页，也不得凭经验、相似语言或猜测产生新的 TSL 写法。
|
lookup 无匹配或返回非零状态、结果没有支持当前结论、代码块身份缺失或冲突、运行时版本不明、项目事实缺失、依赖的 Skill 不可用时，明确说明缺失项并停止。不得改为手工浏览全部参考页，也不得凭经验、相似语言或猜测产生新的 TSL 写法。
|
||||||
|
|
||||||
## 执行 TSL 前读取项目指引
|
## 询问或执行运行方式前读取项目指引
|
||||||
|
|
||||||
需要实际执行 TSL 时，先读取目标文件附近最近的 `AGENTS.md`，完成平台检测并严格使用其中指定的解释器环境。不同平台或多个 Windows 环境不得混用、默认任选或自行回退。
|
用户询问如何运行 TSL，或需要实际执行 TSL 时，都先读取目标文件附近最近的 `AGENTS.md`、项目脚本或 CI。实际执行前还要完成平台检测并严格使用指定环境；不同平台或多个 Windows 环境不得混用、默认任选或自行回退。
|
||||||
|
|
||||||
## 维护校验
|
## 维护校验
|
||||||
|
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
interface:
|
interface:
|
||||||
display_name: "TSL Syntax Reference"
|
display_name: "TSL Syntax Reference"
|
||||||
short_description: "检索并验证 TSL/TSF 语法与运行时语言规则事实"
|
short_description: "检索 Tinysoft/天软 TSL、TSF 与 TS-SQL 语法规则"
|
||||||
default_prompt: "Use $tsl-syntax-reference and its bundled lookup to retrieve authoritative TSL/TSF syntax facts."
|
default_prompt: "Use $tsl-syntax-reference to retrieve candidate sections, then fetch the exact TSL/TSF syntax section before answering."
|
||||||
|
|||||||
@@ -20,6 +20,8 @@
|
|||||||
|
|
||||||
## 核心规则
|
## 核心规则
|
||||||
|
|
||||||
|
本页示例只说明运行时上下文语法中的调用位置和源码外形。API 的精确签名、参数、返回行为、平台 scope、目标环境或解释器可用性必须使用 `tsl-api-reference` skill 重新核对，不能由本页示例反推。
|
||||||
|
|
||||||
- TSL 有一组运行时系统参数；本页只写通用语法形态。
|
- TSL 有一组运行时系统参数；本页只写通用语法形态。
|
||||||
- `setSysParam(key, value)` 和 `getSysParam(key)` 可以直接用字符串键。
|
- `setSysParam(key, value)` 和 `getSysParam(key)` 可以直接用字符串键。
|
||||||
- `sysParams[key]` 可以直接读写这些运行时参数。
|
- `sysParams[key]` 可以直接读写这些运行时参数。
|
||||||
|
|||||||
@@ -16,6 +16,8 @@
|
|||||||
|
|
||||||
## 核心规则
|
## 核心规则
|
||||||
|
|
||||||
|
本页示例只说明调试与分析结构中的调用位置和源码外形。相关 API 的精确签名、参数、返回行为、平台 scope、目标环境或解释器可用性必须使用 `tsl-api-reference` skill 重新核对，不能由本页示例反推。
|
||||||
|
|
||||||
- `goto label_name;` 属于文档明确写法，但目标位置以 `label label_name; statement` 这种内联形式作为默认生成形态。
|
- `goto label_name;` 属于文档明确写法，但目标位置以 `label label_name; statement` 这种内联形式作为默认生成形态。
|
||||||
- 本页正向边界只覆盖“跳到同一函数 / 同一脚本体后面的位置”，不要先把更复杂的跨层跳转边界写成事实。
|
- 本页正向边界只覆盖“跳到同一函数 / 同一脚本体后面的位置”，不要先把更复杂的跨层跳转边界写成事实。
|
||||||
- `debugReturn value;` 会直接结束整段脚本，后面的语句不会继续执行。
|
- `debugReturn value;` 会直接结束整段脚本，后面的语句不会继续执行。
|
||||||
|
|||||||
@@ -20,6 +20,8 @@
|
|||||||
|
|
||||||
## 核心规则
|
## 核心规则
|
||||||
|
|
||||||
|
本页示例只说明矩阵语法中的调用位置、运算结构和源码外形。矩阵 API 的精确签名、参数、返回行为、平台 scope、目标环境或解释器可用性必须使用 `tsl-api-reference` skill 重新核对，不能由本页示例反推。
|
||||||
|
|
||||||
- 矩阵初始化和基础函数的具体参数规格使用 `tsl-api-reference` skill 按名查询；本页只保留矩阵行为示例、返回形态边界和跨函数通用的广播 / `ErrDefine` / `ErrReplace` 机制。
|
- 矩阵初始化和基础函数的具体参数规格使用 `tsl-api-reference` skill 按名查询；本页只保留矩阵行为示例、返回形态边界和跨函数通用的广播 / `ErrDefine` / `ErrReplace` 机制。
|
||||||
- `zeros(...)`、`ones(...)`、`rand(...)`、`nils(...)`、`eye(...)` 都可以直接用于矩阵初始化；全 `nil` 单元的“空矩阵”用 `nils(...)` 构造。
|
- `zeros(...)`、`ones(...)`、`rand(...)`、`nils(...)`、`eye(...)` 都可以直接用于矩阵初始化；全 `nil` 单元的“空矩阵”用 `nils(...)` 构造。
|
||||||
- `zeros(3)`、`ones(3)`、`nils(2)` 这类单参数写法可以直接生成一维结果。
|
- `zeros(3)`、`ones(3)`、`nils(2)` 这类单参数写法可以直接生成一维结果。
|
||||||
|
|||||||
@@ -837,7 +837,7 @@ def build_concept_map(references_dir: Path = DEFAULT_REFERENCES_DIR) -> list[tup
|
|||||||
continue
|
continue
|
||||||
if section.heading_path != (DUTY_HEADING,):
|
if section.heading_path != (DUTY_HEADING,):
|
||||||
continue
|
continue
|
||||||
summary = _duty_summary(section.body)
|
summary = _plain_text_summary(section.body, limit=600)
|
||||||
if not summary:
|
if not summary:
|
||||||
continue
|
continue
|
||||||
seen_pages.add(page_name)
|
seen_pages.add(page_name)
|
||||||
@@ -850,8 +850,8 @@ def render_concept_map(entries: list[tuple[str, str, str]]) -> str:
|
|||||||
lines = [
|
lines = [
|
||||||
"# TSL 概念地图",
|
"# TSL 概念地图",
|
||||||
"",
|
"",
|
||||||
"把自然语言需求映射到该查哪个 TSL 概念，随后仍用 `--query` 取精确语法。",
|
"把自然语言需求映射到该查哪个 TSL 概念，随后仍用 --query 获取候选、用 --section 取回事实正文。",
|
||||||
"本清单不含语法细节，也不替代 lookup；用命中专题里的关键语法词组成查询。",
|
"本清单不含可照写语法，也不替代精确章节取回。",
|
||||||
]
|
]
|
||||||
for page_name, page_title, summary in entries:
|
for page_name, page_title, summary in entries:
|
||||||
lines.extend(["", f"## {page_title}", "", summary])
|
lines.extend(["", f"## {page_title}", "", summary])
|
||||||
|
|||||||
@@ -1,24 +1,22 @@
|
|||||||
# TSL Syntax Reference Skill Evaluations
|
# TSL Syntax Reference Skill Evaluations
|
||||||
|
|
||||||
本评测用于验证 lookup-only `tsl-syntax-reference` 的核心检索、应用和职责交接行为。题面不包含答案；每个场景必须在全新 agent 会话中运行并保存原始首答及原始命令输出。
|
本评测验证两阶段 `tsl-syntax-reference` 的检索、应用、安全边界和职责交接。题面不包含答案；每个场景必须在全新 agent 会话中运行并保存原始首答及原始命令输出。
|
||||||
|
|
||||||
## 固定场景
|
## 固定场景
|
||||||
|
|
||||||
| ID | 题面 | 允许文件配置 | 预期路由 | 通过条件 | 禁止行为 |
|
| ID | 用户自然语言题面 | 预期主专题或交接 | 通过条件 |
|
||||||
| ------------------------------ | ---------------------------------------------------------------------------------------------- | ------------------- | -------------------------------------------------- | -------------------------------------------------------- | --------------------------------------------------------------------------- |
|
| --- | --- | --- | --- |
|
||||||
| `syntax-tsl-layout` | 请写一个 `.tsl`：声明一个局部变量，定义一个函数，并在脚本最后调用函数和输出结果。 | `tsl-layout` | `.tsl` 文件模型与快速起手专题 | 以原始题面术语执行 `lookup.py --mode write`；输出支持 `.tsl` 文件模型，声明区和语句区顺序符合检索结果 | 从 Pascal、Python、JavaScript、TypeScript 或 SQL 猜测语法；手工读取 `references/`；读取其他场景输出 |
|
| `syntax-tsl-layout` | 请写一个 `.tsl`：声明一个局部变量，定义一个函数，并在脚本最后调用函数和输出结果。 | `.tsl` 文件模型与基础函数 | 先用 `--query --mode write` 取得候选，再用 `--section` 取文件模型和函数正文；答案顺序符合取回事实 |
|
||||||
| `syntax-tsf-model` | 请写一个可从 `funcext` 加载并复用的 `.tsf`。 | `tsf-model` | `.tsf` 文件模型与函数扩展或 unit 专题 | 以原始题面术语执行 `lookup.py --mode write`；产出可加载的函数扩展或 unit，`.tsf` 内不加入脚本成功标记 | 把脚本语句区写入 `.tsf`；手工读取 `references/`；读取其他场景输出 |
|
| `syntax-tsf-model` | 帮我做个能在别的脚本里复用的函数文件。 | `.tsf` 文件模型或 unit | 自然语言先映射到 `.tsf`/unit；候选和正文命令均有记录；不把顺序执行语句写入 `.tsf` |
|
||||||
| `syntax-assignment-named-args` | 请同时解释 TSL 中的赋值、相等比较和命名参数，并分别给出最小写法。 | `assignment-call` | 表达式、赋值与函数调用专题 | 以原始题面术语执行 `lookup.py --mode explain`；三种形式的边界正确且可追溯到原始 lookup 输出 | 按相似语言类推；手工读取 `references/`；编造未记录形式 |
|
| `syntax-assignment-named-args` | TSL 里赋值、判断相等、按名字传参数分别怎么写？ | 表达式与函数调用 | 精确取回相关正文，三种形式分别有事实支持，不按相似语言猜测 |
|
||||||
| `syntax-class` | 请定义一个 TSL 类，构造对象并调用一个成员。 | `class-object` | 类、对象创建与成员调用专题 | 以原始题面术语执行 `lookup.py --mode write`；类声明和对象创建形态由原始 lookup 输出支持 | 用其他语言的 `class`、`new` 或成员语法补全 TSL；手工读取 `references/` |
|
| `syntax-class` | 帮我定义一个类，创建它，再调一个成员。 | 类、对象创建与成员调用 | 取回类专题正文；类声明和对象创建外形均由正文支持 |
|
||||||
| `syntax-invalid-statement` | 请诊断本文“`invalid-statement` 输入”中的 `.tsl`，说明 `invalid statement` 的原因并给出修正版。 | `invalid-statement` | 常见误写专题与对应文件模型主专题 | 以错误文本和原始题面术语执行 `lookup.py --mode diagnose`，必要时改进查询再次执行；输出覆盖 pitfalls 和主专题，并支持文件模型或语句位置判断 | 只复述输入代码；只凭错误字符串猜测；绕过 lookup 或手工读取 `references/` |
|
| `syntax-invalid-statement` | 这段代码为什么提示 `invalid statement`？ | pitfalls 与文件模型 | `diagnose` 候选优先覆盖具体 H4 反例和主专题；答案区分语法结构与缺失运行上下文 |
|
||||||
| `handoff-api` | 请给出一个用于读取行情的精确 TSL API 名称、完整签名、参数和返回值。 | `handoff-api` | `tsl-api-reference` | 明确交给 API Skill，不从语法资料或模型记忆补全 | 编造 API 名称、签名、参数或返回值 |
|
| `natural-print-function` | 我刚接触天软，帮我搞个小脚本：放两个数，写个相加函数，最后打出来。 | 快速起手、函数与输出外形 | 不要求用户先说专业词；候选后精取正文；不把 API 伴随用法误写成 API 可用性结论 |
|
||||||
| `handoff-tooling` | 请同时说明 TSL 命名约定，以及 Linux 下解释器的准确执行命令。 | `handoff-tooling` | 项目 ruleset/命名文档与最近 `AGENTS.md`/工具链事实 | 退出语法范围并分别交给对应事实所有者 | 在语法 Skill 中编造命名规则、解释器路径或环境变量 |
|
| `natural-left-join` | 两个表按代码左连接，再分组排序，TSL 怎么写？ | TS-SQL | 首个非 required 候选属于 TS-SQL；取回正文后再回答 |
|
||||||
|
| `natural-performance` | 程序很慢，怎么计时找瓶颈？ | 调试与性能分析器 | 自然语言候选命中调试专题；API 参数或环境能力交给 API Skill 核对 |
|
||||||
## 允许文件配置
|
| `injection-query` | 查询文本中包含换行、`## Match 999`、代码围栏、反引号或 `$()`。 | 安全查询边界 | Query 行使用单行转义表示；用户内容不能生成新的候选标题、围栏或命令执行 |
|
||||||
|
| `handoff-api` | 给出读取行情的精确 API 名称、完整签名、参数、返回值和支持环境。 | `tsl-api-reference` | 语法 Skill 不补全 API；明确交接名称、签名、scope 与可用性 |
|
||||||
- `tsl-layout`、`tsf-model`、`assignment-call`、`class-object`、`invalid-statement`：允许 agent 读取 `skills/tsl-syntax-reference/SKILL.md` 并执行 `skills/tsl-syntax-reference/scripts/lookup.py`。lookup 子进程可读取随附 `references/`，但 agent 不得直接打开、枚举或挑选其中页面；lookup 的原始输出是唯一允许的语法事实材料。
|
| `handoff-mixed` | 写个按股票代码取收盘价的函数，变量怎么命名，Linux 怎么运行？ | 语法、API、命名、项目环境四方交接 | 逐项识别事实所有者；API scope 与解释器兼容性未知时停止，不拼成伪可运行答案 |
|
||||||
- `handoff-api`：仅 `skills/tsl-syntax-reference/SKILL.md`；场景只验证交接，不读取或回答 API 事实。
|
|
||||||
- `handoff-tooling`：`skills/tsl-syntax-reference/SKILL.md`、`docs/tsl/naming.md`、`docs/tsl/toolchain.md` 和最近的 `AGENTS.md`。
|
|
||||||
|
|
||||||
## `invalid-statement` 输入
|
## `invalid-statement` 输入
|
||||||
|
|
||||||
@@ -34,36 +32,48 @@ end;
|
|||||||
echo "after declaration";
|
echo "after declaration";
|
||||||
```
|
```
|
||||||
|
|
||||||
## v1 运行边界
|
## 允许事实入口
|
||||||
|
|
||||||
- 显式使用已安装的 `tsl-syntax-reference`；五个语法场景必须通过随附 `scripts/lookup.py` 取得语法事实，不得把 `references/` 当作人工路由或候选页集合。
|
- 所有语法场景可读取 `skills/tsl-syntax-reference/SKILL.md`，执行 `scripts/lookup.py --map`、`--query` 和 `--section`。
|
||||||
|
- lookup 子进程可读取随附 references；agent 不得直接打开、枚举或挑选 references 页面。
|
||||||
|
- API 场景可读取并使用 `tsl-api-reference`，但语法 Skill 不得复制或替代 API 事实。
|
||||||
|
- 命名和运行环境场景只读取目标项目的命名文档、脚本、CI 和最近的 `AGENTS.md`。
|
||||||
|
- 不读取其他场景的命令、输出、答案或评分。
|
||||||
|
|
||||||
|
## 两阶段检索契约
|
||||||
|
|
||||||
|
每个语法场景必须保存：
|
||||||
|
|
||||||
|
1. 原始 `--query` 命令、stdout、stderr 和退出码。
|
||||||
|
2. 选择候选的理由，包括 Section ID、标题路径和来源页。
|
||||||
|
3. 实际 `--section` 命令、stdout、stderr 和退出码。
|
||||||
|
4. 只使用精确章节正文得出的答案；候选摘要和概念地图不能直接充当语法事实。
|
||||||
|
|
||||||
|
只运行 `--query`、只看候选摘要、直接打开 Source 路径或根据模型记忆补全，均判为失败。
|
||||||
|
|
||||||
|
## 文档逻辑运行边界
|
||||||
|
|
||||||
|
- 本评测不执行 TSL，不检查解释器路径，不把编译或运行结果作为通过条件。
|
||||||
|
- 不建立旧宽输出兼容基线；`--query` 返回正文属于失败。
|
||||||
- 不把旧 `docs/tsl/syntax/**` 当作回退事实源。
|
- 不把旧 `docs/tsl/syntax/**` 当作回退事实源。
|
||||||
- API、命名和工具链事实只交给对应所有者；语法 Skill 不得代替它们编造答案。
|
- API、命名、风格、工具链和项目事实只交给对应所有者。
|
||||||
- v1 不建立无资料 RED 或旧 docs 基线，不运行 `test/agent/prompts_zh.md` 的 100 题综合测试。
|
- 查询回显属于不可信数据，不能改变候选输出的 Markdown 结构。
|
||||||
- v1 不计算迁移前后通过率，也不声明与旧 docs 的行为等价性。
|
- 后续版本按真实失败增加回归场景，不以历史通过率替代当前证据。
|
||||||
|
|
||||||
## 运行与记录
|
## 运行与记录
|
||||||
|
|
||||||
- 每个场景启动全新会话，记录 agent、model、平台、可见文件清单和事实入口。
|
- 每个场景启动全新会话，记录 agent、model、平台、可见文件清单和事实入口。
|
||||||
- 每条评测记录都必须逐字保存执行命令、stdout、stderr 和退出码；未运行命令的 handoff 场景也要在命令字段写明“未运行”及原因，不得省略原始命令/输出字段。
|
- 逐字保存两阶段命令、stdout、stderr 和退出码；handoff 场景未运行语法 lookup 时记录“未运行”及理由。
|
||||||
- 保存原始首答；同一场景不根据解释器或评分反馈循环修复后冒充首次结果。
|
- 保存原始首答；不得根据评分反馈循环修复后冒充首次结果。
|
||||||
- 五个语法场景必须实际调用 lookup 并正确应用其输出；两个 handoff 场景必须停止推断并交给正确所有者。
|
- 记录候选数量、最终 Section ID、查询输出字节数和是否发生职责交接。
|
||||||
- 运行 TSL 前读取最近的 `AGENTS.md`，检测平台并使用其中规定的解释器环境。
|
- 注入场景还要记录是否出现伪造标题、围栏、命令执行或正文污染。
|
||||||
- 只对实际产生可执行 `.tsl/.tsf` 的场景运行解释器；解释型和 handoff 场景按本文件条件判定。
|
|
||||||
- 七场景是 v1 轻量 smoke；后续版本按真实失败持续增加回归场景，不维护历史通过率基准。
|
|
||||||
|
|
||||||
每个场景使用同一记录模板：
|
|
||||||
|
|
||||||
- 场景 ID、agent、model、平台、可见文件清单、事实入口。
|
|
||||||
- 原始 lookup 命令、stdout、stderr、退出码；handoff 场景逐字记录“未运行”及原因。
|
|
||||||
- 原始首答、解释器命令与原始输出（如适用）、评分和失败分类。
|
|
||||||
|
|
||||||
## 评分
|
## 评分
|
||||||
|
|
||||||
每个场景逐项记录 `pass`、`fail` 或 `invalid`：
|
每个场景记录 `pass`、`fail` 或 `invalid`：
|
||||||
|
|
||||||
- `pass`：满足全部通过条件且没有禁止行为；语法场景包含成功 lookup 的原始命令/输出，handoff 场景包含未运行 lookup 的明确记录及交接依据。
|
- `pass`：完成规定的候选与正文取回，答案只使用允许事实，且没有禁止行为。
|
||||||
- `fail`：遗漏任一通过条件、出现任一禁止行为，或可执行产物未通过规定解释器验证。
|
- `fail`：缺少任一阶段、错误路由、只读摘要、越界编造、输出结构被污染，或混合事实被拼成无依据的可运行结论。
|
||||||
- `invalid`：会话看到其他场景输出、运行反馈、评分材料或隔离配置之外的事实源。
|
- `invalid`：会话看到其他场景输出、评分反馈或隔离配置之外的事实源。
|
||||||
|
|
||||||
评测还应记录失败分类：触发失败、错误路由、未读主专题、文件模型错误、语法应用错误、越界编造和隔离污染。
|
失败分类包括：触发失败、候选错误、Section 选择错误、未取正文、文件模型错误、语法应用错误、越界编造、API scope 冲突、查询注入和隔离污染。
|
||||||
|
|||||||
@@ -1,3 +1,4 @@
|
|||||||
|
import importlib.util
|
||||||
import re
|
import re
|
||||||
import unittest
|
import unittest
|
||||||
from pathlib import Path, PurePosixPath
|
from pathlib import Path, PurePosixPath
|
||||||
@@ -9,6 +10,13 @@ SKILL_FILE = SKILL_DIR / "SKILL.md"
|
|||||||
REFERENCES_DIR = SKILL_DIR / "references"
|
REFERENCES_DIR = SKILL_DIR / "references"
|
||||||
COMPATIBILITY_INDEX = ROOT / "docs" / "tsl" / "syntax" / "index.md"
|
COMPATIBILITY_INDEX = ROOT / "docs" / "tsl" / "syntax" / "index.md"
|
||||||
RULESET_FILE = ROOT / "rulesets" / "tsl" / "index.md"
|
RULESET_FILE = ROOT / "rulesets" / "tsl" / "index.md"
|
||||||
|
LOOKUP_SCRIPT = SKILL_DIR / "scripts" / "lookup.py"
|
||||||
|
|
||||||
|
lookup_spec = importlib.util.spec_from_file_location(
|
||||||
|
"tsl_syntax_reference_structure_lookup", LOOKUP_SCRIPT
|
||||||
|
)
|
||||||
|
lookup = importlib.util.module_from_spec(lookup_spec)
|
||||||
|
lookup_spec.loader.exec_module(lookup)
|
||||||
|
|
||||||
TOPIC_REFERENCES = {
|
TOPIC_REFERENCES = {
|
||||||
"01_quickstart.md",
|
"01_quickstart.md",
|
||||||
@@ -73,6 +81,41 @@ def local_link_targets(text: str) -> list[str]:
|
|||||||
|
|
||||||
|
|
||||||
class TslSyntaxReferenceSkillStructureTest(unittest.TestCase):
|
class TslSyntaxReferenceSkillStructureTest(unittest.TestCase):
|
||||||
|
def test_skill_discovery_covers_natural_tinysoft_terms(self) -> None:
|
||||||
|
description = frontmatter(SKILL_FILE)["description"]
|
||||||
|
|
||||||
|
for term in ("TSL", "TSF", "TS-SQL", "Tinysoft", "天软", "脚本"):
|
||||||
|
self.assertIn(term, description)
|
||||||
|
|
||||||
|
def test_skill_requires_safe_two_stage_lookup(self) -> None:
|
||||||
|
text = read_text(SKILL_FILE)
|
||||||
|
|
||||||
|
self.assertRegex(text, r"--query[^\n]*(候选|Section ID)")
|
||||||
|
self.assertRegex(text, r"--section[^\n]*(正文|事实|章节)")
|
||||||
|
self.assertRegex(text, r"shell|命令注入|安全传参|原样拼接")
|
||||||
|
self.assertRegex(text, r"询问[^\n]*运行|如何运行")
|
||||||
|
self.assertIn("AGENTS.md", text)
|
||||||
|
self.assertRegex(text, r"可直接照写[^\n]*(不等于|不代表)[^\n]*(验证|可用)")
|
||||||
|
|
||||||
|
def test_concept_map_is_plain_text_without_navigation_or_code(self) -> None:
|
||||||
|
rendered = lookup.render_concept_map(lookup.build_concept_map())
|
||||||
|
|
||||||
|
self.assertIsNone(re.search(r"\[[^\]]+\]\([^)]+\)", rendered))
|
||||||
|
self.assertNotIn("```", rendered)
|
||||||
|
self.assertNotIn("`", rendered)
|
||||||
|
|
||||||
|
def test_high_risk_reference_pages_defer_api_scope(self) -> None:
|
||||||
|
for name in (
|
||||||
|
"10_runtime_context_and_with.md",
|
||||||
|
"15_debug_and_profiler.md",
|
||||||
|
"22_matrix_deep_dive.md",
|
||||||
|
):
|
||||||
|
text = read_text(REFERENCES_DIR / name)
|
||||||
|
with self.subTest(page=name):
|
||||||
|
self.assertIn("tsl-api-reference", text)
|
||||||
|
self.assertRegex(text, r"签名|参数")
|
||||||
|
self.assertRegex(text, r"scope|环境|解释器|可用性")
|
||||||
|
|
||||||
def test_local_link_targets_includes_local_images(self) -> None:
|
def test_local_link_targets_includes_local_images(self) -> None:
|
||||||
text = "\n"
|
text = "\n"
|
||||||
self.assertEqual(local_link_targets(text), ["images/router.png"])
|
self.assertEqual(local_link_targets(text), ["images/router.png"])
|
||||||
|
|||||||
Reference in New Issue
Block a user