842 lines
80 KiB
Markdown
842 lines
80 KiB
Markdown
# 项目进度档案
|
||
|
||
版本：1.17
|
||
建立日期：2026-09-20
|
||
当前总状态：`in_progress`
|
||
当前阶段：阶段 1 `in_progress`；题库、回答字典、919,863 行回答长表及三调查设计字段/方法均已核验；Gate 1 仅剩主要结局的两名实际人工审核者签署
|
||
|
||
## 1. 管理规则
|
||
|
||
本档案严格对照 [`Document/research-workflow.md`](Document/research-workflow.md) 维护。每次项目研究行动前必须完整读取工作流与本档案；行动完成后必须更新本档案。项目级强制规则同时记录于 [`AGENTS.md`](AGENTS.md)。
|
||
|
||
状态只使用：`not_started / in_progress / passed / conditional / blocked / failed`。
|
||
|
||
行动记录至少包含：
|
||
|
||
- 时间与阶段
|
||
- 动作及目的
|
||
- 输入及其版本或哈希（适用时）
|
||
- 输出文件
|
||
- 检查和证据
|
||
- 未解决问题
|
||
- 下一步
|
||
|
||
“已读取”“已设计”“已有报告称”与“已经重新验证”必须明确区分。未经本项目当前执行重新核验的结果不得升级为已验证证据。
|
||
|
||
## 2. 阶段状态
|
||
|
||
| 阶段 | 名称 | 状态 | 当前判定 |
|
||
|---|---|---|---|
|
||
| 0 | 冻结研究问题、范围与版本 | `passed` | 四项交付物齐备，Gate 0 已通过；研究工具链补强与锁定完成 |
|
||
| 1 | 有来源证据的题库和回答层 | `in_progress` | 七项机器交付物齐备，来源/编码/总体/缺失与设计层已形成；尚缺工作流强制要求的两名实际审核者签署 |
|
||
| 2 | 可行性、可识别性和连接审计 | `not_started` | 等待 Gate 1 |
|
||
| 3 | 冻结验证协议与已知真值模拟 | `not_started` | 等待 Gate 2 |
|
||
| 4 | 直接协调和传统基线 | `not_started` | 等待 Gate 3 |
|
||
| 5 | 低成本语义增益实验 | `not_started` | 等待 Gate 4 |
|
||
| 6 | 语言条件化层级测量模型 | `not_started` | 等待 Gate 5 |
|
||
| 7 | 最终验证、消融和主张判定 | `not_started` | 等待 Gate 6 |
|
||
| 8 | 可复现交付与论文审查 | `not_started` | 等待阶段 7 的冻结结果 |
|
||
|
||
## 3. 当前冻结方向
|
||
|
||
- 项目暂定名称：language-conditioned psychometric harmonization model。
|
||
- 首要任务是阶段 0–2 的可行性和可识别性审计，不直接训练完整复杂模型。
|
||
- GSHS 为跨国开发候选；YRBS 为问卷与时间迁移候选；NSDUH 青少年模块为外部候选。最终角色由审计决定。
|
||
- 测量层暂分为自杀意念、计划、尝试、自伤、悲伤/绝望；解释变量不与结局题目无依据地混成单一量表。
|
||
- 核心验证必须覆盖未见题目家族、未见问卷版本、未见国家/地区和时间外验证；随机个体划分不能作为核心证据。
|
||
- 工作流允许阴性结果；“完成流程”不等于模型优于基线或达到发表标准。
|
||
|
||
## 4. 阶段 0 交付物状态
|
||
|
||
| 交付物 | 状态 | 路径/说明 |
|
||
|---|---|---|
|
||
| `project_charter.md` | `passed` | 已完成 [`research/protocol/project_charter.md`](research/protocol/project_charter.md)，冻结阶段 0–2 的研究问题、总体政策、构念边界、迁移任务、范围外事项与待验证清单 |
|
||
| `data_manifest.csv` | `passed` | 已完成 [`research/audit/data_manifest.csv`](research/audit/data_manifest.csv)，共 734 个文件；来源登记、项目角色、唯一候选入口、分析就绪与许可/分发状态已补充，并另有来源组与重复摘要 |
|
||
| `literature_matrix.csv` | `passed` | 已完成 [`research/protocol/literature_matrix.csv`](research/protocol/literature_matrix.csv)；13 条核验来源（11 条同行评审、2 条预印本），另有可读工作簿与定位综合 |
|
||
| `environment_audit.md` | `passed` | 已完成并更新 [`research/audit/environment_audit.md`](research/audit/environment_audit.md)；Python、R、复杂抽样、心理测量与 CUDA 工具链均已运行验收并锁定 |
|
||
|
||
Gate 0 当前判定：`passed`。四项交付物齐备；目标总体政策、主要迁移任务、数据来源、范围边界和待验证列表均已明确。许可及数据版本问题已登记为后续显式验证项，不再是未记录的未知状态。
|
||
|
||
## 5. 已确认的本地事实
|
||
|
||
- 正确工作流路径为 `E:\Model\Document\research-workflow.md`；用户所称 `/Documents` 在本项目中对应单数目录 `Document`，文件名使用连字符。
|
||
- `Dataset` 当前包含 734 个文件，总大小约 20.47 GB。
|
||
- 已建立工作流建议的 `research/` 目录结构。
|
||
- 已对 734 个数据文件计算 SHA-256，并生成逐文件清单；清单包含重复文件分组字段。
|
||
- 数据清单已由单纯哈希表升级为来源登记：17 个数据组均有 authority、project role、canonical analysis entry、readiness 和 license/distribution 状态；117 个重复哈希组涉及 283 个文件、166 个额外副本，潜在冗余约 0.054 GiB。当前不删除任何副本。
|
||
- GSHS 现有说明记录主表 673,499 行、637 列、165 项调查、191 个非重叠组件；这些数字目前属于既有质量报告陈述，尚未由本轮执行重算。
|
||
- YRBS 原始库覆盖 1991–2023；现有整理包说明 1991–2019 已生成分析表，2021/2023 仍处于导入布局验证隔离状态。
|
||
- 系统 Python 3.13.7、Pandoc 3.11、31.82 GiB RAM 和 NVIDIA GeForce RTX 5060 Ti 16 GB 已核验；正式项目环境使用 CPython 3.12.14、PyMC 6.3.2、R 4.6.1、mirt/lavaan/survey 栈及 CUDA Toolkit 13.4.2，三套运行验收均通过。
|
||
- 当前根目录已建立 Git 仓库，`main` 跟踪 `origin/main`；远端为 `Jinovo/language-conditioned-psychometric-harmonization-model`，每项推进按强制协议独立提交并推送。
|
||
|
||
## 6. 文献初筛结论（尚待矩阵固化）
|
||
|
||
- 已存在使用 Sentence-BERT/嵌入进行心理问卷条目匹配和相关结构预测的工作。
|
||
- 已存在用 BERT 嵌入预测 IRT 题目参数、减少试测成本的工作。
|
||
- 已存在把题目语义与心理问卷回答预测结合的 proof-of-concept。
|
||
- 多组 IRT alignment、跨国 DIF、非相同题集/回答格式的测量协调及复杂抽样下的 Bayesian pseudo-posterior 均有直接相关文献。
|
||
- 因而项目贡献不能仅表述为“首次使用 LLM 做心理测量”。候选贡献应聚焦在：官方多调查题库、跨国/跨工具连接、语义条件化的题目参数与 DIF、不确定性传播、严格外层迁移验证及复杂抽样一致性；该定位仍需系统核验。
|
||
|
||
## 7. 未解决问题与风险
|
||
|
||
| 优先级 | 问题 | 影响 | 下一处理 |
|
||
|---|---|---|---|
|
||
| P0 | 84 个主要结局实例尚未由两名实际审核者逐项签署，部分总体、实际施测语言和跳题细节仍为 provisional | Gate 1 与确认性分析不能通过 | 使用已导出的双审队列独立复核；AI 生成内容不得填入审核者栏 |
|
||
| P0 | 题目共现、锚定图与可识别性尚未重算 | 不能确定 IRT/层级模型是否成立 | 完成阶段 1 后进入阶段 2 审计 |
|
||
| P1 | 数据来源许可及可分发范围尚未逐来源完成最终复核 | 影响复现包与衍生数据交付 | 已在清单中显式标为 review required；阶段 1 按实际纳入来源逐项确认，不默认允许再分发 |
|
||
| P1 | R、PyMC/ArviZ、心理测量包与 CUDA Toolkit 曾缺失 | 已解决：项目 Python/R 环境和 CUDA 端到端验收通过 | 后续仅按锁定文件维护；任何升级必须重跑三套烟雾测试 |
|
||
| P1 | 文献初筛尚未形成可审计矩阵 | 研究定位和“贡献”表述仍不稳定 | 建立 literature matrix，记录 DOI、来源、证据层级和项目关系 |
|
||
| P0 | NSDUH 的 `YSUI03/YUSUICTRY` 已确认施测，但尝试及严重度字段不在当前本地公开使用数据中；2024 指南明确记录派生尝试变量因披露风险排除 | 当前微数据只能外部验证意念/计划，不能验证尝试 | 不从其他题推导尝试；如核心设计必须使用尝试，评估受限数据申请或预先设计的聚合结果方案 |
|
||
| P1 | Solomon Islands 2023 已有 WHO 官方目录的逐题来源与总体资料，但未取得国家问卷文件/实际施测语言证据 | 不影响该组件的题文/编码来源，但限制语言字段批准 | 保持语言 provisional；在语言 DIF 分析前取得施测语言证据或排除相应主张 |
|
||
|
||
## 8. 行动日志
|
||
|
||
### A-20260920-001：读取工作流并确定执行入口
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：定位并完整读取研究工作流，核对项目定位文件与模型说明。
|
||
- 输入：`Document/research-workflow.md`、`Document/项目的正式定位.md`、`Document/language-conditioned-psychometric-harmonization-model.md`。
|
||
- 输出：确定从阶段 0 开始，不直接进入模型训练。
|
||
- 检查：工作流明确第一批需完成阶段 0–2；默认 academic-pipeline 的“已有数据→写作”路由不适用于本项目。
|
||
- 未解决问题：阶段 0 四项交付物尚未完成。
|
||
- 下一步：盘点数据与环境，建立阶段 0 文件。
|
||
|
||
### A-20260920-002：本地数据与说明文件初步盘点
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：读取 GSHS、YRBS、NSDUH/YRBS 整理包、WHO 国家背景数据及整理说明；统计文件数量和总容量。
|
||
- 输入：各数据目录 README、变量注意事项和既有质量报告。
|
||
- 输出：确认 734 个文件、约 20.47 GB；识别不同数据源的分析就绪状态差异。
|
||
- 检查：未把 README/质量报告中的数字冒充本轮重算结果。
|
||
- 未解决问题：许可、官方文本、2021/2023 YRBS 布局及设计变量仍需验证。
|
||
- 下一步：生成全量哈希清单。
|
||
|
||
### A-20260920-003：生成数据文件哈希清单
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：对 `Dataset` 下全部 734 个文件计算 SHA-256、记录大小、修改时间、扩展名并标注重复哈希组。
|
||
- 输入：`Dataset/**` 原始及衍生文件；未修改原文件。
|
||
- 输出：`research/audit/data_manifest.csv`（734 行）。
|
||
- 检查：清单已生成且可读取；重复哈希分组已写入。重复组的汇总统计仍需在正式审计报告中重新计算并说明口径。
|
||
- 未解决问题：需补充 dataset group、来源、许可和分析就绪字段。
|
||
- 下一步：扩充清单元数据并抽样复核哈希。
|
||
|
||
### A-20260920-004：最接近方法文献第一轮初筛
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：检索 NLP 问卷协调、文本预测 IRT 参数、多组测量不变性/DIF 和复杂抽样 Bayesian 推断相关工作。
|
||
- 输入：同行评审论文页面、PubMed/PMC、ACL Anthology 及预印本页面。
|
||
- 输出：形成第 6 节的初步定位结论。
|
||
- 检查：明确区分同行评审论文与预印本；未把搜索摘要直接当作完整证据综合。
|
||
- 未解决问题：尚需逐条核验作者、年份、DOI、研究设计、限制和与本项目的差异。
|
||
- 下一步：建立 `literature_matrix.csv`。
|
||
|
||
### A-20260920-005：建立持续进度档案和项目记忆规则
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：按用户要求创建本档案，并在 `AGENTS.md` 固化每次行动前后读取/更新规则。
|
||
- 输入：`Document/research-workflow.md`、当前项目状态及已生成产物。
|
||
- 输出：`Progression.md`、`AGENTS.md`。
|
||
- 检查：阶段状态、交付物、风险、已执行动作和下一步已与工作流对齐。
|
||
- 未解决问题：无。
|
||
- 下一步：重新读取工作流与本档案后，继续完成阶段 0 四项交付物。
|
||
|
||
### A-20260920-006：完成运行环境审计
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：核验操作系统、CPU、RAM、磁盘、GPU/CUDA、核心工具和 Python 科学计算/心理测量/Bayesian 包。
|
||
- 输入：本机只读系统接口、Python distribution metadata、`nvidia-smi`、PyTorch CUDA 最小检查；工作流 SHA-256 为 `394a191359298132fc2a56304dbc49b5934f47af22d2e0fff47d28a0d9edcaeb`。
|
||
- 输出：`research/audit/environment_audit.md`；`.learnings/ERRORS.md` 新增两条已解决的审计方法错误。
|
||
- 检查：确认 31.82 GiB RAM、E 盘可用 256.17 GiB、RTX 5060 Ti 16 GB，且 PyTorch CUDA 可用；直接从 distribution metadata 核验包版本。
|
||
- 未解决问题：R/Rscript、PyMC/PyTensor/ArviZ、SEM/IRT/复杂抽样栈缺失；具体嵌入模型权重和许可未冻结。
|
||
- 后续状态：上述软件缺口已在 A-20260920-010 至 A-20260920-035 中解决；嵌入模型权重与许可仍留待阶段 5 前冻结。
|
||
- 下一步：补齐数据清单的来源、许可和分析就绪字段，并生成重复文件摘要。
|
||
|
||
### A-20260920-007：完成数据来源登记与重复摘要
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：为 734 个文件补充数据组、权威来源、项目角色、候选分析入口、分析就绪状态及许可/分发状态；按 SHA-256 汇总重复文件。
|
||
- 输入：`research/audit/data_manifest.csv` 原始哈希清单；GSHS、YRBS、NSDUH/YRBS 整理包与 WHO 国家背景数据的本地来源说明。
|
||
- 输出：更新后的 `research/audit/data_manifest.csv`；新增 `data_source_registry.csv`、`dataset_group_summary.csv`、`duplicate_summary.csv`。
|
||
- 检查：734 行全部匹配来源登记，未匹配数为 0；117 个重复组包含 283 个文件与 166 个额外副本，潜在冗余约 0.054 GiB。更新后 manifest SHA-256 为 `0427a19c3287a2691edbd9a4486917989fe369fcb0f729a01477ce27cd8f98f2`。
|
||
- 未解决问题：许可状态是审计路由，不是法律授权；GSHS、NSDUH、YRBS 及外部候选在实际纳入和分发前仍须核对现行来源条款。重复文件因 provenance 和脚本引用暂不删除。
|
||
- 下一步：完成 `research/protocol/project_charter.md`，冻结 Gate 0 的总体、构念、迁移任务、范围外事项和待验证清单。
|
||
|
||
### A-20260920-008：冻结阶段 0 项目章程
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：把项目定位转化为可证伪的主要研究问题，并冻结阶段 0–2 的目标总体政策、构念角色、数据角色、六类迁移任务、估计目标、识别原则、范围外事项、伦理与停止条件。
|
||
- 输入：项目工作流、两份定位文件、数据来源登记和环境审计；输入 SHA-256 已写入章程。
|
||
- 输出：`research/protocol/project_charter.md` v0.1.0。
|
||
- 检查：未预设所有题目可做 IRT，未预设语义模型成功，未把学校样本外推到全部青少年；改善阈值和非劣界限留待阶段 2–3 依据审计与模拟冻结。
|
||
- 未解决问题：共同年龄支持域、实际构念模型、主要指标数值、许可细节和正式软件环境仍按章程待验证。
|
||
- 下一步：完成并逐条核验 `research/protocol/literature_matrix.csv`，明确最接近工作与项目贡献边界。
|
||
|
||
### A-20260920-009：完成聚焦文献矩阵与 Gate 0 验收
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0
|
||
- 动作：核验预统计协调、NLP 问卷匹配、文本预测 IRT 参数、多组 alignment/DIF 和复杂抽样 Bayesian 推断的最近方法；建立逐条证据矩阵并执行 Gate 0 检查。
|
||
- 输入：期刊/出版物原页、PubMed/PMC、ACL Anthology 和 arXiv；Deep Research 来源核验规则；Spreadsheets 结构与可视化验证规则。
|
||
- 输出：`research/protocol/literature_matrix.csv`、`literature_matrix.xlsx`、`literature_positioning.md`。
|
||
- 检查：13 个唯一来源 ID、必填字段缺失 0、HTTPS 来源 13/13；11 条同行评审、2 条预印本；工作簿公式错误扫描为 0，预览无明显截断或结构错误。CSV SHA-256 为 `9a43d729dbb4bf3819f71f1f373513962e4a6dc064927fc428f8f11b4e4a2a7a`。
|
||
- 最终核对：阶段 0 四项交付物与 `Progression.md` 均存在且非空；项目章程 SHA-256 为 `adb85eea055415050b2091d8f2e5b3d7fd63c019a233430a4a55a344cbef6d0d`。
|
||
- 结论：NLP 问卷匹配和 text-to-IRT 已有直接先例；候选贡献必须建立在官方多调查题库、严格外层迁移、语义条件化 DIF/题目参数、不确定性传播及复杂抽样一致性的组合上。该结论是聚焦定位，不是完整首创证明。
|
||
- 未解决问题：正式论文前需扩大检索和引文追踪；许可、题目来源、共同年龄域、锚定图和模型可识别性留待阶段 1–2。
|
||
- 下一步：在用户确认后进入阶段 1，先建立调查/组件、题目实例、回答字典、设计和来源审核的空模式及数据入口审计。
|
||
|
||
### A-20260920-010：核对研究环境兼容性并盘点安装入口
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：按用户授权启动研究环境补齐；重新读取工作流与进度档案，核对 NVIDIA、PyMC、R 与 PyTorch 官方安装信息，并盘点本机包管理器、Python 解释器和现有环境。
|
||
- 输入：NVIDIA CUDA Toolkit 官方下载/归档页、PyMC 官方安装文档、R for Windows 官方页面、PyTorch 官方安装页；本机只读命令检查。
|
||
- 输出：确定采用“系统工具 + 项目独立 Python 环境 + 项目 R 包库”的分层方案；CUDA Toolkit 目标为当前稳定版 13.4.2，PyMC 采用官方推荐的 `pymc[nutpie]`，NumPyro 作为可选后端。
|
||
- 安装布局确认：本机 `uv` 支持通过 `--install-dir`、`--no-registry` 与项目内缓存把 Python 3.12 完整落在 `E:\Model`，并可用指定解释器创建隔离虚拟环境，无需改写系统默认 Python。
|
||
- 检查：本机仅发现 Python 3.13；`winget.exe` 入口存在但当前执行返回“系统无法访问此文件”；R/Rscript、nvcc、conda/mamba 未发现；`uv` 可用；项目根目录不是 Git 仓库。
|
||
- 未解决问题：需改用可访问的官方安装器或修复后的包管理入口安装 R 与 CUDA Toolkit；Python 独立环境尚未创建。
|
||
- 下一步：通过官方安装源部署 Python 研究环境，并分别部署/验收 R、CUDA Toolkit；每批完成后立即回写本档案和环境审计。
|
||
|
||
### A-20260920-011：安装项目内 Python 3.12 解释器
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案后，使用 `uv` 将 CPython 下载到项目内，不注册系统解释器、不替换系统 Python。
|
||
- 输入：官方可分发 CPython 3.12 构建；目标目录 `E:\Model\.python`，缓存目录 `E:\Model\.uv-cache`。
|
||
- 输出：已安装 `E:\Model\.python\cpython-3.12.14-windows-x86_64-none\python.exe`。
|
||
- 检查：下载与解释器安装成功；虚拟环境尚未建立。
|
||
- 异常：首次创建虚拟环境时预写了 `3.12.11` 路径，但实际解析并安装的是 `3.12.14`，因此该子步骤失败；已定位真实解释器路径并写入错误日志。
|
||
- 下一步：以实际解释器路径创建 `.venv-research`，安装并验证研究包。
|
||
|
||
### A-20260920-012：冻结 Python 研究栈安装清单
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，建立环境归档目录，并按工作流需要拆分数据/统计、Bayesian、心理测量、可视化和 NLP/GPU 依赖。
|
||
- 输入：阶段 0 环境审计、PyMC 与 PyTorch 官方安装建议、SEM/心理测量技能依赖要求。
|
||
- 输出：`research/environment/python-requirements.in`。
|
||
- 检查：清单包含此前审计缺失的 `polars`、`duckdb`、`statsmodels`、`pymc`、`pytensor`（由 PyMC 解析）、`arviz`（由 PyMC 解析）、`semopy`、`factor-analyzer`、`pingouin`、`girth`、JAX/NumPyro 后端，以及项目后续 NLP/GPU 基线工具。
|
||
- 未解决问题：尚待依赖解析、安装和导入/数值烟雾测试；精确版本将在安装后导出锁定。
|
||
- 下一步：创建 `.venv-research` 并安装清单，先验收统计/Bayesian/心理测量，再验收 GPU/NLP。
|
||
|
||
### A-20260920-013：创建 Python 3.12 研究环境并安装依赖
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，以项目内 CPython 3.12.14 创建 `.venv-research`，解析并安装冻结输入清单。
|
||
- 输入：`research/environment/python-requirements.in`；PyPI 与包发布者提供的 Windows wheels/sdists。
|
||
- 输出：`.venv-research`；共安装 195 个包，包括 PyMC 6.3.2、PyTensor 3.3.2、ArviZ 1.3.0、NumPyro 0.22.0、semopy 2.3.11、factor-analyzer 0.5.1、pingouin 0.6.1、girth 0.8.0、PyTorch 2.14.0、polars 1.44.2、duckdb 1.5.5、statsmodels 0.15.0。
|
||
- 检查：依赖解析与安装命令返回成功；`semopy` 与 `factor-analyzer` 本地 wheel 构建成功。
|
||
- 未解决问题：安装成功不等于运行有效；需检查依赖一致性、PyMC 最小采样、SEM 拟合、IRT 导入、JAX 后端与 PyTorch GPU。特别需要核验 Torch/TorchVision/TorchAudio 的运行时兼容性。
|
||
- 下一步：运行分层烟雾测试，修复任何兼容错误后再导出精确锁定文件。
|
||
|
||
### A-20260920-014：建立可重复的 Python 环境烟雾测试
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，建立单一测试入口，覆盖核心模块导入、PyMC 最小采样、semopy CFA、factor-analyzer 与 PyTorch CUDA 矩阵运算。
|
||
- 输入：`.venv-research` 当前安装状态。
|
||
- 输出：`research/environment/smoke_test.py`。
|
||
- 检查：测试固定随机种子并以结构化 JSON 报告版本、通过/失败状态和异常回溯；任一必需项失败时返回非零状态。
|
||
- 未解决问题：测试尚未执行。
|
||
- 下一步：先运行依赖一致性检查，再执行烟雾测试并按实际失败修复。
|
||
|
||
### A-20260920-015：执行首轮 Python 环境烟雾测试
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案；运行 `pip check` 和结构化烟雾测试，并归档原始输出。
|
||
- 输入：`.venv-research`、`research/environment/smoke_test.py`。
|
||
- 输出：`research/environment/smoke-test-result.json`（首轮失败记录；包含前置警告，修复后将重写为纯 JSON）。
|
||
- 检查：`pip check` 返回无断裂依赖；数据栈、PyMC/PyTensor/ArviZ/JAX/NumPyro、semopy、factor-analyzer、pingouin、girth、Torch/NLP 包均可导入（TabPFN 除外）；semopy CFA 数值拟合通过。
|
||
- 失败事实：PyMC/nutpie 因默认 PyTensor 缓存写入受限用户目录而失败；TabPFN 因 `skrub_data` 默认目录权限失败；factor-analyzer 0.5.1 调用已从 scikit-learn 1.9 移除的 `force_all_finite` 参数；PyTorch 为 `2.14.0+cpu`，CUDA 不可用；Matplotlib 用户缓存不可写。
|
||
- 结论：当前环境尚未通过验收，不能标记为可用于正式分析。
|
||
- 下一步：把所有运行缓存重定向到项目内；为 factor-analyzer 固定兼容的 scikit-learn；从 PyTorch 官方 CUDA 索引重装版本一致的 Torch 三件套，然后重跑完整测试。
|
||
|
||
### A-20260920-016：修订 Python 运行策略与依赖约束
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，定位 Skrub 的正式缓存环境变量并修订依赖输入与烟雾测试。
|
||
- 输入：首轮烟雾测试回溯、已安装包源码中的缓存配置、PyTorch 官方 CUDA wheel 说明。
|
||
- 输出：更新 `python-requirements.in`（固定 scikit-learn 1.6.1 和匹配的 Torch 三件套）；更新 `smoke_test.py`；新增 `activate-research.ps1`。
|
||
- 检查：PyTensor、Numba、Matplotlib、Skrub、Hugging Face 与 Torch 缓存均统一重定向至 `E:\Model\.cache`；测试脚本改为直接写纯 JSON，避免标准错误警告污染结果文件。
|
||
- 未解决问题：尚需实际降级 scikit-learn、从官方 CUDA 索引重装 Torch 三件套并复测。
|
||
- 下一步：执行版本修复与 GPU wheel 重装。
|
||
|
||
### A-20260920-017：修复 factor-analyzer 兼容性并核对 CUDA wheel 版本
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，将 scikit-learn 从 1.9.1 固定为 1.6.1；尝试从 PyTorch CUDA 13.0 官方索引重装 Torch 三件套，并在解析失败后直接核对官方 wheel 索引。
|
||
- 输入：`python-requirements.in`、PyTorch 官方 cu130 的 torch/torchvision/torchaudio 索引。
|
||
- 输出：scikit-learn 1.6.1 已安装；确认 Python 3.12/Windows 的 `torch 2.14.0+cu130` 与 `torchvision 0.29.0+cu130` 存在。
|
||
- 异常与决定：官方 cu130 索引没有同代 `torchaudio 2.14.0`，最高列出的相关版本滞后；本项目不处理音频，故移除非必要 torchaudio，避免制造运行时不一致。
|
||
- 检查：失败发生在依赖解析阶段，原 Torch 安装未被改写；requirements 与烟雾测试已同步移除 torchaudio。
|
||
- 下一步：只从官方 cu130 索引重装匹配的 torch 与 torchvision，卸载旧 torchaudio，并重跑验收。
|
||
|
||
### A-20260920-018：安装匹配的 PyTorch CUDA 运行栈
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，卸载不匹配且非必要的 torchaudio，从 PyTorch 官方 CUDA 13.0 索引重装 Torch 2.14.0 与 TorchVision 0.29.0。
|
||
- 输入：PyTorch 官方 `cu130` wheel 索引；Python 3.12/Windows x86_64。
|
||
- 输出：`torch 2.14.0+cu130`、`torchvision 0.29.0+cu130`；torchaudio 已移除。
|
||
- 检查：官方 CUDA wheel 下载约 1.9 GB；替换过程成功完成，没有改动其余研究包的版本约束。
|
||
- 未解决问题：尚需以 `torch.cuda.is_available()`、GPU 名称和实际矩阵运算验收；完整烟雾测试还需确认缓存修复和 factor-analyzer 修复。
|
||
- 下一步：运行第二轮完整 Python 烟雾测试与依赖检查。
|
||
|
||
### A-20260920-019：Python 研究环境通过第二轮运行验收
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案；运行第二轮 `pip check` 与完整烟雾测试。
|
||
- 输入：修复后的 `.venv-research`、项目内缓存策略和 `smoke_test.py`。
|
||
- 输出：纯 JSON 结果 `research/environment/smoke-test-result.json`。
|
||
- 检查：依赖检查无断裂；所有 25 个目标模块导入通过；PyMC 6.3.2 使用 nutpie 完成 1 链 50 tune + 50 draws 的最小采样；semopy CFA 与 factor-analyzer 拟合通过；TabPFN 9.0.0 导入通过；Torch 2.14.0+cu130 在 NVIDIA GeForce RTX 5060 Ti 上完成有限值矩阵乘法，`torch.cuda.is_available()` 为真。
|
||
- 限制：烟雾测试的 50 draws 只用于验证运行能力，不构成统计诊断；`g++ not available` 是可选编译器探测提示，nutpie 实际采样已成功；factor-analyzer 使用 scikit-learn 1.6 的弃用兼容层，故必须保持版本锁定。
|
||
- 结论：Python 统计/Bayesian/心理测量/GPU 环境通过当前阶段运行验收。
|
||
- 下一步：导出精确 Python 锁定清单；安装并验收 R/CRAN 栈与 CUDA Toolkit/nvcc。
|
||
|
||
### A-20260920-020：安装并验证项目内 R 4.6.1
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，从 CRAN 官方站点下载 R 4.6.1 Windows x64 安装器，并静默安装到项目工具目录。
|
||
- 输入：`https://cran.r-project.org/bin/windows/base/R-4.6.1-win.exe`。
|
||
- 输出：`E:\Model\.tools\R-4.6.1`；安装器 SHA-256 为 `C5424C40CD70EF85765A55D2FF96BB602B5F30ED536938FF004F14DB5DB3C2DF`。
|
||
- 检查：`Rscript (R) version 4.6.1 (2026-06-24)`、UCRT、x64；基础启动成功。
|
||
- 异常：静默安装器首次返回时立即调用 Rscript 命中短暂落盘竞态，随后只读检查确认安装完整并复测通过；另发现当前 shell 的 `C.UTF-8` locale 设置在 Windows R 中产生警告，需在项目启动脚本中清理/修正。
|
||
- 未解决问题：CRAN 研究包尚未安装；项目 R 库与运行测试尚未建立。
|
||
- 下一步：创建项目专属 R library，安装 survey/srvyr、mirt、lavaan/semTools/psych、数据处理与复现包并执行烟雾测试。
|
||
|
||
### A-20260920-021：冻结 R 包清单与运行验收协议
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，识别 Windows R locale 覆盖来源，建立项目 R 包安装脚本和数值烟雾测试。
|
||
- 输入：工作流对复杂抽样、IRT/SEM、数据处理和复现性的要求；当前 shell 的 `LANG/LC_ALL/LC_CTYPE=C.UTF-8`。
|
||
- 输出：`install-r-packages.R`、`r-smoke-test.R`；更新 `activate-research.ps1`，加入 R_HOME、R_LIBS_USER、PATH 与 Windows locale 清理。
|
||
- 检查：包契约包括 survey/srvyr、mirt、lavaan/semTools/psych、Arrow/Haven/tidyverse 核心、renv/targets；测试覆盖加权均值、lavaan CFA、mirt 2PL 与 Parquet 往返。
|
||
- 可复现性修订：两个 R 脚本均从 `Rscript` 的 `--file=` 参数解析自身路径，不依赖当前工作目录或交互式调用栈。
|
||
- 未解决问题：CRAN 包尚未实际安装和运行。
|
||
- 下一步：安装项目 R library，导出版本并运行完整烟雾测试。
|
||
|
||
### A-20260920-022：安装并核对项目 R 研究包
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，从 CRAN 官方镜像安装项目 R 包及必需依赖到 `.r-library/4.6`。
|
||
- 输入：`install-r-packages.R`；CRAN Windows 4.6 二进制仓库。
|
||
- 输出：项目 R library；`research/environment/r-package-versions.json`。
|
||
- 检查：19 个顶层包全部安装并经 `packageVersion()` 核对，包括 survey 4.5、srvyr 1.3.1、mirt 1.47、lavaan 0.7-2、semTools 0.5-9、psych 2.6.5、arrow 25.0.1、renv 1.2.4、targets 1.12.0；安装命令返回成功。
|
||
- 未解决问题：包存在性已验证，但加权估计、CFA、2PL 和 Parquet 读写尚待运行测试。
|
||
- 下一步：执行 `r-smoke-test.R` 并根据实际运行结果修复。
|
||
|
||
### A-20260920-023：执行首轮 R 运行验收并发现判定漏洞
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，运行 R 包导入、复杂抽样加权均值、lavaan CFA、mirt 2PL 和 Arrow/Parquet 往返测试。
|
||
- 输入：项目 R 4.6.1 与 `.r-library/4.6`。
|
||
- 输出：`research/environment/r-smoke-test-result.json`（首轮结果，保留审计痕迹，下一轮将覆盖为最终结果）。
|
||
- 检查：19/19 顶层包导入通过；survey 加权均值、lavaan CFA 和 Arrow 往返通过；无 locale 警告。
|
||
- 失败事实：mirt 在独立随机 Bernoulli 数据上 500 次 EM 后未收敛；更重要的是，测试脚本仅记录 `converged=false` 却仍把该项标为 passed，属于验收逻辑错误。
|
||
- 修复：改用已知一维 2PL 生成机制模拟 500×8 响应矩阵；把未收敛显式提升为测试失败；最大 EM 周期设为 1000。
|
||
- 结论：R 环境尚不能在修复后复测前标记为最终通过。
|
||
- 下一步：重跑 R 烟雾测试，必须同时满足过程成功和 `mirt@OptimInfo$converged=true`。
|
||
|
||
### A-20260920-024：R 研究环境通过第二轮运行验收
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，执行修复后的完整 R 烟雾测试。
|
||
- 输入：R 4.6.1、项目 library、已知一维 2PL 模拟数据生成器。
|
||
- 输出：最终 `research/environment/r-smoke-test-result.json`。
|
||
- 检查：19/19 顶层包导入通过；survey 加权均值为有限值；lavaan CFA 明确收敛；mirt 2PL 在 500 名模拟受访者、8 个题目上明确收敛；Arrow Parquet 写入后读回 3×2 数据；命令返回成功且无 locale 警告。
|
||
- 结论：R 复杂抽样、IRT/SEM 和列式数据交换环境通过当前阶段运行验收。
|
||
- 下一步：安装 CUDA Toolkit/nvcc；随后导出 Python/R 锁定清单并更新环境审计。
|
||
|
||
### A-20260920-025：解析并冻结 CUDA Toolkit 官方安装源
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，从 NVIDIA 官方动态下载页解析 Windows x86_64 的 CUDA 13.4.2 安装器 URL、大小和校验和，并核对 Windows 安装指南。
|
||
- 输入：NVIDIA CUDA Toolkit 13.4.2 下载页与 Microsoft Windows 安装指南。
|
||
- 输出：网络安装器 `cuda_13.4.2_windows_x86_64_network.exe`；官方 URL 固定为 `https://developer.download.nvidia.com/compute/cuda/13.4.2/network_installers/cuda_13.4.2_windows_x86_64_network.exe`；大小 10,460,392 bytes；MD5 `a0810494c821437671d6e68e66f59daf`。
|
||
- 检查：官方文档确认 CUDA 13.1 起 Windows Toolkit 不再捆绑 GPU 驱动，故安装 Toolkit 不应替换现有驱动。
|
||
- 未解决问题：安装器尚未下载/校验/执行；nvcc 尚未验收。
|
||
- 下一步：下载并核对 MD5，静默安装 Toolkit，验证 nvcc 版本、目录和 PyTorch GPU 回归。
|
||
|
||
### A-20260920-026：安装 CUDA Toolkit 13.4.2
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，下载 NVIDIA CUDA 13.4.2 Windows x86_64 网络安装器，校验后执行完整静默安装；安装期间通过进程 CPU 和组件展开目录做只读健康检查。
|
||
- 输入：A-20260920-025 冻结的 NVIDIA 官方安装器。
|
||
- 输出：系统级 CUDA Toolkit 13.4.2；安装器保存在 `.downloads/cuda_13.4.2_windows_x86_64_network.exe`。
|
||
- 检查：下载文件 MD5 与官方值 `a0810494c821437671d6e68e66f59daf` 完全一致；安装器最终退出码为 0；期间观察到 cudart、cuSPARSE、cuSOLVER、NPP 等 13.4 组件展开，未启动第二安装实例。
|
||
- 未解决问题：需独立验证最终 nvcc、环境变量和 PyTorch GPU 回归；Windows C++ host compiler 状态尚未检查。
|
||
- 下一步：执行 Toolkit 与 GPU 回归验收，并判断是否需要补充 MSVC Build Tools。
|
||
|
||
### A-20260920-027：完成 CUDA Toolkit 基础与 GPU 回归验收
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，独立核验 Toolkit 目录、nvcc、NVIDIA 驱动、PyTorch GPU 运算和 Windows C++ host compiler。
|
||
- 输入：系统级 CUDA 13.4.2、现有 NVIDIA 驱动、项目 Python GPU 环境。
|
||
- 输出：CUDA 根目录 `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.4`。
|
||
- 检查：`nvcc` 报告 release 13.4 / V13.4.92；GPU 为 NVIDIA GeForce RTX 5060 Ti、驱动 596.36、显存 16,311 MiB；PyTorch 2.14.0+cu130 使用 CUDA runtime 13.0 完成 GPU 矩阵运算且结果有限；Visual Studio 2022 Community C++ 工具链已发现，无需另装 Build Tools。
|
||
- 未解决问题：尚需用 nvcc 和 MSVC 编译并运行最小 CUDA 程序，完成端到端 Toolkit 验收。
|
||
- 验收准备：新增 `research/environment/cuda-smoke.cu`，以单线程 kernel 将 41 增为 42；项目启动脚本已加入 CUDA_PATH 与 Toolkit `bin`。
|
||
- 下一步：编译/运行 CUDA smoke test；随后锁定环境与更新审计。
|
||
|
||
### A-20260920-028：确认 GPU 架构并修正 CUDA 编译调用
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，查询 GPU compute capability，并首次尝试以 Visual Studio 开发环境调用 nvcc。
|
||
- 输入：`cuda-smoke.cu`、Visual Studio 2022 Community、CUDA 13.4 nvcc。
|
||
- 输出：确认 RTX 5060 Ti compute capability 为 `(12, 0)`，编译目标应为 `sm_120`。
|
||
- 异常：嵌套 `cmd.exe` 命令对带空格的 `VsDevCmd.bat` 路径引号处理失败，编译器未实际启动，未生成或执行二进制。
|
||
- 修复方案：先从 `VsDevCmd.bat && set` 捕获开发环境变量并导入当前 PowerShell 进程，再直接调用 nvcc，避免多层命令字符串。
|
||
- 下一步：按修复方案重新编译并运行 smoke test。
|
||
|
||
### A-20260920-029：精确核验 MSVC 并统一 CUDA 构建 shell
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案；第二次编译已到达 nvcc，但导入 PowerShell 的 VS 环境未让 nvcc 找到 `cl.exe`；随后用 vswhere 精确核验 C++ 组件与编译器文件。
|
||
- 输入：Visual Studio Installer `vswhere.exe`、CUDA smoke 源码。
|
||
- 输出：确认 MSVC `cl.exe` 位于 `VC/Tools/MSVC/14.44.35207/bin/Hostx64/x64/cl.exe`；新增 `cuda-smoke-build.cmd`。
|
||
- 异常：跨进程导入 VsDevCmd 环境未满足 nvcc 的 host compiler 查找，报 `Cannot find compiler 'cl.exe' in PATH`。
|
||
- 修复：让 `vcvars64.bat`、nvcc 和测试程序在同一个 cmd 进程内顺序运行，避免跨 shell 环境复制。
|
||
- 下一步：运行统一构建脚本并验收结果 42。
|
||
|
||
### A-20260920-030：CUDA Toolkit 端到端验收通过
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，在同一 cmd 环境中加载 MSVC、以 nvcc `-arch=sm_120` 编译最小 CUDA kernel，并在 GPU 上运行。
|
||
- 输入：`cuda-smoke.cu`、`cuda-smoke-build.cmd`、MSVC 14.44、CUDA 13.4.92、RTX 5060 Ti。
|
||
- 输出：`research/environment/cuda-smoke.exe`（可重建测试产物）。
|
||
- 检查：编译和链接成功，运行输出 `cuda_smoke_result=42`，进程退出码 0；证明 nvcc、MSVC host compiler、CUDA runtime 与 GPU 的完整链路可用。
|
||
- 警告处理：MSVC 在中文代码页下对 NVIDIA 头文件产生 C4819 编码警告，不影响构建或运行；构建脚本已加 `/wd4819` 仅屏蔽该第三方头文件警告。
|
||
- 结论：CUDA Toolkit 13.4.2 通过当前阶段验收。
|
||
- 下一步：导出 Python/R 精确依赖清单、环境哈希和使用说明，更新 `environment_audit.md` 与本档案的风险状态。
|
||
|
||
### A-20260920-031：首次环境锁定失败并修正缓存路径
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，尝试导出 Python freeze、renv.lock、R 全包表与 session info。
|
||
- 输入：已通过验收的 Python/R 环境。
|
||
- 失败事实：`uv` 默认缓存 `C:\Users\Jino\AppData\Local\uv\cache` 和 renv 默认缓存 `C:\Users\Jino\AppData\Local/R/cache/R/renv` 均不可写；锁文件未生成。
|
||
- 修复：启动脚本新增 `UV_CACHE_DIR=E:\Model\.uv-cache` 与 `RENV_PATHS_ROOT=E:\Model\.cache\renv`；下一次锁定命令也将显式设置两者。
|
||
- 下一步：重跑全部锁定导出，并只在四个目标文件均存在后计算哈希。
|
||
|
||
### A-20260920-032：第二次锁定生成核心文件但全包表导出失败
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，使用项目缓存重跑 Python freeze 和 renv snapshot。
|
||
- 输出：已生成 `python-requirements.lock.txt` 与 `renv.lock`；renv 记录 R 4.6.1 和项目 CRAN 包。
|
||
- 异常：R 全包表固定索引 `Repository` 列，但本机 `installed.packages()` 结果没有该列，触发 `subscript out of bounds`；同时 renv 只收到项目库路径，因而把 R 自带推荐包（MASS、Matrix、survey 依赖等）误报为缺失。
|
||
- 修复方案：向 renv 同时传入项目 library 与 `.Library`，全包 CSV 仅选择实际存在的列；重新生成所有 R 锁定辅助文件并统一核验。
|
||
- 结论：已有锁文件视为中间产物，尚未完成最终验收。
|
||
- 下一步：按修复方案重跑 R snapshot/导出并计算全部哈希。
|
||
|
||
### A-20260920-033：完成 Python/R 环境锁定与哈希核验
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，以项目缓存和完整 R library 搜索路径重跑锁定导出；逐文件检查存在性并计算 SHA-256。
|
||
- 输出：`python-requirements.lock.txt`（195 包）、`renv.lock`（119 包）、`r-installed-packages.csv`（134 行）、`r-session-info.txt`，以及现有 Python/R 测试 JSON。
|
||
- 检查：七个要求产物均存在且非空；哈希已取得，将写入正式环境审计。
|
||
- 异常：一次 PowerShell 表格序列化只显示占位列，随后改用纯文本逐行输出，成功取得完整哈希；文件本身未受影响。
|
||
- 下一步：更新环境审计、使用说明与进度风险状态。
|
||
|
||
### A-20260920-034：正式环境审计替换补丁被工具拒绝
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：尝试在单一补丁中删除并重新新增 `environment_audit.md`，同时创建 README 和更新进度状态。
|
||
- 结果：补丁工具拒绝同一文件的多重操作；未修改任何目标文件。
|
||
- 修复方案：将审计文件替换拆成独立删除与新增步骤，再单独添加 README 和进度变更。
|
||
- 下一步：按拆分方案完成文档收尾并复核。
|
||
|
||
### A-20260920-035：完成环境补强文档收口与最终一致性复核
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：重新读取工作流与进度档案，更新正式环境审计与使用说明，复核锁文件、测试 JSON、依赖一致性和 CUDA 可重建性，并清理当前状态中的旧阻断措辞。
|
||
- 输出：更新 `research/audit/environment_audit.md`；新增 `research/environment/README.md`；更新本档案至 v1.2。
|
||
- 检查：8 个要求产物均存在且非空；Python 测试失败数 0，R 测试失败数 0，mirt `converged=true`；`pip check` 无断裂依赖；CUDA 重新编译运行输出 42；环境审计记录七项 SHA-256。
|
||
- 工具异常：README/进度联合补丁因补丁区块顺序与文件行序不一致而被整体拒绝一次；拆分并按行序重排后成功，未丢失内容。
|
||
- 结论：用户要求的 R、CUDA Toolkit 与缺失 Python/R 研究包已安装、验证、锁定并归档。阶段 0 环境风险解除。
|
||
- 未解决问题：具体嵌入模型权重和许可尚未冻结；这是阶段 5 前的研究治理任务，不是环境安装缺陷。
|
||
- 下一步：进入阶段 1，建立有来源证据的题库与回答层。
|
||
|
||
### A-20260920-036：最终交付完整性确认
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：0（环境补强）
|
||
- 动作：按强制规则重新读取工作流与进度档案，逐项检查环境审计、使用说明、输入/锁定文件、Python/R 测试结果和 CUDA 构建脚本。
|
||
- 检查：8 个核心交付文件全部存在且非空；进度版本为 1.2，当前阶段与下一行动表述一致；正式环境审计明确标记 `passed` 并记录 CPython 3.12.14、R 4.6.1、CUDA Toolkit 13.4.2 和 CUDA 结果 42。
|
||
- 结论：本次工具补强请求完成，无待安装的工作流关键环境依赖。
|
||
- 下一步：阶段 1 题库与回答层。
|
||
|
||
### A-20260920-037：审计 Git 初始化条件
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：按强制规则读取工作流、进度档案与 `AGENTS.md`，核对项目根目录、Git 用户身份和远程配置。
|
||
- 输入：`E:\Model` 根目录、全局 Git 配置。
|
||
- 检查：当前尚无 Git 仓库；全局提交身份已配置为 `Jinotech <benlovedog@gmail.com>`；未发现可用远程地址。
|
||
- 决定：以 `main` 初始化本地仓库；排除 Dataset、解释器、虚拟环境、R library、安装器和缓存，纳入研究代码、协议、审计、锁文件与进度档案。
|
||
- 推送状态：`push_pending`；原因是尚无远程 URL，不影响本地初始化和首个提交。
|
||
- 下一步：建立 `.gitignore`，把逐行动提交/推送协议写入 `AGENTS.md`，初始化并审计暂存范围。
|
||
|
||
### A-20260920-038：核对首个 Git 提交的目录规模
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流与进度档案，递归统计顶层目录文件数与容量。
|
||
- 检查：`Dataset` 约 19.06 GiB；`.uv-cache` 约 4.76 GiB；`.venv-research` 约 4.39 GiB；`.r-library` 约 0.23 GiB；`.tools` 约 0.19 GiB；`.downloads` 约 0.10 GiB，均不应进入 Git。`LLM-based Agent构建` 约 0.33 GiB，需检查其大文件后再决定细粒度忽略。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：检查 `LLM-based Agent构建` 最大文件，随后冻结 `.gitignore`。
|
||
|
||
### A-20260920-039：审计本地 LLM 文献归档的大文件
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流与进度档案，检查 `LLM-based Agent构建` 的最大文件。
|
||
- 检查：该目录约 0.33 GiB，主要为 72 个本地 PDF 文献副本；单文件最大约 26.70 MiB。当前心理测量项目已有可审计的文献矩阵与来源链接，不需要把这批相邻主题 PDF 二进制纳入首个仓库。
|
||
- 决定：将整个 `LLM-based Agent构建/` 作为本地参考归档排除，避免无必要地膨胀远程历史；不删除原文件。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：创建 `.gitignore` 并更新 `AGENTS.md` 的 Git 提交/推送协议。
|
||
|
||
### A-20260920-040：冻结版本化边界与逐行动 Git 协议
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流与进度档案，创建根目录 `.gitignore`，并在 Codex 实际识别的 `AGENTS.md` 中加入强制 Git 协议。
|
||
- 输出：`.gitignore`；更新 `AGENTS.md`。
|
||
- 检查：规则要求每项推进在验证和更新进度后形成独立提交；已配置远程时立即 push；无远程或推送失败时必须记录 `push_pending/push_failed`，不得虚报。原始数据、环境、安装器、缓存、模型权重和可重建二进制明确排除。
|
||
- 说明：用户口述的 `AGENT.md` 对应本项目已存在且被 Codex 识别的 `AGENTS.md`，故更新现有文件而不建立冲突的第二份规则文件。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：初始化 `main` 仓库，检查忽略结果与待提交文件大小，然后创建首个提交。
|
||
|
||
### A-20260920-041：初始化 Git 仓库并遇到安全所有权检查
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流与进度档案，在 `E:\Model` 初始化 `main` 分支仓库并尝试读取状态/忽略规则。
|
||
- 输出：`E:\Model\.git`，空仓库初始化成功。
|
||
- 异常：Git 检测到目录所有者为 Windows Administrators、当前受控账户为 CodexSandboxOffline，因 `dubious ownership` 拒绝状态读取。
|
||
- 修复方案：仅将精确项目路径 `E:/Model` 加入全局 `safe.directory`，不使用通配符或关闭全局安全检查。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：应用精确安全例外并重新审计忽略范围。
|
||
|
||
### A-20260920-042：应用精确 Git 安全例外并验证忽略边界
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流与进度档案，将 `E:/Model` 精确加入全局 `safe.directory`，重新读取仓库状态并逐项检查忽略命中。
|
||
- 检查：Git 状态可正常读取；候选顶层仅有 `.gitignore`、`.learnings/`、`AGENTS.md`、`Document/`、`Progression.md` 和 `research/`。Dataset、Python/R 环境、工具安装目录、下载、缓存、本地 PDF 归档及 CUDA 可执行文件均由预期规则排除。
|
||
- 安全边界：未使用 `safe.directory=*`，只放行当前仓库绝对路径。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：审计候选文件数量、总容量和最大文件，确认后暂存首个提交。
|
||
|
||
### A-20260920-043：发现并排除嵌套 node_modules
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流、进度档案和 Git 状态，统计未跟踪候选文件及最大文件。
|
||
- 检查：初始候选为 7,832 个文件、约 320.92 MiB；最大文件均位于 `research/experiments/node_modules`，属于可重建工具依赖。
|
||
- 修复：`.gitignore` 新增 `**/node_modules/`，保留实验目录中的源文件和配置但排除依赖树。
|
||
- 附带警告：Git 无法读取用户级 `C:\Users\Jino\.config\git\ignore`，不影响项目级 ignore；不为此扩大文件系统权限。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：重新审计候选规模，确认后暂存。
|
||
|
||
### A-20260920-044：确认首个提交候选集安全且轻量
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流、进度档案与 Git 状态，应用新 ignore 后重新统计全部候选路径。
|
||
- 检查：候选集降至 36 个文件、约 1.25 MiB；最大单文件约 0.32 MiB。候选仅包含规则/进度、项目说明、研究协议与审计、环境脚本/锁文件/测试结果、文献矩阵及其生成脚本；没有原始数据、环境目录、node_modules、安装器、模型权重或可执行文件。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：暂存 36 个候选文件，检查 staged diff/stat 后创建首个提交。
|
||
|
||
### A-20260920-045：首次暂存因 `.git` 写权限受限而失败
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流、进度档案与 Git 状态，尝试暂存全部已审计候选并查看 staged diff。
|
||
- 结果：`git add` 无法创建 `.git/index.lock`，没有文件进入暂存区；工作树内容未变。
|
||
- 修复方案：以用户已授权的仓库写操作权限重试；Git 命令显式设置 `core.excludesFile=NUL`，避免不可读用户级 ignore 警告，同时继续使用项目 `.gitignore`。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：提升仅 Git 索引写入所需权限，重新暂存和核对。
|
||
|
||
### A-20260920-046：无效 excludesFile 覆盖导致第二次暂存前退出
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：在获准的 Git 索引写权限下重试暂存，并尝试用 `core.excludesFile=NUL` 消除不可读用户级 ignore 警告。
|
||
- 结果：Git for Windows 报 `cannot use NUL as an exclude file`，在写索引前退出；暂存区仍为空。
|
||
- 修复：移除非必要的 excludesFile 覆盖，接受不影响项目 `.gitignore` 的用户级警告，直接执行已授权的 `git add -A`。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：无覆盖地暂存并核对 staged 范围。
|
||
|
||
### A-20260920-047：暂存并核对首个仓库快照
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取工作流、进度档案与 Git 状态，在获准的仓库元数据写权限下暂存全部已审计候选，并检查 staged stat 与逐文件状态。
|
||
- 检查：36 个文件全部为新增；约 9,150 行；仅含两个小型二进制研究产物（10 KiB 工作簿、约 328 KiB 预览图）；暂存清单与 A-20260920-044 的边界一致。
|
||
- 警告：Git 提示部分 LF 文件未来可能按 Windows 配置转为 CRLF；当前内容与暂存均成功，不作为阻断。
|
||
- 推送状态：`push_pending`，远程仍未配置。
|
||
- 下一步：把本条记录重新暂存，创建首个提交并验证 HEAD/工作树/远程状态。
|
||
|
||
### A-20260920-048：准备创建首个可复现仓库提交
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：将以非交互式提交 `chore(repo): initialize reproducible research workspace` 固化工作流、项目记忆、阶段 0 产物、环境锁与 Git 治理规则。
|
||
- 完成条件：提交命令成功、HEAD 可解析、提交后工作树无意外未提交文件。
|
||
- 推送状态：`push_pending`；没有远程 URL，无法执行真实 `git push`，不得声称已推送。
|
||
- 下一步：创建并验证提交；待用户提供远程 URL 后设置 `origin` 并推送 `main`。
|
||
|
||
### A-20260920-049：建立剩余工作量估算基线
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：重新读取完整研究工作流与进度档案，依据 Gate 依赖、当前交付状态、人工来源核验需求和模型计算复杂度，估算阶段 1–8 的剩余工作量。
|
||
- 当前基线：阶段 0 已通过；阶段 1–8 尚未开始。按一名全职研究者/工程代理、数据可读且不发生重大许可阻断计，剩余约 21–41 人周；受 Gate 串行依赖限制，较现实的日历时间约 6–10 个月。
|
||
- 近期里程碑：完成 Gate 2 并得出“潜变量路线是否可识别”的可靠结论，约需 5–10 周；完成 Gate 5 的低成本语义增益判定，累计约需 12–23 周。
|
||
- 计算量：预计另有约 2–8 GPU 周和若干 CPU/R/PyMC 批处理，可与资料审核和写作部分重叠；这不是额外相加的人周。
|
||
- 不确定性：官方问卷/布局获取、两名实际审核者、抽样设计复核、题目连接不足、稀有事件以及 Bayesian 采样稳定性，均可能使工期超出上限；若 Gate 2 或 Gate 5 否定复杂路线，转为边界性结果可缩短后半程。
|
||
- 推送状态：`push_pending`；本地仓库已有提交，但仍未配置远程 URL。
|
||
- 下一步：启动阶段 1 schema 与三套调查入口的只读结构核验。
|
||
|
||
### A-20260920-050：配置 origin 并验证首次推送
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：按用户明确授权，将 `https://git.jinome.org/Jinovo` 配置为 `origin`，随后尝试把本地 `main` 的两个待推提交推送并设置上游。
|
||
- 输入：用户提供的远端地址；本地提交 `1e7cc2a` 与 `26ec4ca`。
|
||
- 输出：`.git/config` 中已存在 `origin`，fetch/push URL 均为用户提供的 HTTPS 地址。
|
||
- 检查结果：服务器可连接，但返回 `Not found`；Git 报目标仓库不存在或当前凭据不可见。没有提交上传，本地历史未改变。
|
||
- 推送状态：`push_failed`。
|
||
- 未解决问题：当前地址可能只是用户/组织路径而不是具体仓库 clone URL，也可能需要认证；必须取得完整仓库 URL 或有效访问凭据，不能擅自猜测仓库名。
|
||
- 错误记录：`.learnings/ERRORS.md` 的 `ERR-20260920-024`。
|
||
- 下一步：用户提供服务器显示的完整 clone URL（通常含具体仓库名，可能以 `.git` 结尾）后，更新 `origin` 并重新推送全部本地提交。
|
||
|
||
### A-20260920-051：启动远端仓库创建并等待用户登录
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：按用户授权打开 `git.jinome.org`，确认服务为 Gitea 1.27.3，并检查 `Jinovo` 账户当前仓库状态及创建入口。
|
||
- 输入：用户主页 `https://git.jinome.org/Jinovo`；拟创建仓库名 `language-conditioned-psychometric-harmonization-model`。
|
||
- 检查结果：公开主页显示该账户目前没有可见仓库；当前浏览器会话未登录，访问创建功能前被引导至登录页。
|
||
- 当前状态：`blocked`；认证密码必须由用户本人在已显示的 Gitea 登录页输入，自动化不会读取或代填密码。
|
||
- 推送状态：`push_failed`；远端仓库尚未创建，现有 `origin` 仍指向不完整的账户路径。
|
||
- 下一步：用户完成网页登录并回复“已登录”后，创建具体仓库、取得 clone URL、更新 `origin`、推送 `main` 并验证远端提交。
|
||
|
||
### A-20260920-052：创建远端仓库并完成首次推送
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：项目治理
|
||
- 动作：在用户完成 Gitea 登录后，创建公开仓库 `Jinovo/language-conditioned-psychometric-harmonization-model`；服务端不初始化 README、许可证或 `.gitignore`，以保护现有本地历史；更新本地 `origin`，并在用户授权 Git Credential Manager 后推送 `main`。
|
||
- 输出：仓库页面 `https://git.jinome.org/Jinovo/language-conditioned-psychometric-harmonization-model`；clone URL `https://git.jinome.org/Jinovo/language-conditioned-psychometric-harmonization-model.git`。
|
||
- 检查结果：仓库创建页面成功跳转到具体项目；完整 remote URL 已核对；四个既有本地提交成功上传；本地 `main` 已设置跟踪 `origin/main`，推送后两端 HEAD 均为 `e162e64`。
|
||
- 安全处理：未让服务端生成冲突历史；未读取、记录或写入任何密码/令牌；无响应的首次认证等待被安全终止，随后使用用户已授权的 Credential Manager 完成认证。
|
||
- 推送状态：`pushed`。
|
||
- 错误状态：`ERR-20260920-024`、`ERR-20260920-025`、`ERR-20260920-026` 均已解决；一次无副作用的补丁上下文失败记为已解决的 `ERR-20260920-027`。
|
||
- 下一步：提交并推送本行动记录；随后按阶段 1 计划建立数据实体 schema，并只读核验 GSHS、YRBS、NSDUH 候选入口。
|
||
|
||
### A-20260920-053：冻结阶段 1 数据契约并完成候选入口结构审计
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：完整读取工作流与进度档案；按来源验证边界建立阶段 1 机器可读数据契约；流式核验 GSHS 主表，并只读核验 YRBS/NSDUH Parquet 的行列、年度和设计字段覆盖。
|
||
- 输入：GSHS `GSHS.csv`；YRBS `yrbs_1991_2019_selected.parquet`；NSDUH 2021–2024 full/selected Parquet；现有 README、变量注意事项与质量检查。
|
||
- 输出：`research/stage1/stage1_data_contract.json`、`audit_input_sources.py`、`input_structure_audit.json`、`input_structure_audit.md`。
|
||
- 检查：两份 JSON 均通过解析；GSHS 实测 673,499×637、191 个组件键；YRBS 实测 217,341×79；NSDUH 实测 232,441 行、full 2,638 列、selected 151 列；所有预期入口字段存在。
|
||
- 新证据：GSHS 三个设计候选字段各缺 20 行；YRBS 1997 有 1 行设计字段缺失，2017/2019 的 PSU/stratum 全缺且权重仅部分存在；NSDUH 四个权重列在全部年度均非空且为正，需要官方指南解释适用语义。
|
||
- 质量边界：所有审核状态默认 `provisional`；本次未批准题目等价、构念、缺失重编码、锚题或复杂抽样方差方法；Gate 1 未通过。
|
||
- 工程修复：内联聚合的 Python 语法失败和 pandas 内存耗尽分别记录为已解决的 `ERR-20260920-028`、`ERR-20260920-029`；最终脚本使用标准 CSV 流式扫描。
|
||
- 推送状态：`pushed`；提交 `5c31417` 已推送至 `origin/main`。
|
||
- 下一步：建立主要结局来源登记骨架；优先核验 GSHS/NSDUH 的意念、计划、尝试题与适用总体，并追查 YRBS 2017/2019 设计字段缺口。
|
||
|
||
### A-20260920-054：建立主要结局来源登记骨架
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：完整读取工作流与进度档案；从 GSHS 数据字典、YRBS selected 字典、NSDUH complete 字典及 full/selected Parquet schema 中提取自杀意念、计划、尝试候选；严格分开原始青少年题、派生变量、成人模块、COVID 条件题与复合指标。
|
||
- 输入：GSHS `GSHS_数据字典.xlsx` 的 `Master_Columns`；YRBS `yrbs_selected_variable_dictionary.csv`；NSDUH `nsduh_complete_variable_dictionary.csv` 及 2021–2024 full/selected Parquet schema。
|
||
- 输出：`research/stage1/build_primary_outcome_registry.py`、`primary_outcome_registry.json`、`primary_outcome_registry.md`；更新 `.learnings/ERRORS.md` 的已解决 `ERR-20260920-030`。
|
||
- 检查：脚本通过 `py_compile`；JSON 可解析；65 条原始候选全部为 `provisional`、审核者为空、连接状态为 `not_evaluated`；分布为 GSHS 6 条、YRBS 51 条、NSDUH 8 条；另隔离 8 条 NSDUH 青少年派生记录和 40 条成人/COVID/派生或复合排除记录；语义断言和 `git diff --check` 通过。
|
||
- 新证据：GSHS 自杀尝试同时存在二分类与次数型版本，不能自动合并；YRBS 每个主要构念有 17 个年度候选，2021/2023 仍只保留元数据且数据隔离；NSDUH 本地完整字典只暴露青少年意念与计划，未找到青少年尝试变量，`YSUI03`–`YSUI05` 仅在模块迁移说明中出现。
|
||
- 质量边界：未直接核验年度 PDF/代码本页码；没有把 AI 检查登记为人类审核；没有批准任何构念等价、缺失重编码、题目家族或锚定关系。Gate 1 仍为 `in_progress`。
|
||
- 工程修复：一次只读工作簿筛选错误使用 `column` 而非 `column_name`，无数据改动；修正后成功并记录为已解决的 `ERR-20260920-030`。
|
||
- 提交状态：本地提交 `fb30b60` 已创建。
|
||
- 推送状态：`pushed`；首次推送因缓存凭据被拒绝，随后仅清除 `git.jinome.org` 的失效条目并通过 Git Credential Manager 重新授权，提交 `fb30b60` 与审计提交 `ca67e1f` 已推送，`ERR-20260920-031` 已解决。
|
||
- 下一步：直接核验 NSDUH 年度青少年问卷/代码本中的 `YSUI03`–`YSUI05` 与公开数据字段关系，同时建立 GSHS 组件级题目版本来源映射。
|
||
|
||
### A-20260920-055：核清 NSDUH 青少年自杀尝试题与公开数据可用性
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前完整读取 `Document/research-workflow.md`、本进度档案并核对干净 Git 状态；以官方 2021–2023 restricted-use codebook、2024 questionnaire web specification、2024 methodology summary 和 public-use guide 核验 `YSUI03`–`YSUI05`，同时检查本地 complete dictionary 与 full/selected Parquet schema。
|
||
- 输入：SAMHSA 六项官方来源；本地 `nsduh_complete_variable_dictionary.csv`、`nsduh_2021_2024_full.parquet`、`nsduh_2021_2024_selected.parquet`。
|
||
- 输出：新增 `verify_nsduh_youth_attempt.py`、`nsduh_youth_attempt_source_audit.json`、`nsduh_youth_attempt_source_audit.md`；更新主要结局登记生成脚本及 v1.1 JSON/报告；更新 `.learnings/ERRORS.md`。
|
||
- 检查：两个脚本通过 `py_compile`；机器审计确认 `YUSUICTRY`、两种已见派生拼写、医疗关注与住院随访共 7 个字段在本地 complete/full/selected 三处全部不存在；主要结局登记现有 69 条候选，其中 NSDUH 每个构念各 4 个年度来源记录，尝试记录全部明确标为本地不可分析；所有记录仍为 `provisional`，语义断言与 `git diff --check` 通过。
|
||
- 新证据：`YSUI03/YUSUICTRY` 是 12–17 岁过去 12 个月尝试题，计划与尝试对所有该年龄受访者施测，不以意念阳性为前提；`YSUI04` 仅在尝试为是时询问医疗关注，`YSUI05` 仅在医疗关注为是时询问过夜住院；2021 位于 youth mental health service utilization，自 2022 起移至 youth experiences；2024 public-use guide 明确 `YUSUITRYYR` 因披露风险从文件排除。
|
||
- 决策：撤销“可能未施测”的解释，改为“已施测但当前公开使用微数据不可用”。NSDUH 当前只可用于青少年意念和计划的个体层外部验证；尝试不能由意念、计划、COVID 条件题或随访题推导。
|
||
- 质量边界：SAMHSA PDF 端点对网页读取、浏览器和直接下载均返回 HTTP 403；本次使用官方索引文本与可访问 HTML 交叉核验，未声称完成 PDF 页面视觉复核。两名实际审核者仍未签字，Gate 1 保持 `in_progress`。
|
||
- 工程记录：读取限制登记为已解决的 `ERR-20260920-032`；解决指已找到可审计替代证据路径，不表示 PDF 端点恢复。
|
||
- 推送状态：`pushed`；研究增量提交 `7d50ae6` 已推送至 `origin/main`，本地与远端 HEAD 核对一致。
|
||
- 下一步：建立 GSHS 191 个组件中的主要结局题目版本与来源映射，保持 `_b_`、无前缀、二分类和频数型版本分离。
|
||
|
||
### A-20260920-056：完成 GSHS 191 组件主要结局与表示关系审计
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前完整读取 `Document/research-workflow.md`、本进度档案并核对干净 Git 状态；流式扫描 GSHS 673,499 行；将 191 个已选组件与组件登记逐一核对；读取六个国家/地区的本地问卷、常规代码本和 Binary Codebook，并对 Ghana 关键 PDF 页做视觉复核。
|
||
- 输入：`GSHS.csv`、`调查组件筛选明细.csv`、GSHS 数据字典；Ghana、India、Jamaica、Mongolia、Morocco、Wallis and Futuna 的国家/地区问卷与代码本。
|
||
- 输出：新增 `audit_gshs_primary_outcome_components.py`、`gshs_primary_outcome_component_audit.json`、`gshs_primary_outcome_component_audit.md`；主要结局登记升级至 v1.2；更新 `.learnings/ERRORS.md`。
|
||
- 检查：脚本通过 `py_compile`；JSON 可解析；191 个组件与登记完全一致，673,499 行全部覆盖，组件行数不一致为 0；仅 7 个组件有主要结局值，184 个没有；六个有结局组件具备本地直接来源，Solomon Islands 2023 尚缺；三组原始/`_b_` 关系均无异常组合。
|
||
- 新证据：常规代码本中的 `MH_CONSIDERSUI`、`MH_PLANSUI`、`MH_ATTEMPTSUI` 是三项实际施测题；Binary Codebook 把 `MH_B_*` 定义为比例指标。逐行数据进一步确认意念和计划的 `_b_` 与原始二元编码完全相同，尝试的 `_b_` 精确按“0 次=否、1 次及以上=是”派生。因此 `_b_` 不再作为独立施测题计数；登记候选由 69 条降为 66 条，另有 11 条派生/非独立记录。
|
||
- 质量边界：六个组件的文件语言只证明可用来源语言，不自动证明每名受访者的实际施测语言；Solomon Islands 直接来源、确切年龄/年级总体、规范缺失原因和两名实际审核者仍未完成。所有记录保持 `provisional`，Gate 1 仍为 `in_progress`。
|
||
- 工程记录：重复的 pandas 全表内存耗尽改为固定列索引的流式扫描，记为已解决 `ERR-20260920-033`；项目环境未安装可选文档解析器和错误目录假设分别记为已解决 `ERR-20260920-034`、`ERR-20260920-035`，未把可选解析器无必要地加入正式建模环境。
|
||
- 推送状态：`pushed`；研究增量提交 `f0a4538` 已推送至 `origin/main`。
|
||
- 下一步：直接复核 YRBS 年度主要结局问卷/代码本，继续隔离 2021/2023 数据，并形成三套调查的回答编码与缺失规则草案。
|
||
|
||
### A-20260920-057：完成 YRBS 年度主要结局直接来源审计并纠正列映射
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前完整读取工作流与进度档案并核对干净 Git 状态；逐年读取 1991–2023 共 17 份国家高中问卷和对应数据用户指南/代码本；分开登记“问卷印刷题号”与“发布数据变量号”；对 1991–2019 年度完整 Parquet 的正确列执行值域检查，并视觉复核 1995 与 2023 的代表性来源页。
|
||
- 输入：`documentation/Questionnaire` 的 17 份官方问卷、`documentation/UserGuide` 的 17 份官方指南、15 个 1991–2019 年度 full Parquet、现有 `yrbs_selected_variable_dictionary.csv`。
|
||
- 输出：新增 `audit_yrbs_primary_outcome_sources.py`、`yrbs_primary_outcome_source_audit.json`、`yrbs_primary_outcome_source_audit.md`；主要结局登记改用直接来源 crosswalk；更新 `.learnings/ERRORS.md`。
|
||
- 检查：51 条主要结局记录均有问卷和数据指南来源；15 个可用年度的正确列均存在，观测编码全部落在官方值域；2021/2023 保持隔离；脚本和 JSON 校验通过。
|
||
- 新证据：现有登记在 1995、2001、2003、2005、2007、2009、2011 共 7 年把 21 条主要结局映射到错误数据列。原因是把印刷问卷题号、数据用户指南变量号或自动提取结果混用；例如 1995 正确列为 `Q22/Q23/Q24`，旧登记却为 `Q30/Q31/Q32`。正确列仍存在于年度完整数据，因此属于 crosswalk 缺陷而非原始数据丢失。登记现已改为用户指南变量，并单独保留印刷题号。
|
||
- 质量边界：年度指南只把无值统一报告为 Missing，未区分拒答、合法跳题或数据错误；不能无依据细分。问卷为英语来源，不自动证明所有语言便利措施。两名实际审核者仍未签字，Gate 1 保持 `in_progress`。
|
||
- 工程记录：PDF 诊断文本首次受 Windows 控制台编码影响中止，改用 UTF-8 输出后完成，记为已解决 `ERR-20260920-036`；Poppler 字体警告未影响关键页视觉内容。
|
||
- 推送状态：`pushed`；研究增量提交 `a7ac525` 已推送至 `origin/main`。
|
||
- 下一步：建立三套调查主要结局的正式回答字典与保守缺失规则，生成双人审核队列；并定位 Solomon Islands 2023 GSHS 直接来源。
|
||
|
||
### A-20260920-058：补齐 Solomon Islands 2023 GSHS 官方条目来源
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前完整读取工作流与进度档案并核对干净 Git 状态；检索 WHO NCD Microdata Repository 的 `SLB_2023_GSHS_v01` 研究页和三个逐题变量页；把官方目录证据纳入 GSHS 组件审计与主要结局登记。
|
||
- 输入：WHO catalog 992 study metadata；变量 `V39`（意念）、`V40`（计划）、`V41`（尝试）；本地 Solomon Islands 1,995 行组件。
|
||
- 输出：GSHS 组件审计升级至 v1.1，主要结局登记升级至 v1.4；所有七个有主要结局的 GSHS 组件现均有直接条目来源。
|
||
- 检查：官方目录的三项 literal question、1/2 或 1–5 回答类别、有效/无效例数与本地组件逐项一致：意念 1,890/105、计划 1,953/42、尝试 1,963/32；研究页明确总体为 13–17 岁在校青少年、Form 1–6，并描述两阶段整群抽样。脚本重跑后直接条目来源为 7/7、待来源为 0。
|
||
- 质量边界：未在官方 related-materials 中取得 2023 国家问卷文件，实际施测语言仍不能由英语目录元数据推断；因此语言字段保持 `provisional`。这不再是题文、编码或总体来源缺口。
|
||
- 推送状态：`pushed`；研究增量提交 `e5e301e` 已推送至 `origin/main`。
|
||
- 下一步：生成三套调查正式回答字典、保守缺失规则及双人审核队列；随后验证 YRBS 2021/2023 导入。
|
||
|
||
### A-20260920-059：生成主要结局 Gate 1 结构化包与人工双审队列
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前完整读取 `Document/research-workflow.md`、本进度档案并核对干净 Git 状态；以 GSHS 组件审计、YRBS 年度直接来源审计和 NSDUH 主要结局登记为输入，生成可重复构建的正式题目层、回答字典、构念本体、设计登记、候选连接、来源冲突表和人工双审队列。
|
||
- 输出：新增 `build_primary_outcome_package.py`、`item_bank.csv`、`response_dictionary.csv`、`survey_design.csv`、`construct_ontology.yaml`、`item_links.csv`、`source_conflicts.csv`、`primary_outcome_human_review_queue.csv`、`primary_outcome_package.md`；更新 `.learnings/ERRORS.md`。
|
||
- 检查：脚本通过可重复构建及断言；84 个题目实例 ID 全部唯一（GSHS 21、YRBS 51、NSDUH 12），396 条回答编码覆盖全部题目，28 条调查/组件设计记录、9 条仅为候选的跨调查构念连接和 32 条来源冲突/证据缺口已生成；84 条双审队列逐项对应题库；所有 reviewer 字段为空、所有连接均为 `not_approved`，每题均有来源指针与总体说明。
|
||
- 编码决策：GSHS/YRBS 尝试次数保留五级 `zero/one/two_or_three/four_or_five/six_or_more`，不在原始字典中静默二分；NSDUH 的“不确定”保留为观测类别，拒答、不知道、数据错误、空白和合法跳题分别保留为缺失类型；任何未知缺失均不得自动转为阴性。
|
||
- 冲突登记：21 条 YRBS 旧映射作为已由直接来源解决的冲突保留审计轨迹；7 个 GSHS 组件的实际施测语言证据缺口和 4 个 NSDUH 尝试题的公用微数据访问缺口保持开放。
|
||
- 设计边界：GSHS 使用规范化权重/PSU/stratum 候选字段；YRBS 2017/2019 设计字段缺口及 2021/2023 导入隔离被显式标记；NSDUH 的 `ANALWT2_C1`–`C4` 年度适用映射未凭猜测选择。所有设计记录仍为 provisional。
|
||
- 工程记录：一次 NSDUH Parquet 字段名假设错误与一次 YRBS 尝试题响应形态假设错误均无数据改动，并分别记录为已解决的 `ERR-20260920-037`、`ERR-20260920-038`；后者由 fail-closed 检查在生成文件前中止，修正后重建通过。
|
||
- 质量边界：本行动没有生成 `responses_long.parquet`，没有解除 YRBS 2021/2023 隔离，没有解决 NSDUH 尝试题的数据访问，也没有将 AI 检查登记为人工审核。Gate 1 保持 `in_progress`。
|
||
- 推送状态：`pushed`；研究增量提交 `f7e0dbb` 已推送至 `origin/main`。
|
||
- 下一步：按官方 SAS 程序与布局验证并导入 YRBS 2021/2023；随后从已通过来源和编码检查的可用年度生成 `responses_long.parquet`，并安排两名实际审核者处理队列。
|
||
|
||
### A-20260920-060：按官方 SAS 布局导入并解除 YRBS 2021/2023 隔离
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前再次完整读取工作流与进度档案并核对干净 Git 状态；解析 CDC 官方 2021/2023 SAS Input 程序的定长字段位置，以源文件 SHA-256、逐行长度、主结局值域、设计字段完整性和 Parquet 往返读取作为解除隔离条件。
|
||
- 输入：2021/2023 官方 SAS Input/Formats 程序、CDC 下载归档中的 `.dat`、本地 raw `.dat`、年度问卷与用户指南。
|
||
- 输出：新增 `import_yrbs_2021_2023.py`、`yrbs_2021_2023_import_audit.json`、`yrbs_2021_2023_import_audit.md`；生成忽略于 Git 的 `yrbs_2021_full.parquet` 与 `yrbs_2023_full.parquet`；重建 YRBS 来源审计、主要结局登记和结构化包。
|
||
- 检查：本地 raw 与 CDC 归档副本逐字节一致；两年每行均为 421 字节。2021 解析 17,232×239，2023 解析 20,103×252；两年 weight/stratum/PSU 均全量非空；Q26–Q28（2021）及 Q27–Q29（2023）观测值全部位于官方 1–2/1–5 值域；Parquet 写入后往返形状一致。YRBS 来源审计现为 17/17 年可用、隔离 0 年、值域失败 0。
|
||
- 状态变更：仅解除“导入布局隔离”；题目仍为 `provisional`，不等于设计方差方法已批准或人类双审已完成。
|
||
- 工程记录：SAS 标题注释中的 `Input` 误匹配和数值缺失符号 `.` 两个解析边界均在接受输出前失败关闭，修正并记录为 `ERR-20260920-039`。
|
||
- 推送状态：`pushed`；研究增量提交 `a6df01d` 已推送至 `origin/main`。
|
||
- 下一步：用当前题库/回答字典生成跨调查 `responses_long.parquet`，保留 eligibility、observed status 与各类缺失；同时准备实际双人审核安排。
|
||
|
||
### A-20260920-061：生成并验证主要结局回答长表
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前完整读取工作流与进度档案并核对干净 Git 状态；以 `item_bank.csv` 和 `response_dictionary.csv` 为唯一映射源，流式处理 GSHS，读取 17 个 YRBS 年度完整表，并将 NSDUH 限定为官方 `CATAG2=1`（12–17 岁）青少年，生成 Gate 1 回答长表。
|
||
- 输出：新增 `build_responses_long.py`、`responses_long_manifest.json`、`responses_long_audit.md`；生成忽略于 Git 的 `Dataset/可直接分析数据包_NSDUH_YRBS/harmonization/responses_long.parquet`。
|
||
- 检查：输出 919,863 行且“受访者×题目”键 919,863 个，重复为 0；覆盖 80 个有本地回答数据的实例。按调查为 GSHS 64,599、YRBS 764,028、NSDUH 91,236 行，均与从 7 个 GSHS 组件、17 个 YRBS 年度表及 NSDUH 青少年人数独立推导的期望行数一致。867,995 行为有效观测；其余保留为 unknown、refused、dont_know、ordinary_missing 或 data_error；必填标识/状态无空值，所有有效观测均有 canonical response。
|
||
- 纳入边界：GSHS 仅含 7 个实际施测组件；YRBS 含 17 个已验证年度；NSDUH 只含 12–17 岁青少年的意念和计划。4 个 `YUSUICTRY` 实例仍在题库但没有回答行，因为公用微数据未提供该字段，未从其他题推导或伪造。
|
||
- 可复现性：输出 SHA-256 为 `0260386444fd2d4a9b0183ef79b171b4fa47ab1d7c1706b05619c14cc8f8a197`；生成物由脚本重建，不纳入 Git 大文件历史。
|
||
- 工程记录：首次误用系统 Python 导致 DuckDB 不可用，在读取数据前失败；切换到锁定的 `.venv-research` 后完成，记录为已解决 `ERR-20260920-040`。
|
||
- 质量边界：结构校验通过不等于条目内容双审或抽样设计批准。所有题目仍为 `provisional`，Gate 1 保持 `in_progress`。
|
||
- 推送状态：`pushed`；研究提交 `89c20f3` 与认证失败状态提交 `9497d1c` 已在仅清除失效站点凭据并由 Git Credential Manager 重新授权后推送至 `origin/main`。
|
||
- 下一步：逐调查核验权重、PSU、stratum 和方差方法的官方来源；随后落实两名实际审核者签署。
|
||
|
||
### A-20260920-062：核验设计来源并修复 YRBS 2017/2019 设计字段
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前完整读取工作流、进度档案并检查 Git；复核 WHO GSHS 目录/方法页、17 份 CDC YRBS 年度指南及 SAMHSA NSDUH 公用数据指南；按官方定长位置恢复 YRBS 2017/2019 的 weight、stratum、PSU，并同步年度完整表及 1991–2019 selected 表。
|
||
- 输出：新增 `repair_yrbs_2017_2019_design.py`、`yrbs_2017_2019_design_repair_audit.{json,md}`、`survey_design_source_audit.md`；更新 `survey_design.csv` 构建规则及入口结构审计。
|
||
- 检查：2017 的 14,765 行和 2019 的 13,677 行三项设计字段均恢复为全量非空且权重为正；权重和分别为 14,765.0049 与 13,677.0071，与指南所述缩放到样本量一致。GSHS 七个主要结局组件共 21,533 人的 canonical/raw 权重、PSU、stratum 数值完全一致、全量非空且为正。NSDUH 232,441 行满足 `C2=C1/2`、`C3=C1/3`、`C4=C1/4` 精确等式，确认 C1 为单年权重、C2–C4 为合并 2–4 年的年均权重。
|
||
- 方法决策：YRBS 使用 WEIGHT/STRATUM/PSU 的复杂抽样程序；NSDUH 使用 VESTR_C/VEREP、Taylor 线性化和单年 ANALWT2_C1，青少年分析必须作为全样本设计内的 domain 而非先物理删成人；GSHS 跨组件前为 PSU/stratum 增加组件命名空间。
|
||
- 剩余例外：YRBS 1997 仍有 1 行同时缺三项设计字段，已显式登记，不能静默进入设计型方差估计。
|
||
- 工程记录：PDF 工具路径不匹配在任何结论写入前失败，改用工作区 PDF runtime 后完成并记录为 `ERR-20260920-042`。
|
||
- 推送状态：`pushed`；研究增量提交 `22d58f0` 已推送至 `origin/main`。
|
||
- 下一步：由两名实际审核者独立处理 84 条主结局审核队列；完成签署与分歧裁决后执行 Gate 1 最终验收。
|
||
|
||
### A-20260920-063：完成 Gate 1 契约补漏并生成独立人工审核包
|
||
|
||
- 时间：2026-09-20
|
||
- 阶段：1（有来源证据的题库和回答层）
|
||
- 动作：行动前完整读取工作流、进度档案并核对干净 Git 状态；对 Gate 1 逐项做机器契约审计，修复题库 `text_hash`、回答字典 `page_or_section` 和设计表 `review_status` 三个缺失字段；生成两份相互独立的 84 行人工审核表、分歧裁决表、填写说明和 fail-closed 验证器。
|
||
- 输出：新增 `build_human_review_packets.py`、`primary_outcome_review_reviewer_1.csv`、`primary_outcome_review_reviewer_2.csv`、`primary_outcome_review_adjudication.csv`、`human_review_instructions.md`、`validate_human_reviews.py`、`audit_gate1_acceptance.py`、`gate1_acceptance_audit.json`；重建 `item_bank.csv`、`response_dictionary.csv` 和 `survey_design.csv`。
|
||
- 防伪边界：验证器要求两位不同姓名的实际人员、统一非空单位、ISO 日期、逐行六项 yes/no 核验、合法决定及完全一致的独立审核声明；任何非批准、修订或两人决定不一致均强制进入人工裁决。AI 不填写姓名、日期、决定或声明。
|
||
- 检查：空白审核表各 84 个唯一题目；空白表验证按预期失败且 Gate 完成标记为 false。Gate 1 接受审计逐项验证七项交付物：84 行题库、396 行回答字典、28 行设计表、构念本体、919,863 行长表、9 条未批准候选连接及 32 条冲突记录均通过；唯一未满足项精确收敛为 `two_actual_human_reviewers`。
|
||
- 状态：Gate 1 仍为 `in_progress`，不得因机器检查全部通过而绕过真实双人审核。
|
||
- 推送状态：`pushed`；研究增量提交 `8f5cbc9` 已推送至 `origin/main`。
|
||
- 下一步：将两份独立审核表交给两名不同实际审核者；返回后运行验证器、处理分歧、更新题库审核状态并执行最终 Gate 1 接受审计。
|
||
|
||
## 9. 剩余工作量估算（2026-09-20 基线）
|
||
|
||
| 阶段 | 主要工作 | 预计人周 | 主要波动来源 |
|
||
|---|---|---:|---|
|
||
| 1 | 题库、回答字典、来源与双重审核 | 3–6 | 官方材料完整性、人工复核速度、跳题/编码冲突 |
|
||
| 2 | 可行性、连接图与可识别性审计 | 2–4 | 数据规模、设计变量质量、跨调查桥接强度 |
|
||
| 3 | 冻结验证协议与模拟恢复 | 2–4 | 模拟场景数量、参数恢复和 SBC 问题 |
|
||
| 4 | 直接协调与传统基线 | 3–5 | 复杂抽样方差、稀有事件、模型诊断 |
|
||
| 5 | 语义增益与负对照实验 | 2–4 | 嵌入选择、题目家族有效样本量、消融数量 |
|
||
| 6 | 语言条件化层级模型 | 4–8 | 模型可识别性、采样稳定性、GPU/CPU 计算 |
|
||
| 7 | 外部验证、消融与主张判定 | 3–6 | 外部数据兼容性、重跑规模、敏感性分析 |
|
||
| 8 | 可复现交付、论文与两轮审查 | 2–4 | 审稿返工、图表与复现包完整性 |
|
||
| **合计** | **阶段 1–8** | **21–41** | **约 105–205 个全职工作日** |
|
||
|
||
估算按范围而非承诺日期管理。Gate 2 是首个关键止损点：若连接或可识别性不足，应切换为直接协调/分调查分析，而不是继续堆叠复杂模型。Gate 5 是第二个关键止损点：若语义没有稳定增益，后续阶段改为边界性结果与复现交付，可把总量压缩到约 14–26 人周。
|
||
|
||
## 10. 下一行动
|
||
|
||
下一次行动开始前重新读取 `Document/research-workflow.md` 与本文件。随后：
|
||
|
||
阶段 1 下一行动：
|
||
|
||
1. 由两名实际审核者独立处理 `primary_outcome_human_review_queue.csv`，核对题文、构念、总体、语言、编码、跳题和缺失规则；
|
||
2. 对两位审核者的分歧执行显式裁决，不得由 AI 冒充审核者或自动填写签名；
|
||
3. 审核通过后重建题库/回答层并执行 Gate 1 逐项验收；未签署前保持全部主要结局为 `provisional`。
|