8.3 KiB

Raw Blame History

行业技能词库来源与覆盖说明

本说明是仓库面向实现和评审的技能词库来源基线，内容与 changes/n03-skill-cloud/data/source-manifest.md 保持同一事实集合。

1. 固定来源

来源	固定版本	用途	许可/复用条件	官方地址与归属
ESCO	ESCO dataset v1.2.1（Last update 10/12/2025，发布页记录 Release v5.7.0）	提供行业/职位映射所需的职业—技能—技能分类主关系、稳定来源 ID 和层级结构	依据 Commission Decision 2011/833/EU，可免费下载、使用、复制和复用。文档和产品界面须保留官方署名语句：`This service uses the ESCO classification of the European Commission.`	数据集下载页：https://esco.ec.europa.eu/en/use-esco/download 复用条件说明：https://esco.ec.europa.eu/en/about-esco/faq
O*NET	O*NET 31.0 Database	提供职业—技能关联的 Importance 数值，作为首版词云热度 `heat` 的唯一来源	License 为 CC BY 4.0，归属与许可说明见 https://creativecommons.org/licenses/by/4.0/	官方数据库页：https://www.onetcenter.org/database.html

运行时不得访问 ESCO、O*NET 或任何在线词库服务。所有首版数据必须随 Flyway 迁移进入本地数据库，并保留来源版本与归属信息。

2. 首版覆盖边界

首版只覆盖互联网、金融、教育三类行业及下列 10 个已列代表性职位。该矩阵定义导入上限和最小覆盖范围，不要求在全量上游数据中导入未列出的职位。

行业	代表性职位	首批技能分类范围
互联网	前端开发工程师	编程语言、Web 基础、前端框架、工程化工具、浏览器与调试、测试、版本控制与协作
互联网	后端开发工程师	编程语言、后端框架与平台、数据库、缓存与消息、云/DevOps、测试、工程化工具、安全
互联网	测试工程师	编程语言、测试设计、自动化测试框架、接口与数据库测试、性能测试、CI/CD 与工程化工具
互联网	DevOps 工程师	编程语言与脚本、云平台、容器与编排、CI/CD、配置管理与 IaC、可观测性、安全、数据库
金融	金融数据分析师	编程语言、数据分析与可视化、数据库与数据仓库、统计与建模、金融计算框架/平台、金融领域知识、工程化工具
金融	风控建模工程师	编程语言、统计与建模、风险模型、建模框架/平台、数据处理与数据库、模型验证、部署与工程化工具
金融	量化开发工程师	编程语言、量化建模框架/平台、市场与金融数据、数据库、低延迟与高性能工程、测试、云/DevOps
教育	教育产品经理	教育领域知识、产品分析方法、需求与流程、数据分析、教育平台与工具、协作与工程化工具
教育	教学设计师	教学设计、课程与学习平台、数字化内容工具、评估设计、学习数据分析、无障碍与规范
教育	教育数据分析师	编程语言、数据分析与可视化、数据库与 SQL、统计与建模、教育领域知识、报表与工程化工具
计数说明：任务给出的逐项职位清单为互联网 4 个、金融 3 个、教育 3 个，共 10 个。验收文字中的“11 个职位”与该枚举不一致；本清单严格覆盖逐项列出的 10 个职位，不自行新增未批准职位。

矩阵中的分类是每个职位首批应覆盖的能力域；T3 只导入这些分类下已确定稳定来源 ID、标准技能和中文标准名的技能，不在此文档中展开具体 INSERT 行。

3. 导入规则

职责分工：T2 只建立七张词库表、外键、唯一约束和查询索引；T3 只导入上述三类行业、10 个已列代表性职位及其关联技能分类、技能、别名和 O*NET Importance。
代表性子集：不导入 ESCO/O*NET 全量数据；不把平台自由文本岗位或行业直接当作标准词库节点。
来源 ID 不变：ESCO/O*NET 来源 ID 原样保存在稳定来源字段中；项目不得重编号、覆盖或伪造上游 ID。
中文标准名必填：每个入选技能必须有非空 name_zh 中文标准名；中文名称由项目维护，但不替代或修改上游来源 ID。
热度缺失：技能无法映射 O*NET Importance 时必须保留，写入 importance=null；查询时映射为 heat=null，并排在有热度技能之后。
项目映射责任：项目维护中文名称、别名、技能分类和行业/职位映射，不修改开源来源 ID。行业/职位映射、细粒度分类和跨源技能对应关系均作为项目适配层记录。
别名归一化：生成 normalized_alias 时依次执行 Unicode NFKC、首尾空白移除、大小写折叠、连字符转空格、连续空白折叠为单空格、句点移除；+ 和 # 必须保留，不能删除或替换。
来源可追溯：来源清单写入 skill_source_versions，至少记录来源名称、固定版本、许可、归属 URL 和导入时间；职位技能关系记录关联的来源版本。
迁移不可改写：T2/T3 计划使用 V35__skill_cloud_taxonomy.sql 和 V36__skill_cloud_seed.sql。执行前若编号已被占用，必须回退规划并刷新编号；后续词库更新只能新增 Flyway 迁移，不得改写 V1–V34 或任何已执行迁移。
运行时离线：接口运行时不得调用外部词库、AI、课程平台或同步服务；排名只读取本地 Flyway 数据。

4. 来源版本、许可与归属 URL

数据落点	来源名称	版本字段固定值	许可字段固定值	归属 URL
职业、技能、技能分类及关系	ESCO	`1.2.1 (Release v5.7.0, Last update 10/12/2025)`	`Commission Decision 2011/833/EU`	https://esco.ec.europa.eu/en/use-esco/download
职位技能 Importance	O*NET	`31.0 Database`	`CC BY 4.0`	https://www.onetcenter.org/database.html

ESCO 产品署名必须使用：This service uses the ESCO classification of the European Commission.

5. 映射责任边界

事项	上游来源责任	项目责任
ESCO 职业、技能、分类层级和来源 ID	固定且可追溯	原样保存，不修改 ID
O*NET Importance 数值	固定且可追溯	原样保存；无映射时写 `null`，不造权重
中文名称和别名	不保证完整中文覆盖	补齐中文标准名、别名及归一化值
细粒度技能分类	不保证符合本项目展示粒度	在职位下维护分类和展示名称
行业/职位映射	不保证覆盖三类项目行业和中文职位名	维护行业—职位—分类—技能映射
跨源技能重要性关联	不提供项目所需的稳定本地关系	维护 ESCO 技能与 O*NET Importance 的映射

6. 验收检查项

AC-1：changes/n03-skill-cloud/data/source-manifest.md 与 docs/skill-taxonomy-sources.md 均存在且非空，来源版本、许可、归属 URL、覆盖矩阵和导入规则一致。
AC-2：文档明确覆盖互联网、金融、教育三类行业及全部 10 个已列代表性职位，并为每个职位给出首批技能分类范围。
AC-3：文档明确固定 ESCO dataset v1.2.1（Last update 10/12/2025，发布页记录 Release v5.7.0）和 O*NET 31.0 Database。
AC-4：文档明确 ESCO 依据 Commission Decision 2011/833/EU 可免费下载、使用、复制和复用，并原样保留指定署名语句。
AC-5：文档明确 O*NET License 为 CC BY 4.0，并记录官方数据库页与许可 URL。
AC-6：文档明确项目维护中文名称、别名、技能分类和行业/职位映射，不修改开源来源 ID。
AC-7：文档明确 T2 建结构、T3 导数据，只导入代表性职位和关联技能；技能中文标准名必填。
AC-8：文档明确 O*NET Importance 缺失时保留技能并写入 importance=null，查询侧映射为 heat=null。
AC-9：文档明确别名归一化遵循 NFKC、首尾空白、大小写、连字符、连续空白、句点规则，且保留 +、#。
AC-10：文档明确后续词库更新只能新增 Flyway 迁移，不得改写 V1–V34 或已执行迁移。
AC-11：来源、覆盖、导入与责任边界中不得出现未决占位或延期确认语句。

8.3 KiB Raw Blame History