EpiGauge 讨论:训练集记录不完整时,如何报告肽段重叠风险
john-norvara 与 nootxlm 围绕训练数据污染展开讨论:按序列距离分层评估,同时保留未公开训练数据和远距样本不足带来的不确定性。
社区观察 · Hugging Face · 原文日期 2026-11-13
从实验候选筛选提出重叠问题
john-norvara 以 Norvara Therapeutics 名义介绍 EpiGauge,称其用于比较 T 细胞免疫原性预测器,并探索能否优先筛选 AAV 衣壳肽段供实验跟进。他询问:训练集只有部分记录时,如何检查测试肽段与训练数据的重叠?这些用途仍是作者提出的目标,帖中没有给出实验验证。
nootxlm:按最近序列距离拆分成绩
nootxlm 认为,训练集记录不完整就无法证明零重叠,建议先对照全部已记录训练序列,搜索测试肽段的完全匹配和近邻,再按最近邻距离分层报告模型成绩。他把远距层视为排除已记录重叠后的估计,并强调未公开训练数据仍是未知量;这套分层方法是其建议,帖中尚无执行结果。
john-norvara:Tier 0 不证明独立
john-norvara 回应称,现有污染检查会把等位基因与肽段组合的精确收录重叠标为 Tier 2,把已记录数据池之外的样本归入 Tier 0,但明确不以此证明独立性。他认可进一步按最小序列距离拆分 Tier 0,也同意不能把未公开的训练数据量默认当作零;回复表达了认可,未证明该分层已经实施。
远距层过薄时保留不确定性
两人的关注点有所不同:nootxlm 强调远距层若不足以支持排名,应直接报告这一限制;john-norvara 则预期 AAV 衣壳的保守病毒基序会让多数肽段落入近距层,并赞同把统计效力不足的远距层报告为无明确结论。前者是评估建议,后者包含作者对数据的预期,都不能据此断言模型已经实现泛化。
原始标题:EpiGauge: A benchmark for T-cell immunogenicity prediction from Norvara Therapeutics
来源:Hugging Face