实践指南：研究软件的影响

如果您还没有阅读 从业者指南：简介 - 解释指标时要考虑的事项，请现在暂停并阅读该指南。

受众/范围

本专家指南面向对评估软件和/或社区工作作为研究成果的影响感兴趣的研究人员、评估团队和资助机构。它尤其针对那些将开源研究软件成果作为续聘、终身教职和晋升考核依据的研究人员和学术评估委员会。

介绍

“科研软件是创新和经济发展的关键驱动力”（ReSA，2025）。本专家指南重点关注个人和团队在其科研工作中创建和维护的开源软件和/或社区的影响。这包括参与研究人员续聘、终身教职和晋升考核的评估人员。本专家指南着重探讨研究人员或团队开发和维护的开源软件和社区，旨在认可其工作的社会和技术影响。本专家指南强调了开源软件和社区工作作为重要学术成果的重要性。

挑战

  • 软件开发工作历来都不是续聘、终身教职和晋升考核的一部分，也不是大学科研工作的传统成果。
  • 参与社区活动是一项复杂而艰巨的工作，如果没有激励机制来认可这项工作，就很少有动力去优先考虑维护开源研究软件所需的额外努力。
  • 目前国际上对于软件标识符的使用或软件引用尚无统一的惯例。

经验教训

  • 大学目前正将研究软件和社区发展作为研究成果进行探索。本专家指南旨在帮助研究人员和评估人员达成共识，并确定可用于评估研究软件影响的初步指标。虽然这些指标并非所有可报告指标的全部，但它们代表了一个重要的起点。

如何采取行动

社区指标

彩票因素

（从 https://eightknot.osci.io/contributors/contribution_types)

此 贡献者缺席因素 该指标通过识别贡献了总贡献量 50% 的最少贡献者人数，来评估项目对少数贡献者的依赖程度。贡献者缺席率越低，表明项目对少数贡献者的依赖程度越高，如果这些贡献者离开项目，则会带来风险。该指标有助于项目维护者评估与贡献者依赖相关的韧性和持续性风险。

对于研究人员和评估人员来说，贡献者缺失因素有助于了解开源项目如何发展壮大，从而吸纳出负责超过 50% 代码库的新贡献者。

贡献者增长

该指标衡量首次为项目做出贡献的新贡献者数量，从而深入了解项目的增长和参与度。追踪新贡献者有助于了解参与模式和潜在的参与障碍，为社区支持、新用户引导和推广活动提供机会。新贡献者的持续涌入可能表明项目发展良好且具有吸引力，而贡献者数量的下降则可能预示着参与度或可访问性方面存在潜在挑战。

软件度量

项目速度

  • 气泡的面积与作者数量成正比。
  • y 轴表示拉取请求和问题的总数。
  • x轴表示提交次数

项目速度衡量的是问题数量、拉取请求数量、提交次数和贡献者数量，以此作为创新指标。它为研究人员提供了一种比较不同项目组合的项目速度的方法。研究人员可以使用项目速度指标来报告其自身开源项目的项目速度，并比较不同项目组合的项目速度。

变更请求随时间推移

变更请求指标追踪在特定时间段内提交审核的项目源代码修改提案。跟踪一段时间内的变更请求数量，可以深入了解项目的整体编码活动。虽然该指标本身无法衡量变更的质量，但它能很好地反映贡献者参与代码库的频率。

结语

使用 JOSS，以便软件可以接受同行评审并获得 DOI。

其他指标可能包括：

  • 软件引用软件可以通过使用 ID（例如，其 DOI、版本号和存储库位置）或持久性软件标识符（例如，）进行引用。 来自软件遗产的SWHID他们通常使用 Zenodo 等服务。然而，在学术论文中提供研究软件的标识符或引用软件使用情况或依赖关系并非普遍做法。
  • 绝大部分储备使用使用率是衡量科研软件影响力的主要指标之一，但不能仅仅用下载量或用户数来衡量。用户数量和使用场景都至关重要。一款科研软件可能对某个细分领域至关重要，因此即使用户数量不多，也可能产生巨大的影响。另一方面，另一款开源科研软件可能被许多研究人员使用，但它可能只是整个解决方案的一小部分，并非关键组件，而且很容易被替代。在这种情况下，使用率可能并非衡量影响力的可靠指标。一款创新软件如果仅仅促成了一项突破性的科学发现，就可能被誉为影响深远。
  • 明星明星数量可以作为衡量一个项目“受欢迎程度”的指标。
  • 外部资金获得资金支持以开发、维护或管理其项目的开源研究软件，已在其领域或领域中证明了其价值。

注意事项和注意事项

  • 对于所有关注科研软件影响的人员来说，重要的是，他们应就本指南中提出的初始讨论指标达成一致。如果不同群体采用不同的指标，则难以有效促进各方之间的交流。

延伸阅读

合作者

  • 马特·杰蒙普雷斯
  • 克莱尔·狄龙

案例

CHAOSS 从业者指南是 MIT 授权的动态文档，我们欢迎您的反馈和意见。您可以在以下位置建议对本文档进行修改 https://github.com/chaoss/wg-data-science/blob/main/practitioner-guides/research-sw-impact.md