Leitfaden für Praktiker: Auswirkungen von Forschungssoftware

Falls Sie das noch nicht gelesen haben Leitfaden für Praktiker: Einführung – Woran Sie bei der Interpretation von Kennzahlen denken solltenBitte halten Sie jetzt inne und lesen Sie diesen Leitfaden.

Zielgruppe / Umfang

Forschende, Evaluierungsteams und Förderinstitutionen, die die Auswirkungen von Software und/oder Community-Arbeit als Forschungsergebnis ermitteln möchten, finden in diesem Leitfaden wertvolle Informationen. Er richtet sich insbesondere an Forschende und akademische Evaluierungskommissionen, die Open-Source-Forschungssoftware im Rahmen von Wiederbestellungs-, Tenure- und Beförderungsverfahren nutzen.

Einführung

„Forschungssoftware ist ein zentraler Motor für Innovation und Wirtschaft“ (ReSA, 2025). Dieser Leitfaden beleuchtet die Auswirkungen von Open-Source-Software und/oder -Communities, die von Einzelpersonen und Teams im Rahmen ihrer Forschungstätigkeit entwickelt und gepflegt werden. Dies schließt Gutachter ein, die an Wiederbestellungs-, Tenure- und Beförderungsverfahren von Forschenden beteiligt sind. Der Leitfaden konzentriert sich auf Open-Source-Software und -Communities, die von Forschenden oder Teams entwickelt und gepflegt werden, um deren soziale und technische Bedeutung zu würdigen. Er unterstreicht die Wichtigkeit von Open-Source-Software und Community-Arbeit als bedeutende wissenschaftliche Leistungen.

Challenges

  • Softwareentwicklung hat in der Vergangenheit keine Rolle bei Wiederernennungen, Festanstellungen oder Beförderungen gespielt und stellt kein traditionelles Ergebnis universitärer Forschungsarbeit dar.
  • Die Beteiligung an Communitys ist ein komplexes und intensives Unterfangen, und wenn keine Anreizstrukturen existieren, um diese Arbeit anzuerkennen, gibt es auch wenige Anreize, den zusätzlichen Aufwand zu priorisieren, der für die Pflege von Open-Source-Forschungssoftware erforderlich ist.
  • Es gibt keine einheitlichen internationalen Vorgehensweisen für die Verwendung von Software-Identifikatoren oder das Zitieren von Software.

Lessons Learned

  • Universitäten untersuchen zunehmend Forschungssoftware und Community-Entwicklung als Forschungsergebnisse. Dieser Leitfaden unterstützt die Zusammenarbeit zwischen Forschenden und Evaluierenden und identifiziert erste Kennzahlen, die im Hinblick auf die Wirkung von Forschungssoftware berücksichtigt werden können. Diese Kennzahlen stellen zwar nicht alle möglichen Kennzahlen dar, bilden aber einen wichtigen Ausgangspunkt.

Wie man Maßnahmen ergreift

Community-Kennzahlen

Lotteriefaktor

(Ab https://eightknot.osci.io/contributors/contribution_types)

Das Mitarbeiterabwesenheitsfaktor Diese Kennzahl bewertet, inwieweit ein Projekt von einer kleinen Anzahl an Mitwirkenden abhängig ist, indem sie die kleinste Anzahl an Mitwirkenden ermittelt, die für 50 % der Gesamtbeiträge verantwortlich sind. Ein niedriger Wert für den Mitwirkenden-Abwesenheitsfaktor deutet auf eine höhere Abhängigkeit von wenigen Mitwirkenden hin, was ein Risiko darstellt, falls diese das Projekt verlassen. Diese Kennzahl hilft Projektverantwortlichen, die mit der Abhängigkeit von Mitwirkenden verbundenen Risiken hinsichtlich Resilienz und Kontinuität zu bewerten.

Für Forscher und Gutachter ist der Faktor der fehlenden Mitwirkenden hilfreich, um zu verstehen, wie ein Open-Source-Projekt wächst und neue Mitwirkende einbezieht, die für mehr als 50 % der Codebasis verantwortlich sind.

Beitragswachstum

Diese Kennzahl misst die Anzahl neuer Mitwirkender, die ihren ersten Beitrag zu einem Projekt leisten, und gibt Aufschluss über dessen Wachstum und Engagement. Die Erfassung neuer Mitwirkender hilft, Teilnahmemuster und potenzielle Hindernisse für die Beteiligung zu verstehen und bietet Möglichkeiten für Community-Unterstützung, Onboarding und Öffentlichkeitsarbeit. Ein stetiger Zustrom neuer Mitwirkender kann auf ein gesundes und einladendes Projekt hindeuten, während ein Rückgang auf potenzielle Herausforderungen in Bezug auf Engagement oder Zugänglichkeit hinweisen kann.

Softwaremetriken

Projektgeschwindigkeit

  • Die Fläche der Blase ist proportional zur Anzahl der Autoren.
  • Die y-Achse zeigt die Gesamtzahl der Pull-Requests und Issues an.
  • Die x-Achse stellt die Anzahl der Commits dar.

Die Projektgeschwindigkeit misst die Anzahl der Issues, Pull Requests, Commits und Mitwirkenden als Indikator für Innovation. Sie ermöglicht es Forschern, die Projektgeschwindigkeit innerhalb eines Projektportfolios zu vergleichen. Forscher können die Projektgeschwindigkeit ihrer eigenen Open-Source-Projekte ermitteln und mit der Projektgeschwindigkeit anderer Projekte vergleichen.

Änderungsanträge im Laufe der Zeit

Die Kennzahl „Änderungsanforderungen“ erfasst die Vorschläge für Änderungen am Quellcode eines Projekts, die innerhalb eines bestimmten Zeitraums zur Überprüfung eingereicht wurden. Die Beobachtung der Anzahl der Änderungsanforderungen im Zeitverlauf gibt Aufschluss über die gesamte Programmieraktivität innerhalb eines Projekts. Obwohl diese Kennzahl allein die Qualität der Änderungen nicht messen kann, liefert sie einen guten Indikator dafür, wie häufig die Mitwirkenden mit der Codebasis arbeiten.

Fazit

Nutzen Sie JOSS, damit die Software einem Peer-Review unterzogen werden kann und einen DOI erhält.

Weitere Kennzahlen könnten sein:

  • Software-ZitateSoftware kann in Forschungsarbeiten durch Angabe einer ID zitiert werden (z. B. DOI, Versionsnummer und Speicherort im Repository oder eine persistente Softwarekennung wie z. B. der Kennung). SWHID von Software Heritage), oft unter Verwendung von Diensten wie Zenodo. Es ist jedoch nicht üblich, Forschungssoftware zu kennzeichnen oder die Softwarenutzung bzw. Abhängigkeiten in wissenschaftlichen Arbeiten anzugeben.
  • Arbeiten jederzeit weiterbearbeiten können. Jede Präsentation und jeder KI-Avatar, den Sie von Grund auf neu erstellen oder hochladen, Die Nutzung ist ein wichtiges Maß für die Wirkung von Forschungssoftware, lässt sich aber nicht allein an der Anzahl der Downloads oder Nutzer messen. Es ist entscheidend, sowohl die Nutzerzahl als auch den Nutzungskontext zu berücksichtigen. Eine bestimmte Forschungssoftware kann für ein Nischengebiet von entscheidender Bedeutung sein, sodass selbst eine geringe Nutzerzahl eine hohe Wirkung erzielen kann. Umgekehrt kann eine andere Open-Source-Forschungssoftware zwar von vielen Forschern genutzt werden, aber nur einen kleinen Teil der Gesamtlösung darstellen, nicht kritisch und leicht ersetzbar sein. In diesem Fall ist die Nutzung kein verlässlicher Indikator für die Wirkung. Eine innovative Software, die nur eine einzige bahnbrechende wissenschaftliche Entdeckung ermöglicht hat, kann als äußerst wirkungsvoll gefeiert werden.
  • SterneSterne können als Indikator dafür dienen, wie „populär“ ein Projekt ist.
  • Drittmittel: Open-Source-Forschungssoftware, die Fördermittel für die Entwicklung, Wartung oder Verwaltung ihrer Projekte erhält, hat in ihrem jeweiligen Bereich oder Fachgebiet einen nachgewiesenen Wert.

Vorsichtsmaßnahmen und Überlegungen

  • Es ist wichtig, dass sich alle am Einfluss von Forschungssoftware Beteiligten auf die in diesem Leitfaden vorgestellten grundlegenden Diskussionskriterien einigen. Verwenden verschiedene Gruppen unterschiedliche Kriterien, trägt dies kaum zu einer Verbesserung der Diskussion für alle bei.

Weitere Leseempfehlungen

Mitwirkende

  • Matt Germonprez
  • Clare Dillon

Referenzen

CHAOSS Practitioner Guides sind MIT-lizenzierte, lebendige Dokumente und wir freuen uns über Ihr Feedback und Ihren Input. Sie können Änderungen an diesem Dokument vorschlagen unter https://github.com/chaoss/wg-data-science/blob/main/practitioner-guides/research-sw-impact.md