Leitfaden für Praktiker: Messung der Förderwirkung

Falls Sie das noch nicht gelesen haben Leitfaden für Praktiker: Einführung – Woran Sie bei der Interpretation von Kennzahlen denken solltenBitte halten Sie jetzt inne und lesen Sie diesen Leitfaden.

Zielgruppe / Umfang

Zielgruppe dieses Leitfadens sind Organisationen, die die Wirkung ihrer Fördermittel für Open-Source-Projekte und deren Entwickler nachweisen und/oder begründen möchten. Dazu gehören öffentliche Fördermittelgeber, Regierungsbehörden, Unternehmen, Stiftungen und andere Organisationen, die Open-Source-Projekte und deren Entwickler finanziell unterstützen. Die Darstellung der Wirkung interner Open-Source-Initiativen innerhalb einer Organisation fällt nicht in diesen Rahmen, wird aber im entsprechenden Abschnitt behandelt. Leitfaden für Praktiker: Den Wert einer Organisation demonstrierenDie Rentabilität für kommerzielle Open-Source-Unternehmen wird hier nicht behandelt, kann aber in der folgenden Quelle nachgelesen werden: LF-Bericht zum Stand der kommerziellen Open-Source-Software.

Einführung

Open-Source-Software ist allgegenwärtig und findet sich in nahezu jeder Codebasis. Die langfristige Aufrechterhaltung dieser Open-Source-Projekte und -Communities stellt jedoch eine Herausforderung dar. Traditionell floss ein Großteil der Fördermittel für Open-Source-Projekte in die Entwicklung neuer Projekte und/oder Funktionen, um Innovationen zu fördern. Die alleinige Finanzierung von Innovationen reicht jedoch nicht aus, um die Nachhaltigkeit von Open-Source-Projekten zu gewährleisten (Osborne, 2024). Mehrere prominente und weit verbreitete Sicherheitslücken in Open-Source-Projekten (z. B. Log4Shell, Heartbleed) haben zudem die Notwendigkeit unterstrichen, Wartung und Sicherheitsmaßnahmen in kritischen Projekten zu finanzieren. Angesichts des Strebens nach digitaler Souveränität und der Anerkennung der Bedeutung von Open-Source-Software fördern Regierungen nun auch die Wartung populärer Open-Source-Projekte (z. B. …). Sovereign Tech Agency in Deutschland, die Arbeit hin zu einem EU-Souveräner TechnologiefondsViele Unternehmen unterstützen ebenfalls die Open-Source-Projekte, auf die sie in ihren Geschäftsabläufen angewiesen sind. Auch die Rolle von Open-Source-Software für die Sicherheit der Lieferkette gewinnt zunehmend an Bedeutung, da Regierungen, Einkaufsabteilungen von Unternehmen und andere Gruppen beginnen, Vorgaben für Software-Stücklisten (SBOMs) zu erstellen.

Ein Großteil der kritischen Infrastruktur, auf die wir alle angewiesen sind, besteht aus Open-Source-Projekten, denen die Ressourcen für eine langfristige, angemessene Wartung fehlen. Unternehmen, öffentliche Einrichtungen und philanthropische Organisationen beginnen, diese Lücke zu schließen, doch die Messung der Wirkung dieser Förderungen stellt eine anhaltende Herausforderung dar (Osborne et al., 2024). Förderer müssen die Auswirkungen vergangener Förderungen verstehen können, um die Zustimmung für zukünftige Förderungen zu sichern und Anpassungen und/oder Innovationen voranzutreiben. Finanzierungsansätze Gleichzeitig sollten ineffektive oder gar schädliche Ansätze vermieden werden. Wir alle profitieren davon, wenn mehr öffentliche Institutionen, philanthropische Organisationen und Unternehmen Open Source fördern – vorausgesetzt, dies geschieht mit dem Ziel, positive Auswirkungen zu erzielen.

Challenges

Das Interesse an Open-Source-Förderung wächst, doch herrscht wenig Einigkeit darüber, wie diese sinnvoll gemessen werden kann. Die Messung der Auswirkungen von Open-Source-Förderung ist nicht nur schwierig, sondern wird auch dadurch erschwert, dass die Finanzierung von Open-Source-Projekten die Anreize für Mitwirkende und das Verhältnis von freiwilliger und bezahlter Beteiligung verändern kann, wenn einige Mitwirkende für ihre Projektarbeit finanziert werden. Finanzierung ist möglicherweise nicht für alle Projekte die richtige Lösung, und Förderer müssen überlegen, wie sie ihre Ziele bei der Projektfinanzierung am besten erreichen. Beispielsweise verbessert allgemeine Förderung die Sicherheitslage von Open-Source-Projekten möglicherweise nicht so effektiv wie gezielte Unterstützung zur Stärkung der Sicherheit (Brackett et al., 2025). Durch ein besseres Verständnis der Auswirkungen von Finanzierung (oder deren Fehlen) können Förderer mehr darüber erfahren, was für verschiedene Arten von Open-Source-Projekten gut funktioniert, sodass die bereitgestellte Förderung den größtmöglichen Nutzen für die Geförderten und das gesamte Ökosystem erzielt.

Die Entwicklung standardisierter Rahmenwerke zur Messung der Förderwirkung stellt ebenfalls eine Herausforderung dar, da die Ziele und Zweckvorgaben der Förderung je nach Förderorganisation und Open-Source-Projekt stark variieren und die Messung der Wirkung von diesen Zielen und Zweckvorgaben abhängt. Beispielsweise erfordern die Förderung der Entwicklung neuer Funktionen und die Förderung von Sicherheitskorrekturen und Wartungsarbeiten unterschiedliche Ansätze zur Messung der Förderwirkung.

Lessons Learned

Förderer verfolgen sehr unterschiedliche Ziele und Vorgaben für ihre Förderungen, und jedes geförderte Open-Source-Projekt arbeitet etwas anders. Daher gibt es keine allgemeingültige Methode, um die Wirkung von Fördermitteln zu messen. Die Messung der Förderwirkung erfordert einen maßgeschneiderten Ansatz, der die Ziele des Förderers und die spezifischen Bedürfnisse des jeweiligen Open-Source-Projekts berücksichtigt.

Die Ziele und Vorgaben der Förderung bilden einen Ausgangspunkt für die Auswahl der Kennzahlen. Allerdings liefern Kennzahlen und andere quantitative Messgrößen nicht die notwendigen Details, um die Wirkung der Förderung vollständig zu verstehen. Qualitative Messungen können helfen zu verstehen, wie die Förderung die Projektdynamik, die Motivationen und andere immaterielle Ergebnisse beeinflusst hat. Ein Mixed-Methods-Ansatz ermöglicht es, die Vorteile beider Ansätze zu nutzen: skalierbare quantitative Messgrößen kombiniert mit kontextbezogenen Erkenntnissen aus qualitativen Daten, die in Zusammenarbeit mit Open-Source-Projekten erhoben werden (Casari et al., 2023).

Es ist wichtig zu beachten, dass die Auswirkungen der Finanzierung von Open-Source-Projekten und/oder deren Entwicklern nicht immer positiv sind. Manche Projekte haben Schwierigkeiten, die Gelder sinnvoll einzusetzen, wenn ihnen ein Mechanismus zur Verteilung der Mittel fehlt. Zudem kann die Finanzierung interne Konflikte innerhalb eines Projekts auslösen, wenn einige Projektmitarbeiter bezahlt werden, andere jedoch nicht.

Wie man Maßnahmen ergreift

Beginnen Sie damit, den Kontext zu verstehen.

Die Berücksichtigung von Finanzierungszielen, Projektphase, Sozialstruktur sowie regionalen und organisatorischen Kostenfaktoren ist ein wichtiger erster Schritt zur Messung der Finanzierungswirkung, da sie einen wichtigen Kontext liefert. Jeder dieser Bereiche wird im Folgenden detaillierter erläutert.

Beginnen wir mit den Finanzierungszielen

Unterschiedliche Finanzierungsinstrumente und Beschaffungsmethoden – ob meilensteinbasierte Verträge mit Lieferergebnissen, Bug-Bounty-Programme oder allgemeine Projektförderung – verfolgen unterschiedliche Ziele, von Innovation bis hin zur Instandhaltung, und können daher unterschiedliche Auswirkungen haben. Das Verständnis der spezifischen Förderziele trägt dazu bei, die Wirkungsmessung an den erwarteten Ergebnissen auszurichten. Projekte werden beispielsweise häufig auf Basis von Meilensteinen finanziert, die vom Förderer und dem Projekt gemeinsam festgelegt werden. Daher arbeitet jedes Projekt auf unterschiedliche Meilensteine ​​mit unterschiedlichen Zielen hin, sodass es keine allgemeingültige Messgröße zur Bestimmung der Auswirkungen von Förderprogrammen gibt. Ein Ansatz besteht darin, die Auswirkungen anhand der vereinbarten Meilensteine ​​jedes Projekts zu bewerten. Dies misst jedoch möglicherweise eher die Einhaltung als die tatsächliche Wirkung. Im weiteren Verlauf dieses Leitfadens werden im Abschnitt „Auswirkungen“ verschiedene mögliche wirtschaftliche, soziale und technologische Auswirkungen beschrieben. Diese können sowohl positiv als auch negativ, direkt und indirekt, intern (Projekt) und extern (Ökosystem) sein und sich über unterschiedliche Zeiträume hinweg manifestieren. Dadurch wird eine umfassendere Perspektive jenseits der Förderziele ermöglicht.

Berücksichtigen Sie die Projektlebensphasen und sozialen Strukturen

Die Auswirkungen der Finanzierung variieren je nach Projektphase und sozialer Struktur. Beispielsweise hat ein neues Prototyp-Projekt ganz andere Bedürfnisse und potenzielle Ergebnisse als ein etabliertes Projekt mit einer stabilen Community. Während der Prototyp möglicherweise Finanzmittel für die Entwicklung erster Funktionen und die Gewinnung von Mitwirkenden benötigt, kann das etablierte Projekt Unterstützung für Sicherheitsverbesserungen oder Wartungsarbeiten benötigen.

Ebenso wichtig für das Verständnis der Auswirkungen von Fördermitteln ist die Berücksichtigung der sozialen Struktur eines Projekts. Nadia Asparouhova (ehemals Eghbal) (2020) identifiziert beispielsweise vier unterschiedliche Modelle von Open-Source-Projekten anhand ihres Verhältnisses von Mitwirkenden zu Nutzern: Verbände, Clubs, Stadien und Spielzeuge. Die Finanzierung eines Projekts vom Typ Verband muss möglicherweise komplexe Governance-Prozesse und mehrere Arbeitsgruppen berücksichtigen, während die Finanzierung eines Projekts vom Typ Stadion sich auf die Unterstützung des kleinen Kerns von Betreuern konzentrieren könnte, die eine große Nutzerbasis betreuen. Diese strukturellen Unterschiede beeinflussen nicht nur die Mittelverteilung, sondern auch die Messung ihrer Wirkung.

Gehaltsstrukturen und Kostenfaktoren berücksichtigen

Gehaltsstrukturen und Kostenfaktoren sollten in verschiedenen Regionen und Organisationen berücksichtigt werden. Bei ähnlichen Budgets, die unterschiedlichen Organisationen oder Regionen zugewiesen werden, kann die Anzahl der Entwickler aufgrund variierender Gehaltsniveaus unterschiedlich sein. Selbst bei Zugriff auf Gehalts- und Kostendaten können die Vergütungen stark schwanken, sodass ein Senior-Entwickler in einer Organisation weniger verdient als ein Junior-Entwickler in einer anderen.

Wirtschaftliche, soziale und technologische Auswirkungen

Die Finanzierung kann vielfältige Auswirkungen haben, die Geldgeber berücksichtigen sollten (siehe auch die Superbloom-WerkzeugkastenDie potenziellen sozialen, wirtschaftlichen und technologischen Auswirkungen können sowohl positiv als auch negativ, direkt und indirekt, intern (d. h. innerhalb eines Projekts) und extern (d. h. im Ökosystem der Abhängigen und Nutzer eines Projekts) sein und sich über verschiedene Zeithorizonte hinweg manifestieren.

Bei der Bewertung der Auswirkungen von Open-Source-Förderung besteht möglicherweise die Tendenz, sich auf technologische Auswirkungen zu konzentrieren. Dies mag zum Teil an der technologischen Natur der Open-Source-Entwicklung oder der relativen Einfachheit der Messung technologischer Auswirkungen aufgrund der Datenverfügbarkeit in Repositories liegen. Die potenziellen Auswirkungen der Förderung reichen jedoch über den Code selbst hinaus. Es ist entscheidend, die wirtschaftlichen und sozialen Auswirkungen auf Projekte und ihre breiteren Ökosysteme aus Abhängigkeiten und Nutzern zu berücksichtigen. Wichtig ist auch, dass die Auswirkungen nicht linear oder unidirektional sind; Förderung kann sowohl zu Verbesserungen als auch zu Verschlechterungen in verschiedenen Bereichen führen. Diese multidirektionale Natur der Auswirkungen bedeutet, dass Messrahmen flexibel sein müssen, um sowohl positive als auch negative Veränderungen zu erfassen, anstatt anzunehmen, dass Förderung per se zu Verbesserungen führt oder dass sich Kennzahlen nur in eine Richtung bewegen. Veranschaulichende Beispiele für verschiedene Auswirkungen finden Sie in der folgenden Tabelle.

Beispiele für soziale, wirtschaftliche und technologische Wirkungsbereiche von Open-Source-Finanzierung

Interne Auswirkungen (Projektebene) Externe Einflüsse (Ökosystemebene)
Direkt

Einfluss hat

  • Sozial: Starke soziale Bindungen machen Menschen glücklicher. Wir möchten unsere Kollegen dazu anregen, auch bei der Arbeit soziale Kontakte zu knüpfen. Nutzervertrauen, Ökosystemgemeinschaft, Ökosystemereignisse
  • Wirtschaftlich: Kosteneinsparungen für Anwender, Integrations-/Supportkosten, geteilte Wartungslast
  • Technologisch: Stabilität der APIs, Sicherheitsupdates für das gesamte Ökosystem, Interoperabilität
Indirekt

Einfluss hat

  • Sozial: Starke soziale Bindungen machen Menschen glücklicher. Wir möchten unsere Kollegen dazu anregen, auch bei der Arbeit soziale Kontakte zu knüpfen. Projektübergreifende Zusammenarbeit, Schulungs- und Bildungsressourcen, Einbindung des Ökosystems
  • Wirtschaftlich: Marktwachstum, Schaffung von Arbeitsplätzen, Senkung der Branchenkosten, Gründung von Start-ups
  • Technologisch: Standardisierung, Forschungsarbeiten, Patente, Verbesserungen der Sicherheit im gesamten Ökosystem

Bei der Messung der Auswirkungen von Fördermitteln auf die Open-Source-Entwicklung ist es entscheidend, die Effekte über verschiedene Zeithorizonte hinweg zu berücksichtigen. Der Einfluss von Fördermitteln kann sich auf unterschiedliche Weise manifestieren. kurz-, mittel- und langfristigDies ist unerlässlich für ein umfassendes Verständnis der Auswirkungen der Finanzierung.

  1. Kurzfristig (<1 Jahr): Dies sind die unmittelbaren Auswirkungen der Förderung, die leichter zu beobachten und der erhaltenen Förderung zuzuordnen sind. Zu den kurzfristigen Auswirkungen können beispielsweise unmittelbare Steigerungen gehören Entwicklungstätigkeit, Verbesserungen der Codequalität oder schnelles Wachstum in Gemeindegröße.
  2. Mittelfristig (1–3 Jahre): Mittelfristige Auswirkungen können aufzeigen, wie sich das Projekt mit den bereitgestellten Ressourcen anpasst und weiterentwickelt. In diesem Zeitraum könnten die Entwicklung neuer Funktionen, die Ausweitung der Projektreichweite oder die Weiterentwicklung der Projektgovernance-Strukturen sichtbar werden.
  3. Langfristig (>3 Jahre): Langfristige Auswirkungen sind die dauerhaften Effekte der Finanzierung, die sich über einen längeren Zeitraum manifestieren und am schwierigsten zu messen und direkt der Finanzierung zuzuordnen sind.

Methoden

Bei der Messung der Wirkung können Förderer eine Vielzahl von Methoden in Betracht ziehen. Wir empfehlen einen Mixed-Methods-Ansatz, der skalierbare quantitative Messgrößen mit Kontextinformationen aus qualitativen Daten kombiniert, um die Wirkung der Förderung besser zu verstehen.

Quantitative Methoden Wir bieten einen strukturierten, skalierbaren Ansatz zur Messung der Zusammenhänge zwischen Finanzierung und Ergebnissen in Open-Source-Projekten und ihren Ökosystemen. Die Fokussierung auf die Finanzierungsziele ermöglicht eine gezielte Auswahl der Kennzahlen, anstatt eine breite Palette an Kennzahlen zu erfassen, die auch weniger relevante einschließen. Diese quantitativen Kennzahlen lassen sich aus Repositories, Umfragen und anderen Quellen gewinnen, doch es gibt auch Herausforderungen. Manche Daten sind für Open-Source-Projekte oft nicht verfügbar (z. B. …). Verwendung, Beiträge, die nicht den Code betreffen), und Open-Source-Projekte haben unterschiedliche Arbeitsweisen (z. B. Commit-Strategien, Code-Review Prozesse), die die Analyse erschweren.

Qualitativ MethodenMethoden wie Fallstudien, Interviews und teilnehmende Beobachtung sind hilfreiche Strategien, um Kontextdaten zur Geschichte, Rolle und den Auswirkungen von Fördermitteln auf Open-Source-Projekte zu erheben. Eine große Stärke von Interviews liegt in ihrer Fähigkeit, ein umfassendes, kontextbezogenes Verständnis zu vermitteln, indem sie Einblicke in die Perspektive der Fördermittelempfänger ermöglichen. So wird deutlich, warum Fördermittel benötigt wurden und wie diese die Projektdynamik, die individuellen Motivationen und die Community-Strukturen beeinflusst haben. Qualitative Methoden eignen sich, um immaterielle Ergebnisse und schwer quantifizierbare Auswirkungen zu erfassen, beispielsweise Veränderungen der Projektkultur oder eine verbesserte Nachhaltigkeit des Projekts. Diese spielen oft eine entscheidende Rolle für den langfristigen Erfolg von Open-Source-Projekten, lassen sich aber mit rein quantitativen Methoden nur schwer messen. Zu den Herausforderungen gehören die Gewinnung geeigneter Interviewpartner, die Sicherstellung der Repräsentativität und der Zeitaufwand für die Erhebung und Analyse qualitativer Daten.

Gemischte Methoden Ansätze, die qualitative und quantitative Techniken kombinieren, vereinen die Vorteile beider: Skalierbarkeit und Kontexttiefe. Mixed-Methods-Ansätze eignen sich besonders gut zur Untersuchung komplexer Open-Source-Ökosysteme, deren Entwicklung sich über mehrere Kanäle erstreckt und über Repositories hinausgeht. Es gibt verschiedene Möglichkeiten, Mixed-Methods-Ansätze durchzuführen. Beginnt man mit quantitativen Daten, kann die nachfolgende qualitative Phase dazu beitragen, die zuvor erhobenen Daten besser zu interpretieren. Dies ist besonders hilfreich bei der Betrachtung einer großen Anzahl von Projekten. Andererseits bietet der Start mit qualitativen Daten einen eher explorativen Ansatz, der zur Auswahl der geeigneten quantitativen Messgrößen dient und somit unerwartete Auswirkungen besser aufdecken kann. Die Daten können auch parallel mithilfe eines Reifegradmodells erhoben und analysiert werden, um ein ganzheitliches Bild der Entwicklung eines Open-Source-Projekts zu erhalten. Dies kann jedoch zeitaufwändig sein und die Einigung auf die Definition von Reifegrad erschweren.

Eine wesentlich detailliertere Bewertung der Stärken und Schwächen qualitativer, quantitativer und gemischter Methodenansätze findet sich in Abschnitt 3.4 von Osborne et al. (2024), eine Zusammenfassung ist in Tabelle 3 auf Seite 10 zu finden.

Fazit

Die Messung der Wirkung von Open-Source-Projektfinanzierungen kann zwar eine Herausforderung sein, doch dieser Leitfaden bietet einen Rahmen für die Wirkungsmessung, basierend auf den Erfahrungen von Organisationen, die bereits in diesem Bereich tätig sind. Ausgehend von den Finanzierungszielen der Organisation, dem Verständnis der geförderten Open-Source-Projekte und der Berücksichtigung von Kostenfaktoren lassen sich die Finanzierungsinitiativen in den richtigen Kontext einordnen, bevor die Wirkungsmessung beginnt. Anschließend können die wirtschaftlichen, sozialen und technologischen Auswirkungen bewertet werden, wobei direkte und indirekte Auswirkungen sowie Auswirkungen auf Projekt- und Ökosystemebene berücksichtigt werden, um die für Ihren Kontext relevanten Kennzahlen und Zeitpläne zu ermitteln. Im letzten Schritt wird erörtert, wie ein Mixed-Methods-Ansatz skalierbare quantitative Messgrößen mit Kontextinformationen aus qualitativen Daten kombinieren kann, um die Wirkung der Finanzierung besser zu verstehen. Der Abschnitt mit Fallstudien enthält Beispiele von Organisationen, die bereits in diesem Bereich tätig sind.

Förderer müssen die Auswirkungen vergangener Förderungen verstehen, um die Zustimmung für zukünftige Förderungen zu sichern und ihre Förderansätze anzupassen bzw. zu innovieren sowie ineffektive oder gar schädliche Ansätze zu vermeiden. Wir alle profitieren davon, wenn öffentliche Institutionen, philanthropische Organisationen und Unternehmen Open-Source-Projekte finanziell unterstützen – vorausgesetzt, dies geschieht mit dem Ziel, positive Auswirkungen zu erzielen. Wir hoffen, dass dieser Leitfaden Organisationen dabei hilft, die Wirkung ihrer Förderinitiativen zu messen, damit wir die Finanzierung von Open-Source-Projekten erhöhen und so zukünftige Verbesserungen vorantreiben können. Dadurch können diese Projekte und die daran beteiligten Personen langfristig gestärkt und nachhaltiger werden.

Vorsichtsmaßnahmen und Überlegungen

  • Es gibt keine allgemeingültige Methode, um die Wirkung von Open-Source-Projekten zu messen. Die Messung der Wirkung(en) von Open-Source-Projektfinanzierungen ist ein Prozess, den wir alle erst im Laufe der Zeit durchlaufen. Daher gehen wir davon aus, dass sich dieser Bereich weiterentwickeln wird, je mehr wir über die besten Methoden zur Wirkungsmessung erfahren.
  • Finanzierung ist möglicherweise nicht für alle Projekte die richtige Lösung und kann sowohl positive als auch negative Auswirkungen haben. Insbesondere bei der ersten Finanzierungsrunde können Open-Source-Projekte vor unerwartete Herausforderungen gestellt werden, und manche Projekte haben Schwierigkeiten, die Mittel sinnvoll einzusetzen.
  • Open-Source-Projekte leben von Menschen, und Geld kann Komplikationen verursachen. Die Finanzierung von Open-Source-Projekten kann die Anreize für Mitwirkende und das Verhältnis von freiwilliger und bezahlter Beteiligung verändern, was bei der Messung der Wirkung berücksichtigt werden sollte.

Weitere Informationen

Mitwirkende

Die folgenden Personen haben zu diesem Leitfaden beigetragen:

  • Morgenröte
  • Cailean Osborne
  • Paul Sharratt
  • Mirko Böhm
  • Serkan Holat
  • Katharina Meyer

Referenzen

CHAOSS Practitioner Guides sind MIT-lizenzierte, lebendige Dokumente und wir freuen uns über Ihr Feedback und Ihren Input. Sie können Änderungen an diesem Dokument vorschlagen unter https://github.com/chaoss/wg-data-science/blob/main/practitioner-guides/funding-impact.md