Das Folgende ist ein Blogbeitrag von unseren Freunden in der OSS Compass-Projekt. OSS Compass ist eine in China gehostete SaaS-Lösung, die auf der CHAOSS GrimoireLab-Software basiert und CHAOSS-Metriken und -Metrikmodelle bereitstellt. Es gibt auch ein Video von unserem CHAOSS Metrics Models-Meeting am 29. August 2023, das die Funktionsweise von Compass Lab zeigt. Sie können sich das Video ansehen HIER.
Entdecken Sie Compass Lab und machen Sie es einfach, ein Open-Source-Projektbewertungsmodell zu erstellen!
Hallo, Open-Source-Abenteurer! Heute bin ich hier, um das neueste Wunderwerk aus dem Open-Source-Bereich vorzustellen – den neuen Liebling der OSS Compass-Welt (im Folgenden als „Compass“ bezeichnet)! Ja, Sie haben es richtig gehört. Es ist unser neuer SaaS-Service – Compass Lab! Moment, Sie haben noch nichts davon gehört? Machen Sie sich keine Sorgen, ich erkläre Ihnen alles Schritt für Schritt. Ich verspreche, es wird Sie verblüffen und begeistern!
In der Welt von Open Source entstehen täglich unzählige Projekte. Allerdings bleibt die genaue Messung des Zustands eines Open-Source-Projekts eine große Herausforderung. Glücklicherweise haben wir Compass, das so etwas wie ein Gesundheitscheck-Arzt für Open-Source-Projekte ist. Und vor Kurzem ist ein neues Mitglied beigetreten – Compass Lab!
01🌟 Was ist Compass Lab?
Compass Lab ist ein Inkubator für Open-Source-Community-Bewertungsmetrikmodelle. Es mag anspruchsvoll klingen, aber eigentlich handelt es sich im Wesentlichen um ein „Gesundheitsbewertungszentrum“, das eine umfassende Überprüfung von Open-Source-Projekten bietet. Dieses Evaluationszentrum bietet nicht nur Daten, sondern dient auch als Plattform voller Spaß und Kreativität.
Compass Lab sammelt eine enorme Datenmenge aus über 20,000 Open-Source-Projekten und bietet mehr als 200 Projektkategorien und über 100 Bewertungsmetriken. Das bedeutet, dass Sie eine umfassende Gesundheitsbewertung für ein Projekt durchführen können – die Möglichkeiten sind endlos! Sie können je nach Bedarf verschiedene Bewertungsmetriken und Datensätze auswählen, was es zu einem Paradies für Bewertungsbegeisterte macht!
02🚀 Wie „spielt“ man mit Compass Lab?
Eigentlich ist es ganz einfach! Zunächst müssen Sie mit einer neugierigen Einstellung an die Sache herangehen. Registrieren Sie sich dann und melden Sie sich bei der SaaS-Serviceplattform von an Kompasslabor, wo Sie eine faszinierende Welt entdecken werden. Sie können vorhandene Bewertungsmodelle auswählen oder eines basierend auf Ihren Interessen anpassen.
➤Allgemeine Schritte zum Erstellen eines Modells
1. Öffnen Sie die Seite zur Modellerstellung:
Auf dem Offizielle Compass-Website, suchen Sie den Modellerstellungsbereich auf der rechten Seite der Lab-Seite und klicken Sie auf „Jetzt ein Modell erstellen“ oder verwenden Sie die Schaltfläche „Modell erstellen“ oben.
2. Geben Sie grundlegende Informationen ein:
Geben Sie grundlegende Modellinformationen an, z. B. die Dimension des Ökosystems, den Modellnamen, die anwendbare Branche und ob es öffentlich oder privat ist.
3. Datensätze auswählen:
Wählen Sie aus über 200 Datensätzen einen Datensatz aus, der Ihren Anforderungen entspricht und Flexibilität für verschiedene Bereiche bietet.
4. Wählen Sie Bewertungsmetriken:
Wählen Sie aus den über 100 von CHAOSS und Compass bereitgestellten Metriken die Metriken aus, die Sie interessieren, kategorisiert nach Code, Problemen, Pull-Requests, Repositorys, Mitwirkenden usw. Und bestätigen Sie Ihre Auswahl.
5. Gewichte und Schwellenwerte anpassen:
Ändern Sie als Nächstes die Gewichtswerte im Prozenteingabefeld oder ziehen Sie den Schieberegler, um die Gewichtungen anzupassen (Standardeinstellung ist nur nach rechts). Überarbeiten Sie die Schwellenwerte im rechten Eingabefeld (stellen Sie sicher, dass die Werte innerhalb des angegebenen Bereichs bleiben). Dieser Vorgang ähnelt dem Anpassen Ihrer eigenen Pizza und dem Hinzufügen von Belägen nach Ihrem Geschmack!
6. Wählen Sie Algorithmen:
Derzeit unterstützen wir nur den Standardalgorithmus (wie unten gezeigt), aber keine Sorge, es handelt sich um einen bemerkenswerten Algorithmus, der vom Experten Rob Pike selbst entwickelt wurde! Weitere Informationen zu diesem Algorithmus finden Sie in unserem zuvor veröffentlichten Artikel „OSS Compass Scoring System-Schalter: Beobachten Sie, wie sich Algorithmen in Magie verwandeln!„Wenn Sie weitere Gedanken zu Algorithmen haben, treten Sie dem bei Compass Slack-Kanal um mit anderen Open-Source-Abenteurern zu diskutieren.
7. Veröffentlichen Sie das Modell:
Nachdem Sie alle Informationen bestätigt haben, klicken Sie auf „Speichern“, um das Modell zu veröffentlichen.
Lassen Sie hier als Nächstes Daten und Kreativität aufeinandertreffen, um Ihr eigenes Projektgesundheitsmodell zu erstellen!
03🌈 Hier ist Ihrer Kreativität freien Lauf: Erstellen Sie ein Bewertungsmodell für LLM-Projekte!
Compass Lab bietet nicht nur allgemeine Projektbewertungsmodelle, sondern bietet auch einen besonderen Raum für Entwickler mit einzigartigen Ideen. Wenn Sie ein außergewöhnliches Open-Source-Projekt haben und diesem einen Health-Score zuweisen möchten, sind Sie hier genau richtig! Hier können Sie ein Bewertungsmodell für Ihr Projekt anpassen und so Ihrer Kreativität freien Lauf lassen!
Wenn Sie beispielsweise an Open-Source-LLMs-Projekten interessiert sind oder ein eigenes Open-Source-LLMs-Projekt haben, können Sie ein Evaluierungsmodell dafür erstellen:
➤Schritte zum Erstellen eines LLM-Projektbewertungsmodells
1. Geben Sie Ihrem Modell einen einprägsamen Namen:
Denken Sie neben der Benennung auch daran, zu entscheiden, ob es sich um eine allgemeine oder eine bestimmte Domain handelt und ob Sie bereit sind, das Modell zu veröffentlichen.
2. Datensätze auswählen:
Wählen Sie Projekte in den Kategorien „Open-Source-LLMs“ und „Open-Source-LLMs-Tools“ aus, um kategorieübergreifende Vergleiche zu erleichtern. (Unser Datensatz wird ständig erweitert!)
3. Wählen Sie Metriken aus und passen Sie Gewichtungen und Schwellenwerte an:
Wählen Sie geeignete Metriken basierend auf den Merkmalen von Open-Source-LLM-Projekten aus, z. B. Anzahl der Organisationen, Code-Commit-Häufigkeit, laufende Beiträge usw.
Passen Sie Gewichtungen und Schwellenwerte für jede Metrik an, indem Sie die zuvor gezeigten Schritte befolgen.
Klicken Sie dann auf „Speichern“ und das Modell wird erstellt.
4. Bewertungsergebnisse analysieren und anzeigen:
Klicken Sie auf „Analysieren“ und warten Sie, bis der Vorgang abgeschlossen ist. Anschließend können Sie den Bewertungsbericht anzeigen.
5. Kommentare hinzufügen:
Darüber hinaus haben wir der Dashboard-Seite eine Kommentarfunktion hinzugefügt. Klicken Sie auf die Kommentarschaltfläche in der oberen rechten Ecke, um Ihre Gedanken mitzuteilen.
6. Laden Sie Freunde zur Zusammenarbeit ein:
Sie können auch Freunde zur Zusammenarbeit einladen und Ihnen dabei helfen, ein perfekteres Modell zu erstellen. Klicken Sie einfach auf der Modellseite auf „Mitglied“, legen Sie die Berechtigungen für die Zusammenarbeit fest und versenden Sie Einladungen!
04🌟 Entdecken Sie grenzenlosen Spaß in der Open-Source-Welt, alles in Compass!
Ich glaube, dass Sie durch die heutige Einführung nun ein tieferes Verständnis von Compass Lab haben. Hier können Sie nicht nur verschiedene Dimensionen von Open-Source-Projekten erkunden, sondern auch Bewertungsmodelle für Ihre eigenen Ideen anpassen und dabei Kreativität und Daten kombinieren. Dieser „Evaluationsspielplatz“ in der Open-Source-Welt wartet auf Ihre Teilnahme!
Wenn Sie Compass Lab noch nicht erlebt haben, handeln Sie jetzt! Sehen Sie sich die Betriebsdemonstration unten an und erstellen Sie Ihr Evaluierungsmodell! Lassen Sie uns gemeinsam den grenzenlosen Spaß der Open-Source-Welt erkunden und die Geheimnisse der Daten lüften!
Bleiben Sie auf dem Laufenden, um weitere interessante technische Neuigkeiten und kreative Aktivitäten zu erhalten. Bis zum nächsten Mal begeben wir uns gemeinsam auf eine unendliche Reise der Open-Source-Kreativität!
Treten Sie der OSS Compass Community bei
In Zukunft wird sich OSS Compass weiterentwickeln und der breiteren Benutzerbasis etwas zurückgeben, indem es mehr Komfort für die Bewertung von Open-Source-Projekten bietet und zur gesunden und nachhaltigen Entwicklung von Open-Source-Communities beiträgt.
Wir freuen uns darauf, dass weitere Entwickler der OSS Compass-Community beitreten und zu ihrer Entwicklung beitragen. Gleichzeitig begrüßen wir Benutzer, die Compass SaaS-Dienste weiterhin nutzen und Feedback geben, um die Leistungsfähigkeit von OSS Compass kontinuierlich zu verbessern.
