Ammatinharjoittajan opas: Johdanto – Asioita, joita kannattaa miettiä mittareita tulkittaessa

  • Aiheeseen liittyvät mittarit: Kaikki
  • Yleisö: Ammatinharjoittajien oppaat on suunniteltu sellaisten ammattilaisten käyttöön, jotka eivät ehkä ole data-analyysin asiantuntijoita ja jotka haluavat paremmin ymmärtää, kuinka avoimen lähdekoodin projektia koskevia tietoja tulkitaan, jotta he voivat kehittää oivalluksia, jotka voivat auttaa heitä parantamaan avoimen lähdekoodin projektin kuntoa. hanke. Nämä oppaat ovat erityisen hyödyllisiä avoimen lähdekoodin ohjelmatoimistoille (OSPO), projektijohtajille, yhteisön johtajille, ylläpitäjille ja kaikille, jotka haluavat ymmärtää paremmin projektin kunnon ja ryhtyä toimiin sen perusteella, mitä he oppivat mittareistaan.

Projektin kunnon mittaaminen on monimutkaista, ja siinä on otettava huomioon niin monia mahdollisia näkökohtia (Linåker et al. 2022). Practitioner Guide -sarja on suunniteltu jakamaan projektin kunto sarjaksi loogisia aiheita, joiden avulla voit arvioida ja parantaa avoimen lähdekoodin projektiesi kuntoa. Tämä johdanto-opas on suunniteltu saamaan sinut pohtimaan, mitä haluat mitata ja miten se mitataan, sekä joitakin yleisiä vinkkejä ja varoituksia. Se on tarkoitettu täydentämään Practitioner Guide -sarjaa, josta löydät tietoja siitä, miten voit saada näkemyksiä tietyistä aiheista, kuten reagointikyvystä, avustajien kestävyydestä, organisaation osallistumisesta ja muista.

Ei ole olemassa yhtä kaikille sopivaa lähestymistapaa mittareiden käyttämiseen projektin kunnon mittaamiseen. Jokainen avoimen lähdekoodin projekti on hieman erilainen, ja mittareita tulee aina tulkita kyseisen projektin tarpeet ja konteksti huomioon ottaen (Goggins ym. 2021). Pienillä hankkeilla on erilaiset tarpeet kuin suurissa projekteissa. Avoimen lähdekoodin käyttöjärjestelmäprojektilla on hyvin erilaiset ominaisuudet kuin projektilla, joka tuottaa pienen paketin tai kirjaston. Eri yhteisöillä on erilaisia ​​työskentelytapoja tuottaakseen avoimen lähdekoodin ohjelmistoprojektejaan. Projekteissa on erilaisia ​​tapoja julkaista julkaisuja. Projekteilla ja niihin osallistuvilla ihmisillä on erilaiset tarpeet ja tavoitteet.

Yksi parhaista aloituspaikoista ei itse asiassa ole mittareiden avulla, vaan viettämällä aikaa projektin yleisten tavoitteiden ymmärtämiseen. Jos projektia vetää ensisijaisesti yksi organisaatio tai se on organisaation omistuksessa, sinun tulee ottaa huomioon myös kyseisen organisaation tavoitteet. Ajattelemalla strategisesti yleistavoitteita voit paremmin päättää, mitä sinun on mitattava määrittääksesi, saavuttaako projekti tavoitteensa. Avoimen lähdekoodin projektit tuottavat tsunamin dataa, joka voi olla ylivoimainen, mutta keskittymällä tavoitteisiin voit kehittää mittausstrategia joka auttaa sinua keskittymään tietyn projektin kannalta tärkeimpiin mittareihin.

Kaikki tämä ja muut vaikuttavat kaikkien avoimen lähdekoodin mittareiden tulkintaan. Todelliset asiantuntijat ovat ihmisiä, jotka osallistuvat jokapäiväiseen projektiin. Tavoitteisiin keskittymisen lisäksi saatat joutua viettämään aikaa myös tarkastelemaan trendejä, jotka liittyvät siihen, kuka osallistuu yhteisöön ja miten he osallistuvat saadaksesi yleiskuvan projektista ja keneltä saatat haluta ottaa yhteyttä saadaksesi lisätietoja. . Sinun on otettava mukaan mittaamasi projektin/yhteisön avainhenkilöt, koska he voivat auttaa sinua tulkitsemaan mittareita ja havaittuja trendejä eettisesti tavalla, joka on järkevin kyseiselle projektille (Casari ym. 2023), kuten kuvataan kohdassa lisätietoja "Vaihe 2: Diagnoosi" -osiossa. Jos et ole jo lukenut Arkiston ulkopuolella Amanda Casari, Julia Ferraioli ja Juniper Lovato, suosittelen keskeyttämään ja lukemaan tämän 6-sivuisen artikkelin nyt.

CHAOSS-projektissa meillä on ohjelmisto (Augur ja GrimoireLab) joita voidaan käyttää tiedon keräämiseen ja trendien tunnistamiseen neutraalilla tavalla, jota voidaan helposti auditoida ja seurata ajan mittaan. Nämä harjoittajan oppaat eivät kuitenkaan oleta, että käytät jotakin tiettyä ohjelmistoa, koska sinulla voi olla muita mittaustyökaluja, jotka sopivat sinun tilanteeseen. Riippumatta siitä, kuinka keräät mittareita, nämä oppaat auttavat sinua tulkitsemaan näitä mittareita saadaksesi merkityksellisiä ja käyttökelpoisia oivalluksia projektin kunnon parantamiseksi.

Vaihe 1: Tunnista trendit

Avoimen lähdekoodin projektien mittarit voivat olla meluisia, sillä projektin monet toiminnot tuottavat monia datapisteitä. Yksi tapa päästä eroon tästä melusta on keskittyä ajan mittaan kehittyviin trendeihin. Sen sijaan, että tarkastelet sitä, mitä tapahtui eilen tai viime viikolla, se voi auttaa aloittamaan kokoamalla datasi kuukausittain ja tarkastelemalla, onko jokin yhteisösi osa parantunut, pysynyt vakaana vai laskenut viimeisten 3–6 kuukauden aikana. Voit myöhemmin syventyä tietyn päivän tai viikon tietoihin ymmärtääksesi, mitä näet. Tarkastelemalla yleisiä trendejä voit välttää liiallisen korjaamisen tai liiallisen murehtimisen päivittäisistä vaihteluista.

Vaihe 2: Diagnoosi

Ensimmäinen toimenpide ongelmien diagnosoinnissa tai parannusmahdollisuuksien tunnistamisessa on puhua projektiin läheisesti mukana olevien ihmisten kanssa. Näytä heille tiedot ja kysy, mikä saattaa aiheuttaa ongelmat. Projektin johtajat ja yhteisön jäsenet eivät välttämättä tiedä, mistä ongelmat johtuvat, joten jokaisessa oppaassa tulisi olla joitain vinkkejä alueiden tutkimiseen ja mahdollisia ideoita siitä, mistä etsiä ja kuinka diagnosoida tiettyjä ongelmia tai löytää mahdollisuuksia parantaa.

Kun päätetään, onko jokin ongelma tai huolenaihe, johon on puututtava, ensimmäinen kysymys on, voiko ongelma olla tilapäinen vaihtelu todellisen ongelman sijaan. Mitä muuta yhteisössäsi, projektissasi ja ekosysteemissäsi tapahtuu? Oliko siellä suuri konferenssi, suuri julkaisu, lomakausi tai muita asioita, jotka vaikuttivat ihmisten aikaansa tehdä lahjoituksia? Tällaisten virstanpylväiden peittäminen kaaviossa voi auttaa ymmärtämään niiden vaikutusta paremmin. Jos vaikuttaa siltä, ​​että vaikutusta on, odota kuukausi tai kaksi ja katso, palautuvatko mittarit tilapäisen häiriön jälkeen. Kuten aiemmin mainittiin, siksi on niin tärkeää, että projektissa on päivittäin mukana ihmisiä, jotka auttavat tulkitsemaan mittareissa näkemääsi.

Erinomainen esimerkki tilapäisestä vaihtelusta on laskeva suuntaus heinä/elokuussa ja joulu/tammikuussa, jos sinulla on paljon osallistujia paikoissa, joissa on loma- tai lomakausi. Laskeva trendi osoittaa, että ihmiset viettävät aikaa levätäkseen ja latautuakseen, mikä on todennäköisesti positiivinen merkki projektisi pitkän aikavälin kestävyydestä ongelman sijaan.

Jos olet päättänyt, että ongelma on todennäköisesti jatkuva eikä väliaikainen, on aika alkaa miettiä, mikä saattaa aiheuttaa ongelman. Tämä on todennäköisesti mittarikohtaista, ja sitä käsitellään yksityiskohtaisemmin tiettyjä aiheita koskevissa käytännön oppaissa.

Vaihe 3: Kerää tarvittaessa lisätietoja

Tässä vaiheessa, jos tiedät, mitä sinun on parannettava ja miten sitä voi parantaa, voit ohittaa tämän vaiheen toistaiseksi. Voit aina palata siihen, jos teet muutoksia, mutta et näe parannuksia seuraavien kuukausien aikana.

Muissa tapauksissa sinun tulee tutkia aluetta tarkemmin ennen kuin päätät, mitä parannustoimia tehdä. Tiettyjä aiheita koskevat asiantuntijaoppaat sisältävät lisämittareita, joita voidaan käyttää lisätietojen keräämiseen tiettyjen ongelmien diagnosoimiseksi.

Vaihe 4: Tee parannuksia

On tärkeää, että tähän vaiheeseen osallistuu yhteisöltä ja projektin johtajilta, ennen kuin alat ryhtyä toimiin parannusten tekemiseksi. Projektin tuen puuttuminen voi johtaa siihen, että muutokset ovat tehottomia, häiritseviä tai jopa haitallisia projektille ja siihen osallistuville ihmisille.

Avoimen lähdekoodin projektit, yhteisöt ja ekosysteemit ovat monimutkaisia; yhdellä alueella tekemäsi muutokset voivat vaikuttaa projektin muihin osiin. Monet avoimen lähdekoodin projekteissa työskentelevät ihmiset ovat todennäköisesti kiireisiä ja heillä on vain vähän aikaa lisätyöhön, joten on tärkeää, ettei ihmisiä ylikuormita loppuunuuttumiseen asti. Näistä syistä on yleensä parasta keskittyä enintään 2 tai 3 parannustoimeen kerralla.

Kuten muissakin vaiheissa, tiettyjen aiheiden harjoittajien oppaat sisältävät lisätietoja siitä, kuinka aihetta voidaan parantaa.

Vaihe 5: Seuraa tuloksia

Tärkeä askel tiedossa, ovatko toimet aiheen parantamiseksi olleet tehokkaita, on jatkaa mittaamista ja sitten seurata tuloksia. Haluat luultavasti seurata sitä vähintään 2 tai 3 kuukautta (enemmän monimutkaisten muutosten osalta), ennen kuin päätät, alkavatko toimet olla tehokkaita. Muista, että jos tapahtuu jotain, joka saattaa aiheuttaa tilapäisiä vaihteluita, sinun kannattaa pidentää tätä aikakehystä.

Sinun tulee myös jatkaa sen seurantaa pitkällä aikavälillä nähdäksesi, onko parannuksillasi vaikutusta. Yleinen malli on, että parannukset jatkuvat, kun ihmiset keskittyvät niihin, mutta voivat sitten luisua, jos ihmiset lankeavat vanhoihin malleihin ja lakkaavat tekemästä parannuksia. Saatat joutua pyöräilemään näiden vaiheiden läpi herättääksesi ihmisten kiinnostuksen ja jatkaaksesi parannusten tekemistä.

Varoitukset ja huomiot

  • Kun tulkitset mittareita ja teet parannuksia avoimen lähdekoodin projektiisi, sinun tulee aina miettiä ensin projektissasi mukana olevia ihmisiä ja sitä, kuinka nämä muutokset voivat vaikuttaa heihin (positiivisesti ja negatiivisesti).
  • Ota projektin parissa työskentelevät ihmiset aina mukaan mittareiden keräämiseen ja tulkitsemiseen sekä mahdollisiin parannustoimiin, joita saatat tehdä.
  • Jokainen projekti on hieman erilainen, joten mittareita on tärkeää tulkita projektin yksilöllisten tarpeiden ja toimintatapojen valossa.
  • Vältä mittareiden käyttämistä projektien vertaamiseen keskenään, jos mahdollista, mutta jos haluat vertailla projekteja, varmista, että vertaat vain projekteja, joilla on samanlaiset ominaisuudet. Vain muutamia monista esimerkeistä ovat, Javascript-projekteilla on hyvin erilaiset ominaisuudet ja mallit kuin C / C++-projekteissa; säätiön omistamat hankkeet ovat erilaisia ​​kuin yrityksiltä karkotetut hankkeet; ja Kubernetesin kokoinen projekti ei ole kuin projekti, joka tuottaa pienen kirjaston tai paketin.
  • Varo, ettet koskaan aseta itseäsi siihen, että ihmiset asettelevat mittareitasi, ja ole erittäin varovainen mittareiden kanssa, joiden avulla voidaan vertailla ihmisiä toisiinsa tavoilla, jotka voivat johtaa yksilöiden rankaisemiseen.
  • Muista, että automaatio ja bottitoiminta voivat vaikuttaa monien mittareiden tulkintaan, joten on tärkeää ymmärtää, miten automaatio ja botit voivat vaikuttaa tuloksiisi.

Lisälukeminen

Palaute

Haluaisimme mielellämme palautetta saadaksesi lisätietoja siitä, kuinka ihmiset käyttävät CHAOSS Practitioner -oppaita ja kuinka voimme parantaa niitä ajan myötä. Ole hyvä ja täytä tämä lyhyt kysely antaaksesi palautetta.

Osallistujat

Seuraavat ihmiset osallistuivat tähän oppaaseen:

  • Dawn Foster
  • Chan Voong
  • Luis Cañas Díaz

Viitteet

CHAOSS Practitioner Guides -oppaat ovat MIT:n lisensoituja, eläviä asiakirjoja, ja otamme mielellämme palautteen ja palautteen. Voit ehdottaa muutoksia tähän asiakirjaan osoitteessa https://github.com/chaoss/wg-data-science/blob/main/practitioner-guides/introduction.md