Er wordt steeds meer gesproken over ‘data-driven development’. In dit artikel legt DTT uit wat data-driven development in de praktijk betekent en hoe je waardevolle inzichten op basis van data kunt gebruiken om richting en prioriteit te geven aan de doorontwikkeling van een softwareoplossing.

Wat is data-driven development?

Data-driven development is een aanpak waarbij besluitvorming voor het (door)ontwikkelen van een oplossing wordt gebaseerd op concrete cijfers en inzichten. Tijdens het development proces worden vaak (kostbare) beslissingen gemaakt op basis van  aannames, zonder echt naar de cijfers te kijken. Door het gedrag van de gebruikers binnen de oplossing te meten zul je in staat zijn om weloverwogen, datagedreven beslissingen te nemen over onder andere prioriteiten en optimalisaties. 

Hoe gaat DTT om met data-driven development?

Edu Play Book is één van de apps waarbij DTT data-driven development met behulp van app analytics heeft toegepast. De ontwikkeling van de app is klein begonnen met de focus op de basisfunctionaliteiten, welke vervolgens op basis van data-driven optimalisatie en app analytics doorontwikkeld, uitgebreid en aangevuld.

Wij gebruiken Key Performance Indicators (KPI’s) om het succes van Edu Play Book concreet en meetbaar te maken. Een KPI biedt concreet inzicht in het behalen van je doelen. Zo kan het een KPI van jouw oplossing zijn om zoveel mogelijk downloads te genereren ("acquisitie"), of gebruikers te motiveren om jouw oplossing met elkaar te delen ("organische groei"), of om gebruikers te behouden ("retentie"). In dit hoofdstuk gaan we stap voor stap langs de KPI’s van onze eigen in-house app Edu Play Book en delen we de resultaten van elke app update.

KPI 1: Een groeifactor van 1.5 behalen voor het totaal aantal shares binnen een jaar

De focus van de eerste fase lag op het verhogen van downloads en gebruikers (acquisitie). Onze KPI: Een groeifactor van 1.5 behalen voor het totaal aantal shares binnen een jaar. Dit betekent dat elke 10 gebruikers samen gemiddeld 5 nieuwe gebruikers uitnodigen.

We hebben deze doelstelling SMART geformuleerd. SMART staat voor Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden. Dit zag er voor deze KPI zo uit:

  • Specifiek: Wij hebben deze KPI specifiek gemaakt door getallen en tijden te benoemen.
  • Meetbaar: Formuleer een meetbare doelstelling (vaak cijfermatig) en zorg ervoor dat je de hulpmiddelen hebt om je KPI’s te meten. Om dit doel meetbaar te maken hebben wij in-app analytics geïmplementeerd om te registreren hoe vaak er word gedeeld in de app.
  • Acceptabel: Zorg ervoor dat het doel door alle betrokkenen geaccepteerd wordt, zonder draagvlak kan je het doel niet behalen. Om deze KPI acceptabel te maken hebben wij zeker gesteld dat alle betrokkenen achter het doel staan.
  • Realistisch: KPI’s moeten realistisch zijn. Deze KPI hebben wij realistisch gemaakt door na te denken over de haalbaarheid van de KPI met het beschikbare budget en beoogde tijdslijn.
  • Tijdsgebonden: Geef aan binnen welke periode het doel moet worden gerealiseerd. Voor deze KPI hebben we een tijdspanne van een jaar gekozen.

Na het opstellen van de SMART KPI hebben wij nagedacht over functionaliteiten die bijdragen aan het behalen van de doelstelling.

Om het delen van de app te stimuleren is de opname functionaliteit bedacht. Met deze functionaliteit kunnen gebruikers zelf een boek inspreken en dit ingesproken boek vervolgens delen met dierbaren, bijvoorbeeld via Facebook of Whatsapp. Ook is de mogelijkheid ingebouwd om een verzoek sturen naar een dierbare met het verzoek of hij of zij een verhaal wilt inspreken. Voor de livegang van deze update werden belangrijke conversie momenten in kaart gebracht om meetbaar te maken of de update inderdaad in meer organische resulteerde, waaronder:

  • Van het lezen van een boek naar het aanvragen van een opname;
  • Van het starten van een opname naar het afmaken van een opname;
  • Van een opname afmaken naar een opname delen met een andere gebruiker;
  • Van een opname aanvragen bij een dierbare, tot de app downloaden door degene die de uitnodiging ontving, naar een verhaal opnemen door de dierbare en het vervolgens terugsturen van een opname (complete flow);
  • Van het delen van een opname met degene die de opname heeft aangevraagd tot het delen van de gemaakte opname met andere gebruikers.

  • In juni 2019 werd de app 224 keer gedeeld door middel van app shares (59%) en book shares (41%).
  • In juni 2020 werd de app 790 keer gedeeld waarvan het overgrote deel van het totaal aantal shares bestond uit opname verzoeken (62%) en shares vanuit gedeelde opnames (17%).
  • Tussen juni 2019 en juni 2020 is het totaal aantal shares is binnen een jaar gestegen met meer dan 350%. De doelstelling om het totaal aantal shares te verhogen met een groeifactor van 1.5 was met dit resultaat ruim behaald.

Facebook Analytics, Edu Play Book: Shares verdeeld per sharetype, juni 2019

Facebook Analytics, Edu Play Book: Shares verdeeld per sharetype, juni 2020

De onderstaande funnel toont hoe vaak in februari 2021 het aanvragen van een opname werd opgestart, hoe vaak het verzoek voor een opname werd verzonden en op welk punt dit proces het meest werd afgebroken. Van de 454 gebruikers verzonden uiteindelijk 143 gebruikers een verzoek om een boek in te laten spreken.

Facebook Analytics, Edu Play Book: Opname funnel, februari 2021

De bovengaande funnel maakt inzichtelijk dat we meer dan 40% van de gebruikers kwijtraken tussen stap 3 (klikken op een opname aanvragen) en stap 4 (het daadwerkelijk aanvragen van een opname). In de aankomende updates zullen we ons daarom ook richten op een optimalisatie tussen stap 3 en stap 4. Zo weten we dat een optimalisatie op dit punt van de app een hogere prioriteit heeft en meer winst kan geven dan een optimalisatie tussen stap 1-3. 

KPI 2: De week 1 retentie van de app binnen een jaar verdubbelen

Het volgende doel na het verhogen van het aantal shares, was het verhogen van de gebruikersretentie. Gebruikers retentie betekent het vasthouden van bestaande gebruikers. Om gebruikers retentie te stimuleren, werden de volgende functionaliteiten toegevoegd:

  • Educatieve minigames, kom elke dag terug om te leren lezen, rekenen en meer;
  • Slaap Zacht, kom elke dag terug voor een interactief verhaal voor het slapen gaan;
  • Tandenpoetsen, kom elke dag terug voor een interactieve module welke kinderen leert hoe zij hun tanden kunnen poetsen.

Voor de bovenstaande functionaliteiten werden wederom belangrijke conversiepunten in kaart gebracht, waaronder: 

  • Van minigame level 1 naar minigame level 2;
  • Van spelen minigame A naar spelen minigame B.

De functionaliteiten om retentie te bevorderen werden in september 2019 live gezet. Op dat moment was de week 1 retentie 3.23%, dit houdt in dat slechts 3.23% van de gebruikers de app nog in gebruik nam na een week. In september 2020 was de retentie 15.1%, binnen een jaar is de week 1 retentie bijna vervijfvoudigd. 

KPI 3: Verhogen van gebruikersactiviteit naar 2500 actieve gebruikers per maand binnen een jaar

Middels Analytics werd duidelijk dat des te langer een mini game level duurde, des te vaker het level werd gespeeld. Op basis van deze inzichten werd besloten om de levels van nieuwe minigames langer in te steken door de minigames uitdagender te maken. In januari en maart 2020 werden langere minigames geïntroduceerd. De onderstaande grafiek toont de stijging in gebruikersactiviteit na het lanceren van de nieuwe mini games.

 

Facebook Analytics, Edu Play Book: Gebruikersactiviteit, juni 2019 tot juni 2020

De onderstaande funnel toont hoe vaak in februari 2021 een level van een minigame werd gestart, hoe vaak het level werd uitgespeeld en het aantal gebruikers wat doorspeelde naar het volgende level.

Facebook Analytics, Edu Play Book: Minigame funnel, februari 2020

Op basis van deze inzichten, zou je kunnen betogen dat het van meerwaarde is om te focussen op het proces tussen ‘Started’ en ‘Finished’. Hier is meer ‘winst’ te behalen dan in de volgende stap. Bij stap 1 ‘verliezen’ we 23% van de gebruikers en bij stap 2 slechts 16% van de resterende gebruikers. 

A/B testen van app iconen 

Een A/B test is een vorm van splittesten waarin verschillende varianten naast elkaar worden getest om zodoende de ‘best presterende versie’ met de hoogste conversie te vinden. Bij Android apps is het mogelijk om een A/B test op te zetten waarin je maximaal vier varianten naast elkaar kunt testen (A/B/C/D). Bijvoorbeeld varianten van het app icoon of screenshots die worden getoond van de app.

Voor de Edu Play Book app zijn er meerdere A/B testen opgezet. Het app icoon is het eerste visuele aanspreekpunt  voor een gebruiker in de app stores. Idealiter valt het app icoon dan ook op om de aandacht trekken van de gebruiker. 

In de onderstaande tabellen zetten we de iteraties van het app icoon en het aantal downloads op een rij. Hoe hoger het percentage, hoe vaker het app icoon is gedownload.

19 augustus 2019: A/B testen met kleurvariaties

Bij de eerste A/B test lag de focus op de kleur van het app icoon. Tijdens deze A/B test zijn er vier varianten van het app icoon getest in de Google Play Console met elk een verschillende kleur. De paarse variant werd onder deze opties het meest gedownload.

25 oktober 2019: A/B testen met een nieuw design

Bij de tweede A/B test werd er een compleet nieuw design getest tegenover de meest succesvolle variant uit de vorige A/B test. De resultaten waren als volgt: 

12 december 2019: A/B testen met variaties

Bij de laatste A/B test omtrent het app icoon werden vier variaties van de uil uit Edu Play Book getest. Van alle vier de varianten bleef hetzelfde app icoon het meest populair met 28.9%. 

Zoals valt te lezen, hebben we met de A/B testen tientallen procenten aan ‘winst’ gepakt waarmee we de download aantallen voor de app op een structurele wijze hebben verhoogd. 

Van onderbuikgevoel naar data-driven development voor jouw app idee

Ben je na het lezen van artikel enthousiast geworden over de mogelijkheden van data-driven development met behulp van analytics? Neem gerust contact op voor eventuele vragen, we helpen je graag verder bij DTT. Wil je hierover verder praten of sparren? Neem dan vrijblijvend contact met ons op.