Een momentopname van verandering in populaire muziek in het afgelopen decennium: 2008 versus 2018

Onder andere memorabele citaten over het volkslied van Rockstar 2018, grapte de hedendaagse filosoof Post Malone met ‘Man I feel like a rockstar’. Gewapend met een passie voor data hebben we besloten om te onderzoeken: is rap echt de nieuwe rock? Of de nieuwe pop? Is rock nog steeds relevant? Wat beschrijft de typische poptekst het beste? We verkennen kaarttoppers van 2008 en 2018 met enkele visualisaties.

De methode:

We dachten dat een goed uitgangspunt de Billboard Hot 100 aan het einde van het jaar zou zijn, die de populairste nummers meet via radio-uitzending, streaming data en verkoop (shoutout naar Billboard, de hitlijsten zijn hier beschikbaar). We hebben een eenvoudige webschraper geschreven om deze gegevens te krijgen. Met de top 100 van nummers uit 2018 en 2008 was ons uiteindelijke doel een beetje dieper te duiken om grote veranderingen in de muziekindustrie op te sporen. Voor een zinvolle analyse hadden we de songteksten en het genre van elk nummer nodig. De website AZLyrics (shoutout!), Doet uitstekend werk van het onderhouden van een zeer web-scrapable database met songteksten; maar uit angst dat we misschien probeerden om een ​​concurrerende site te maken met hun kostbare gegevens die ons verbood toen we probeerden de teksten van deze 200 nummers te schrapen. We hadden echter de laatste lach toen we terugkwamen met een iets slimmere (lees: moeilijker te detecteren) schraper en een VPN. [de volledige dataset en scraper staan ​​op Github, voor diegenen die geïnteresseerd zijn]

De resultaten:

Sommige dingen om op te merken: in plaats van te werken met meerdere subgenres zoals trap-rap, EDM-pop enz., Hebben we besloten om nummers in de brede genres rap, R&B, pop, country en rock te emuleren (met enkele Panda's-manipulatie). We hebben bijvoorbeeld Indie / Alternative-nummers geclassificeerd als rock.

The Hot 100:

Ten eerste hebben we de uitsplitsing van de top 100's op genre: Wat volgens ons het meest interessant is, is de opkomst van rap en de langzame achteruitgang van rock. De onderstaande cirkeldiagrammen tonen de aandelen van genres op het billboard hot 100 voor de jaren 2018 en 2008.

Rap heeft zijn aandeel in de top 100 bijna verdubbeld, terwijl rock is gedaald van slechts 12% in 2008 tot 5% in 2018. Eigenlijk zouden we beweren dat rap nu het dominante genre is, zelfs over pop (populaire muziek, door definitie). Deze grafieken kunnen echter het best worden bekeken in combinatie met deze spreidingsplots die de spreiding van de kaartnummers over genres weergeven.

De scatters geven een idee van hoe populair de genres elk jaar waren.

Kijkend naar het plot van 2008, kunnen we concluderen dat slechts enkele rapnummers de top 40 - 6 hebben gekraakt, om precies te zijn - maar pop had 20 hits in dat bereik. Nu na tien jaar is het aantal raphits in de top 40 geëxplodeerd naar 20, en het aantal popsongs in de top 40 is dienovereenkomstig gedaald tot 16. Rock, het 4de meest populaire genre in 2008, had 16 nummers in de heet 100; het was echter het minst populaire genre in 2018 en droeg bij aan slechts 5 van de top 100.

Lyrics:

Nu voor het interessante deel: de teksten van populaire liedjes. We hebben boxplots gemaakt met het aantal woorden in een typisch nummer van elk genre. Zoals verwacht, met meer vrolijk ritme en de frequentie van woorden, gemiddeld (gemiddeld) rapnummers - ongeveer 600 woorden / nummer in zowel 2008 als 18. Andere genres zijn ook consistent tussen de 2 jaar: pop en R&B ongeveer 400 woorden / nummer , rock en country rond 300.

We dachten dat een ander cool inzicht zou zijn om het aantal verschillende woorden in nummers te vergelijken (herhalingen genegeerd). We wisten dat rap het genre zou zijn om herhaling te belonen, maar we waren verbaasd dat het, ondanks het feit dat het verreweg de meeste woorden had, niet het gemiddelde aantal unieke woorden per nummer opleverde. In 2008 waren rapnummers gemiddeld meer dan 100 unieke woorden per nummer, maar dit daalde tot ongeveer 80 in 2018 (we vermoeden vanwege de opkomst van de zeer repetitieve mompel rap, bedankt Migos!)

Woordwolken:

Ten slotte dachten we dat het interessant zou zijn om woordwolken te maken (visualiseer de meest voorkomende woorden in de teksten van een genre). Onze conclusie: het is logisch dat ouders hun kinderen weg willen houden van rap. Interessant is dat de rap-woordwolk van 2008 bijna Shakespearean lijkt in vergelijking met 2018, die bezaaid is met expletieven en afwijkende termen. Dus het lijkt erop dat rap-teksten steeds slechter worden in termen van expletieve inhoud. Enkele bonusinzichten: popsongs worden het best gekenmerkt door woorden als ‘love’, ‘know’, ‘want’ en ‘feel’, en R&B-teksten liggen ergens tussen Pop en Rap.

Deze analyse is duidelijk verre van perfect, maar we hadden plezier en denken dat we een aantal interessante inzichten hebben getrokken. Als u geïnteresseerd bent in het leren schrapen of een aantal van deze grafieken maken, staan ​​al onze code en gegevens op Github. Bedankt voor het lezen! Volgende: we gebruiken Machine Learning om het genre van een nummer te proberen te voorspellen op basis van de songtekst (uiteraard met meer gegevens). Blijf kijken!