Webbskrapning: så fungerar automatisk datainsamling från webben

Webbskrapning (web scraping) innebär att ett program automatiskt hämtar och strukturerar information från webbsidor.

I stället för att någon manuellt behöver öppna sida efter sida, leta efter rätt information och föra över den till exempelvis Excel kan en scraper göra samma arbete automatiskt. Datainsamlingen kan dessutom upprepas med jämna mellanrum för exempelvis prisbevakning, förändringsbevakning eller löpande analys.

Så fungerar en web scraper

1. Scrapern hämtar information från webben

Först definieras vilka webbplatser eller sidor som innehåller den information som behövs.

Det kan exempelvis handla om priser, produkter, lagerstatus, annonser, statistik eller annan offentligt tillgänglig information.

På enklare webbplatser kan scrapern hämta sidan direkt. På mer dynamiska webbplatser kan det i stället krävas att programmet styr en riktig webbläsare i bakgrunden för att läsa information som laddas först efter att sidan öppnats.

2. Rätt information plockas ut

En webbsida innehåller betydligt mer information än det som syns på skärmen. Bakom sidan finns HTML och ibland strukturerad data som beskriver innehållet.

Scrapern analyserar informationen och plockar ut de delar som är relevanta för uppgiften.

Vid en prisbevakning skulle det exempelvis kunna vara:

Produkt → Pris → Status → Senast kontrollerad

I stället för att spara hela webbsidan får vi alltså strukturerad information som går att använda vidare.

3. Informationen struktureras

Information från webben är sällan direkt anpassad för analys. Därför behöver den insamlade datan kontrolleras och struktureras.

Informationen kan därefter exempelvis sparas i en databas, exporteras till CSV eller Excel, visas i ett eget gränssnitt eller skickas vidare till andra system.

4. Datainsamlingen kan automatiseras

En stor del av nyttan uppstår när samma kontroll behöver göras återkommande.

I stället för att någon besöker samma webbplatser varje morgon kan en scraper exempelvis köras dagligen eller flera gånger per dag. Hur ofta informationen hämtas anpassas efter behovet, källan och hur ofta informationen faktiskt förändras.

Körningarna bör också utformas så att webbplatsen inte belastas i onödan.

Varje ny insamling kan jämföras med tidigare resultat. Systemet kan då inte bara svara på:

”Hur ser informationen ut just nu?”

utan också:

”Vad har förändrats sedan förra kontrollen?”

5. Förändringar kan automatiskt utlösa en åtgärd

När datainsamlingen kombineras med regler kan systemet gå från att bara samla information till att faktiskt bevaka något.

Det kan exempelvis upptäcka när:

• ett pris förändras
• en produkt åter finns i lager
• en ny annons publiceras
• information på en sida ändras
• ett nytt objekt uppfyller bestämda kriterier

När något relevant inträffar kan systemet exempelvis skicka ett mejl, skapa en notifiering, uppdatera ett annat system eller registrera förändringen för senare analys.

Från webbsida till användbar information

En scraper är därför ofta bara första delen av lösningen.

Webbsida → Datainsamling → Strukturering → Lagring → Analys → Åtgärd

Det är när dessa delar kopplas ihop som webbskrapning blir riktigt användbar.

En återkommande manuell uppgift kan ersättas av ett system som arbetar i bakgrunden och uppmärksammar användaren först när något relevant har hänt.

Ett konkret exempel: automatisk prisbevakning

Anta att priser och tillgänglighet behöver kontrolleras på samma webbplats varje dag.

Manuellt innebär det att någon behöver öppna webbplatsen, göra samma sökning, läsa av resultatet och jämföra det med tidigare priser.

En scraper kan i stället:

1. göra kontrollen automatiskt
2. hämta aktuellt pris och tillgänglighet
3. spara resultatet tillsammans med tidpunkten
4. jämföra resultatet med tidigare kontroller
5. upptäcka när priset eller tillgängligheten förändras
6. skicka en notifiering när ett bestämt villkor uppfylls

Det som tidigare var en återkommande manuell kontroll blir därmed en automatisk bevakning.

Samma princip kan användas på många typer av information.

Varje scraper byggs efter uppgiften

Webbplatser fungerar på olika sätt.

En enkel sida kan ibland läsas direkt, medan andra laddar information dynamiskt, kräver flera steg eller förändrar sin struktur över tid.

Därför handlar utveckling av en fungerande scraper inte bara om att ”hämta en webbsida”.

Lösningen behöver anpassas efter informationskällan och vad informationen ska användas till. Det kan bland annat innebära felhantering, datakontroller, schemalagda körningar och övervakning som upptäcker om källan förändras.

När informationen finns tillgänglig genom ett lämpligt API kan det vara ett bättre alternativ än webbskrapning. En lösning kan därför använda API:er, öppna datakällor, webbskrapning eller en kombination av flera metoder.

Ansvarsfull datainsamling

Att information går att läsa på en webbplats betyder inte automatiskt att den bör samlas in eller användas hur som helst.

Innan en lösning byggs behöver man därför titta på vilken information som ska hämtas, hur den ska användas och vilka villkor som gäller för källan. Hänsyn kan bland annat behöva tas till personuppgifter, immaterialrätt och webbplatsens användarvillkor.

Vi strävar också efter att hämta endast den information som behövs och att inte belasta webbplatser med fler förfrågningar än vad uppgiften kräver.

Behöver ni automatisera en manuell kontroll?

Utgångspunkten behöver inte vara att ni vet att ni behöver en ”scraper”.

Det kan räcka med ett problem:

”Vi kontrollerar det här manuellt idag.”

”Vi behöver samla information från flera sidor på ett ställe.”

”Vi vill veta när den här informationen förändras.”

Därifrån kan vi undersöka om uppgiften går att automatisera och om webbskrapning, ett API eller någon annan lösning passar bäst.

Vanliga frågor om webbskrapning

Tillbaka till Valo-Tech eller se våra tjänster.