Lezioni apprese da 15 anni di raschiatura web

Storia

Quando Promptcloud ha iniziato le operazioni nel 2009, solo poche aziende all'avanguardia della tecnologia sapevano cosa fosse Web Racking. Abbiamo dovuto utilizzare una versione di quinta elementare per spiegare la soluzione che è andata così: "Siamo come Google per alcuni siti Web, ma forniamo dati in un formato pulito come un CSV o JSON". A volte, finiremmo anche per spiegare cosa erano CSV, XML e JSON e ci siamo trovati più spesso, educando i nostri clienti sul perché Excel non fosse il formato giusto per consumare tali volumi di dati su base regolare. Fu allora che facevamo molti contenuti educativi su ciò che i DAA (dati come servizio) erano e la differenza tra raschiatura del web e scansione web. Molti altri hanno seguito l'esempio e il resto è storia. Questo particolare blog sulla differenza tra strisciante e raschiatura ha finito per diventare la pagina più visitata del nostro sito Web, nonostante il suo tono casuale grezzo.

Allora avevamo solo la soluzione di scansione orizzontale, che era una semplice piattaforma DAAS, e anche allora avevamo clienti provenienti da tutti i settori: automobili, eCommerce, viaggi, tra molti altri. Eravamo divertiti da alcuni dei casi d'uso che avremmo incontrato, cose per cui non avevamo nemmeno immaginato che il web rashing avrebbe risolto. Sarebbe un eufemismo affermare che molti dei nostri servizi a valore aggiunto, incluso lo sviluppo dell'API per fornire i feed di dati, è stata una risposta alle esigenze dei clienti rispetto a noi essere i visionari.

Avanti veloce di 15 anni, molto è cambiato mentre alcune delle basi rimangono ancora. Non è necessaria più istruzione sul perché un'azienda ha bisogno di dati alternativi o di cosa sia il web rashing. In precedenza, solo il 2% dei siti Web su Internet non voleva strisciarsi, ora quel numero è chiaramente aumentato poiché sempre più domini impiegano tecnologie anti-bot. Le nostre migliori domande frequenti in precedenza erano se Web Rappling era legale, mentre ora più aziende comprendono come farlo eticamente. Anche i casi d'uso si sono evoluti rapidamente, tenendo il passo con gli altri progressi tecnologici e la penetrazione di Internet come la vediamo.

Il presente

Diamo un'occhiata a dove siamo in questo momento sullo sfondo di ciò che abbiamo vissuto in passato.

1. Più aziende riconoscono la necessità di dati

La domanda di un solido servizio di raschiatura del web continua a crescere perché le aziende hanno bisogno di approfondimenti in tempo reale per rimanere in anticipo. Abbiamo assistito alla mossa dell'ago da Nizza da avere a un must. E man mano che la competizione diventa più forte, le aziende vedono il raschiatura del web come un punto di svolta piuttosto che un altro strumento. È interessante notare che le esigenze sono cresciute principalmente nello spazio di e -commerce e non tanto negli altri settori che avremmo servito in precedenza.

2. La scala delle esigenze dei dati è cambiata

Non si tratta solo di aver bisogno di dati, ma si tratta di averne molto . Le aziende non vogliono solo un'istantanea; Vogliono aggiornare costantemente set di dati che li aiutano a stare al passo con le tendenze. Assumere il caso d'uso dell'analisi del mercato del lavoro per esempio. Al fine di poter derivare approfondimenti significativi su come i lavori sono di tendenza, alcune migliaia di posti di lavoro non fornirebbero dati statisticamente significativi. È necessario almeno alcune centinaia di migliaia di offerte di lavoro da una particolare categoria per elaborare un modello su quali competenze sono di tendenza, quali sono le posizioni di hotspot per un particolare titolo di lavoro e così via. Questo spostamento significa che le aziende sono alla ricerca di complesse soluzioni di raschiatura Web in grado di gestire enormi quantità di dati in modo efficiente e in tempo reale.

3. Le tendenze modellano il tipo di dati che le aziende cercano

Ciò di cui le aziende hanno bisogno da Web rashing si evolve con le tendenze. I due grandi che sembrano modellare il paesaggio raschiano in questo momento sono il commercio rapido e i social media . Con la proliferazione di marchi che vanno dalla bellezza e dalla cura personale a FMCG, combinate con la promessa di app di consegna di 10 minuti, specialmente in India, è diventato indispensabile monitorare lo scaffale digitale. Lo stesso vale per i social media con l'avvento di Instagram e altri canali popolari. Più marchi si affidano ai social media come canale primario per tracciare il sentimento dei consumatori e le tendenze emergenti.

4. Sistemi più robusti per l'ingestione dei dati

Allora, se un cliente ha avuto il requisito di strisciare 200 siti Web o in cui milioni di punti dati dovevano essere consegnati su base giornaliera, la nostra prima domanda sarebbe: è un requisito di spam? Perché i sistemi non erano abbastanza sofisticati da gestire tali volumi di dati e qualcosa o l'altro si romperebbe. Ora la maggior parte delle aziende con cui lavoriamo ha costruito potenti condutture di dati, sistemi di elaborazione in tempo reale e soluzioni di archiviazione cloud che rendono senza soluzione di continuità l'ingestione. Ciò significa che si concentrano maggiormente sugli approfondimenti che preoccuparsi di come gestire i dati.

5. I dati pubblici stanno diventando meno accessibili

Web rashing non è così semplice come una volta. Sempre più siti Web stanno bloccando i propri dati dietro Paywalls, Requisiti di accesso e sistemi di rilevamento dei bot. Ciò ha costretto l'industria a diventare creativi con complessi metodi di raschiatura web che possono aggirare legalmente ed efficiente attorno a queste barriere. Gli strumenti guidati dall'IA sono diventati essenziali per tenere il passo con queste restrizioni sempre più strette. Di solito valutiamo i nostri progetti di scansione in base alla complessità di fonti che vanno da semplici, medi e complessi e abbiamo visto sempre più siti Web rientrate nella categoria complessa negli ultimi due anni.

6. L'esperienza conta più che mai

Con la domanda di dati in forte espansione, i nuovi giocatori stanno spuntando sostenendo di poter raschiare qualsiasi cosa. Ma ecco la cosa: l'esperienza è importante. Come corollario fino al punto sopra, Web rasking non si basa solo per tirare i dati; Si tratta di gestire siti Web dinamici, gestire le operazioni su larga scala e garantire l'accuratezza dei dati. Un fornitore esperto di raschiatura Web ha trascorso anni a risolvere i problemi, processi di perfezionamento e soluzioni di costruzione che funzionano effettivamente su vasta scala.

7. L'intelligenza artificiale sta rivoluzionando la raschiatura del web

Mentre una grande parte della pipeline di dati era precedentemente automatizzata, abbiamo avuto alcune scoperte nelle fasi di configurazione della pipeline. Le possibilità di utilizzare l'intelligenza artificiale per varie fasi della pipeline di dati sono un'estrazione accurata infinita possono diventare più facili, i crawler possono essere addestrati per identificare le modifiche al sito Web e ripararsi automaticamente, la strutturazione dei dati può diventare più semplice. L'apprendimento automatico aiuta anche le aziende andare oltre i dati grezzi, offerte approfondimenti, classificazioni e analisi che rendono i dati raschiati ancora più preziosi. Tutto questo per dire che l'IA ha rivoluzionato questo settore in modo positivo, migliorando le capacità oltre a raschiare e alleviare i dolori di ottenere approfondimenti dalle pile di dati raccolti.

Strada da percorrere

Web rasting ha fatto molta strada negli ultimi 15 anni ed è ancora in evoluzione. Con i dati che diventano più critici che mai, le aziende hanno bisogno di partner che lo ottengono , che comprendono le complessità del complesso raschiatura del web e hanno l'esperienza per navigare nelle sue sfide. Che si tratti di garantire la qualità dei dati di prim'ordine, gestire le restrizioni del sito Web o utilizzare l'intelligenza artificiale per rendere più intelligente, l'approccio giusto fa la differenza.

Una cosa è certa: la domanda di dati strutturati e attuabili non rallentano presto. L'unica domanda è: sei pronto per quello che è il prossimo?

FAQ

Fonti

Harvard Business Review - La crescente importanza dei dati