Vai al contenuto

Home/Trasformazione dei dati & ETL

05 / Trasformazione dei dati ed ETL

Trasformare i dati.
Uniformare i formati.

Sviluppate trasformazioni dei dati e pipeline ETL ripetibili. I dati vengono letti da sorgenti supportate, associati a un modello di destinazione, verificati e caricati nel sistema richiesto.

Parliamo del progettoScoprire il perimetro del progetto
ETLJSON / XML / CSVValidazione
SCHEMA DI INTEGRAZIONE / ESEMPIOSORGENTE / TRASFORMAZIONE / DESTINAZIONE
SORGENTE / JSON

Formati differenti.

{
  "customer_id": "001042",
  "country": "at",
  "total": "21,90"
}
MAPPING / NORMALIZZAZIONE
TRASFORMAZIONE / REGOLE

customer_id→externalId:string
country→uppercase()
total→decimal(de-AT)
VALIDAZIONE / SCHEMA DI DESTINAZIONE
DESTINAZIONE / JSON

Tipi di dati verificati.

{
  "externalId": "001042",
  "countryCode": "AT",
  "total": 21.9
}

Gli zeri iniziali vengono conservati. Numeri e codici seguono lo schema di destinazione.

Situazione iniziale

Il formato è noto. Il significato spesso no.

Due file CSV possono descrivere lo stesso campo in modo diverso. Le date sono ambigue, i separatori decimali dipendono dal paese e gli zeri iniziali di un ID prodotto possono essere determinanti. Definiamo il significato dei campi e ne documentiamo la trasformazione.

Ambiti di applicazione

Portare i formati in un modello comune.

Automatizzare import ed export

Sostituite le conversioni manuali ricorrenti con una pipeline per CSV, XML, JSON o estrazioni database supportate.

Reporting e consolidamento

Portate i dati di più sistemi in un modello di reporting uniforme, con origine e regole di aggiornamento documentate.

Mapping specifico per partner

Trasformate i record interni nello schema di un fornitore, marketplace o piattaforma. La verifica precede la consegna.

Perimetro del progetto

Mapping.
Verifica. Contratto di destinazione.

Il perimetro dipende dai vostri sistemi e dal risultato desiderato. Concordiamo con voi questi aspetti.

I dati non validi richiedono una gestione visibile.

I record non validi vengono isolati, corretti o rifiutati secondo regole concordate. Le informazioni mancanti non vengono aggiunte silenziosamente. Le incertezze restano riconoscibili e possono essere chiarite dal responsabile funzionale.

  • Analisi delle sorgenti e schema di destinazione versionato
  • Mapping per tipi di dati, ID, date, unità e formati nazionali
  • Controllo dei campi obbligatori e regole per i record rifiutati
  • Passaggi ripetibili per estrazione, trasformazione e caricamento
  • Log di esecuzione e origine dei dati tracciabile
  • Dati di test rappresentativi e criteri di accettazione per modifiche future

Perimetro delle prestazioni e responsabilità vengono concordati per ogni progetto. Metodo: collaudo ed esercizio

Domande tecniche

Tipi di dati e regole di mapping.

Migrazione dei datiSincronizzazione dei dati
Qual è la differenza tra ETL e migrazione dei dati?
ETL descrive estrazione, trasformazione e caricamento e può essere eseguito periodicamente. Una migrazione trasferisce dati verso un nuovo sistema, generalmente con un passaggio operativo. Può utilizzare una pipeline ETL.
Potete convertire CSV, XML e JSON?
Sì, se gli schemi sorgente e di destinazione sono definiti. È essenziale conservare significato, tipi di dati e relazioni. La sola estensione del file non definisce una regola completa di conversione.
Come vengono gestiti i record non validi?
Definiamo regole di controllo e un percorso per le eccezioni. I record rifiutati restano visibili con il contesto necessario alla correzione. Nel progetto concordiamo se un errore interrompe l’intera esecuzione o viene gestito singolarmente.
È possibile modificare i mapping in seguito?
I mapping sono versionati e verificati su dati di test rappresentativi. Le modifiche possono così essere validate rispetto allo schema di destinazione prima della pubblicazione.

La vostra prossima connessione

Cosa devono ottenere
insieme i vostri sistemi?

Voi portate l’esigenza. Noi definiamo le connessioni.

Parliamo del progetto

Esigenze concrete di integrazione

Approfondimenti di questo ambito.

Processi di dati

Automatizzare le importazioni CSV

Il file arriva ogni giorno. Qualcuno corregge le colonne, lo carica e controlla poi gli errori. DataSource trasforma questa attività ricorrente in un import documentato, con regole chiare per dati incompleti e non validi.

Processi di dati

Trasformazione dei dati JSON / XML

I dati sono tecnicamente leggibili ma vengono comunque rifiutati. Nomi dei campi, tipi o strutture non corrispondono all’applicazione di destinazione. Sviluppiamo mapping tracciabili che gestiscono anche valori vuoti, casi particolari e modifiche al formato sorgente.

Processi di dati

Automatizzare i processi dei dati prodotto

L’ERP fornisce le anagrafiche, il PIM i testi e un fornitore le caratteristiche tecniche. Le liste manuali collegano queste informazioni solo temporaneamente. Creiamo un flusso definito dal campo di riferimento fino all’export verificato per ogni canale.