Processi dati / 05
Automatizzare le importazioni CSV. Gestire gli errori in modo mirato.
Il file arriva ogni giorno. Qualcuno corregge le colonne, lo carica e controlla poi gli errori. DataSource trasforma questa attività ricorrente in un import documentato, con regole chiare per dati incompleti e non validi.
La situazione iniziale
Il formato è semplice. Le regole dei dati spesso non lo sono.
Un fornitore consegna articoli con il punto e virgola come separatore e la virgola decimale tedesca. I codici articolo contengono zeri iniziali; le descrizioni possono contenere interruzioni di riga. Trattare questi dati come semplici righe di testo li danneggia.
Verifichiamo le specifiche effettive del file: encoding, quoting, nomi delle colonne, valori obbligatori, date e criteri per considerare un file completo. La ricezione può avvenire tramite SFTP o un upload protetto.
Cosa gestisce DataSource
Ricezione dei file. Elaborazione. Acquisizione.
Ricezione dei file
Rilevare in modo sicuro i file completi, ad esempio tramite rinomina atomica concordata o marker associato. Non importare un trasferimento ancora in corso.
Elaborazione
Leggere con un parser CSV, normalizzare i campi secondo il tipo e verificare le chiavi operative. Segnalare chiaramente gli errori con riferimenti al file e alla riga o al record.
Acquisizione
Implementare staging, anteprima e importazione nella destinazione in base al sistema. Hash del file, ID di importazione e record confermati impediscono acquisizioni multiple involontarie.
Scenario tecnico / Esempio illustrativo
Conservare gli zeri iniziali, normalizzare i valori decimali.
Mappatura illustrativa di una riga valida. Il codice articolo rimane una stringa. I prezzi non validi non vengono silenziosamente impostati a null, ma gestiti come errori correggibili.
Dati di esempio e regole proposte. Le interfacce e le regole aziendali concrete vengono verificate per il vostro progetto.
artikel;preis;land
004218;49,90;at
→ {
"sku": "004218",
"price": "49.90",
"countryCode": "AT"
}Gestione degli errori, sicurezza ed esercizio
Importazione parziale: verifica e gestione.
Importazione parziale
Decidere preventivamente se una riga non valida interrompe l’intera importazione. I record dipendenti possono richiedere un’approvazione congiunta.
Ripetizione
Distinguere versione del file e chiavi dei record. Un file corretto può essere elaborato senza riattivare operazioni già acquisite.
Esercizio
Monitorare tempi di consegna previsti, file mancanti e modifiche alle colonne. Non inserire credenziali o contenuti sensibili delle righe nei report generali degli errori.
Domande funzionali
I dettagli che contano prima dell’implementazione.
CSV · SFTP · Encoding · Mappatura · Validazione · Importazione
Un file Excel può essere elaborato allo stesso modo?
XLSX è un formato diverso, con regole proprie per tipi e formule. Possiamo considerarlo come ingresso separato; non basta rinominarlo come CSV.
Che cosa accade con nuove colonne?
Le specifiche del file stabiliscono se le colonne aggiuntive sono tollerate. Colonne obbligatorie mancanti o significati modificati richiedono una verifica mirata.
Le righe prive di errori devono sempre attendere?
Dipende dalla coerenza operativa. Per articoli indipendenti può essere adatta un’importazione parziale; per un ordine composto da elementi correlati potrebbe non esserlo.
Per il confronto tecnico
Partire dal vostro processo concreto.
Fornite un file originale anonimizzato, le istruzioni attuali di importazione, il sistema di destinazione e i messaggi di errore tipici. Sono particolarmente utili esempi con caratteri accentati, valori null e zeri iniziali.
Nel primo incontro chiariamo accessi disponibili, responsabilità dei dati e un primo flusso circoscritto. Poi concordiamo perimetro, responsabilità e condizioni.
Per iniziare bastano esempi anonimizzati. Non inviate password, token o dati personali di produzione nella prima richiesta.
Attività correlate
La prossima connessione nel suo contesto.
Trasformazione dei dati JSON / XML
I dati sono tecnicamente leggibili ma vengono comunque rifiutati. Nomi dei campi, tipi o strutture non corrispondono all’applicazione di destinazione. Sviluppiamo mapping tracciabili che gestiscono anche valori vuoti, casi particolari e modifiche al formato sorgente.
Automatizzare i processi dei dati prodotto
L’ERP fornisce le anagrafiche, il PIM i testi e un fornitore le caratteristiche tecniche. Le liste manuali collegano queste informazioni solo temporaneamente. Creiamo un flusso definito dal campo di riferimento fino all’export verificato per ogni canale.
Collegare i database SQL
Reporting, portali o applicazioni specialistiche richiedono dati da un altro database. Progettiamo una connessione che rispetta autorizzazioni, stati coerenti dei dati e regole delle applicazioni coinvolte.