Shellonback Logo
Chi siamoServiziSoluzioni & Casi d'usoContatti
local_cafeCaffè virtuale?
Chi siamoServiziSoluzioni & Casi d'usoContatti
local_cafeCaffè virtuale?
Shellonback Logo

Shellonback è la tua partner tecnologica per l'innovazione digitale. Sviluppiamo soluzioni su misura per far crescere il tuo business con solidità e visione.

Servizi

  • Cloud & DevOps
  • Software Personalizzato
  • Consulenza Tecnologica
  • Sviluppo App Mobile
  • Automazioni e Integrazioni
  • Integrazione AI
  • Vedi tutti i servizi →

Azienda

  • Chi siamo
  • Casi studio
  • Contatti
  • Lavora con noi

Contatti

Email

luca.mangiacotti@shellonback.com

Telefono

+39 346 793 4849

Indirizzo

Turin, Italy

© 2025 Shellonback SRL. Tutti i diritti riservati.
Cap. Soc. € 10.000 | P.IVA, CF e numero d' iscrizione Registro Imprese: 13331060015 | R.E.A. n. TO-1355500

Case Study

ETL Bi-direzionale tra due database MySQL con Kafka, Debezium e Apache Nifi

schedule5 min
calendar_today26 luglio 2025
syncCaricamento...
ETL Bi-direzionale tra due database MySQL con Kafka, Debezium e Apache Nifi

Come abbiamo mantenuto sincronizzati due database con strutture differenti fino alla migrazione finale

In ogni progetto di trasformazione digitale c’è un momento in cui il passato e il futuro devono coesistere.
Un database legacy, pieno di storia, ma non più sostenibile. Un nuovo schema, pulito e normalizzato, pronto a diventare il cuore pulsante del sistema. Ma nel mezzo c’è il presente, con tutte le sue esigenze di coerenza, integrità e continuità operativa.

È in questo scenario che siamo stati chiamati a intervenire con Shellonback.


🧩 La sfida

Il cliente aveva due database MySQL:

  • Database “source”: un sistema legacy non normalizzato, ancora utilizzato in produzione.
  • Database “destination”: un nuovo database normalizzato, destinato a sostituire il primo.

L’obiettivo: mantenere sincronizzati entrambi i database per un periodo di transizione, fino alla migrazione completa.
Tradotto: ogni modifica effettuata nel database legacy doveva propagarsi nel nuovo database, in tempo quasi reale, e viceversa in alcuni casi specifici.


⚙️ La nostra soluzione tecnica

Abbiamo costruito un flusso ETL (Extract, Transform, Load) moderno e reattivo, utilizzando strumenti open source pensati per architetture real-time e data integration scalabile:

  • Kafka come bus di eventi centrale
  • Debezium per il change data capture del database legacy
  • Apache NiFi per orchestrare, trasformare e dirigere i flussi tra le varie fonti e destinazioni

🧪 Il flusso, passo dopo passo

  1. 📥 Cattura dei cambiamenti
    Grazie a Debezium, ogni inserimento, aggiornamento o cancellazione nel database legacy viene intercettato in tempo reale tramite il binlog di MySQL.
    Questi eventi vengono pubblicati automaticamente su Kafka, in topic strutturati per entità (es. db_source.users, db_source.orders).
  2. 🔀 Trasformazione e normalizzazione
    In Apache NiFi, abbiamo configurato una pipeline intelligente capace di:
    • Leggere i messaggi da Kafka
    • Trasformare i dati secondo le regole di normalizzazione richieste
    • Gestire i mapping tra entità (es. split di tabelle, join logici, ristrutturazione JSON)
  3. 📤 Scrittura sul database di destinazione
    Dopo la trasformazione, NiFi esegue l’upsert (insert/update) nel nuovo database normalizzato.
    Questo assicura che il dato più recente sia sempre allineato tra le due strutture.
  4. (Opzionale) ↩️ Flussi inversi e logiche selettive
    Per specifici casi (es. modifiche su tabelle amministrative del nuovo DB), abbiamo previsto il flusso inverso: dal destination al source, sempre con Kafka e NiFi.

🚀 I benefici per il cliente

  • ✅ Continuità operativa: nessun downtime durante la migrazione
  • 🔄 Dati coerenti tra vecchio e nuovo schema, anche in presenza di strutture divergenti
  • 🧼 Normalizzazione graduale: la trasformazione avviene in tempo reale, senza dover attendere la fine del progetto
  • 🔍 Audit e tracciabilità: ogni cambiamento è monitorabile e ricostruibile

📈 Quando la sincronizzazione diventa un vantaggio competitivo

La maggior parte delle aziende teme il momento della migrazione dei dati. Con Shellonback, trasformiamo questa sfida in un’opportunità di evoluzione.
Utilizzando strumenti come Kafka, Debezium e NiFi, creiamo architetture resilienti e flessibili, capaci di adattarsi a ogni esigenza.

Se stai affrontando una migrazione dati, una ristrutturazione dei tuoi sistemi o vuoi semplicemente modernizzare la tua infrastruttura, parliamone.

👉 Contattaci oggi per una call di assessment gratuita.

arrow_backTutti i Casi Studio

Pronto a trasformare la tua azienda?

Parla con il nostro team per scoprire come possiamo aiutarti a raggiungere i tuoi obiettivi di trasformazione digitale.

chatPrenota una ConsulenzamailContattaci