Schema Drift Detector Agent.
Cambios silenciosos en columnas upstream dejan de romper segmentos críticos sin aviso.
Agente custom de Agentforce que toma snapshots diarios de schemas en Snowflake, BigQuery, Databricks, Salesforce sources y endpoints Mulesoft. Cruza el diff con DMOs, CIs, segmentos y activaciones para cuantificar impacto. Genera RFC-style change reports con propuesta de migración y abre PR en GitHub listo para revisión, con notificación al data architect responsable.
¿Qué hace el Schema Drift Detector Agent?
Es un agente custom desarrollado sobre Agentforce que actúa como guardián del contrato de datos entre fuentes upstream y consumers downstream. Toma snapshots periódicos de cada esquema en Snowflake, BigQuery, Databricks Unity Catalog, Salesforce sources y endpoints Mulesoft, calcula el diff contra el snapshot anterior y cruza cada cambio con el grafo de DMOs, CIs, segmentos y activaciones que dependen de esa fuente. Cuando detecta un cambio que rompe el contrato, redacta un RFC con la migración propuesta, abre un PR en GitHub y notifica al architect responsable.
Cómo funciona paso a paso
Del snapshot al approval con migración propuesta. 5 pasos diseñados para detectar drift antes de producción.
Snapshot diario por fuente
El agente consulta INFORMATION_SCHEMA en Snowflake y Databricks (Unity Catalog), la metadata API de BigQuery y los endpoints expuestos por Mulesoft. Almacena cada snapshot versionado con timestamp.
Diff contra snapshot anterior
Schema Diff Generator calcula la diferencia: columnas agregadas, eliminadas, renombradas, cambios de tipo, cambios de nullable. Filtra cambios cosméticos para enfocar la atención en lo que rompe el contrato.
Impact analysis cruzado
Impact Analyzer cruza cada cambio con el grafo de dependencias: qué DMOs leen ese campo, qué CIs lo agregan, qué segmentos lo filtran y qué activaciones lo envían. Calcula un risk score basado en la criticidad de los consumers.
RFC con migración propuesta
RFC Composer redacta un documento estructurado: diff, lista exacta de DMOs/CIs/segmentos afectados, migración sugerida con cast explícito y plan de canary release. El RFC queda en Confluence o Notion vía MCP.
Approval workflow en GitHub
openRFC abre un PR en el repo de DMOs con el cambio listo para revisión, asigna reviewer al owner correcto y notifica en Slack. El RFC queda vinculado al PR para que el reviewer tenga contexto sin saltar de herramienta.
Ejemplo de interacción
[08:42 — Slack canal #data-architecture, mensaje del agente]
[PR abierto en GitHub]
Arquitectura del agente
Topics, Actions, Hydrators, Effectors, Channels, DMOs, Trust Layer y Memory.
Topics
Dominios de razonamiento
- Schema Diff Generator
- Impact Analyzer
- Risk Scorer
- Migration Planner
- RFC Composer
- Approval Router
Actions y Channels
Lo que ejecuta y dónde comunica
- snapshotSchema · diffSchemas
- scoreImpact · draftMigration
- openRFC · notifyConsumers
- GitHub · Confluence/Notion vía MCP
- Slack · Jira
- Email · Lightning
Hydrators y DMOs
Fuentes de contexto
- Source schemas vía INFORMATION_SCHEMA
- BigQuery metadata API
- Databricks Unity Catalog
- DMO definitions
- CI dependencies
- Segment definitions
- Activation Targets
Effectors, Trust Layer y Memory
Escrituras, guardrails y aprendizaje
- Write RFC en Confluence/Notion vía MCP
- Abrir GitHub PR contra repo de DMOs
- Notificar Slack y abrir Jira ticket
- Audit trail completo
- Sin credenciales en payloads
- Memory de drift patterns por fuente
Implementación en 5 fases
El driver crítico es la calidad del dependency map y el acceso a metadata APIs. Timing típico: 8 a 12 semanas.
Discovery e inventario de fuentes
Inventariamos cada fuente upstream (Snowflake, BigQuery, Databricks, Mulesoft) y validamos acceso a metadata APIs. Definimos qué tablas son críticas y qué cambios califican como breaking.
Dependency map downstream
Modelamos el grafo de dependencias entre columnas upstream, DMOs, CIs, segmentos y activaciones. Es el insumo crítico para cuantificar el impacto de cada drift.
Agent build e integración con GitHub
Construimos Topics y Actions en Agent Builder, conectamos GitHub, Confluence o Notion vía MCP, definimos templates de RFC y configuramos el Trust Layer para que las credenciales nunca queden en payloads.
Shadow mode y calibración
El agente opera en shadow: detecta drift y genera RFCs en un canal privado sin abrir PRs reales. Comparamos sus salidas contra el control humano y ajustamos el risk scoring para evitar falsos positivos.
Go-live y mejora continua
Cutover. El agente abre PRs en producción contra el repo de DMOs. Monitoreamos % de drifts detectados antes de producción, tasa de approvals sin override y MTTR de incidents derivados de drift no detectado.
Equipo típico de implementación
Requisitos para arrancar
Lo que conviene tener listo antes del go-live.
Datos mínimos
- Acceso a metadata APIs de cada fuente
- Snowflake INFORMATION_SCHEMA accesible
- BigQuery metadata API y Databricks Unity Catalog
- Downstream dependency map versionado
Licencias
- Salesforce Data Cloud
- Agentforce Platform
- Connectors según fuentes (Snowflake, BigQuery, Databricks)
- GitHub con licencia para PRs automáticos
Integraciones
- GitHub para PRs y schema-as-code
- Confluence o Notion vía MCP para RFCs
- Slack para notificación de reviewers
- Jira para tickets de seguimiento
Org readiness
- Gobernanza de change management definida
- Repositorio Git con DMOs como código
- Ownership claro por DMO y por fuente
- Política de revisión de RFCs con SLA
Qué se busca optimizar
Lo que el agente busca mejorar — los rangos exactos dependen del baseline de cada compañía.
No prometemos cifras atribuidas a casos. Detallamos las dimensiones que el Schema Drift Detector Agent ataca y la dirección esperada del cambio.
% de breaking changes detectados antes de producción
Cobertura del agente sobre cambios upstream que rompen el contrato, capturados antes de que afecten a consumers downstream.
Tiempo desde el cambio upstream hasta la notificación
Latencia entre que el schema cambia en la fuente y el RFC queda redactado con impacto cuantificado y reviewer asignado.
MTTR de incidents derivados de drift no detectado
Reducción de la cola de incidents que se generaban por cambios silenciosos que se descubrían recién cuando un segmento dejaba de poblarse.
Calidad del RFC para decidir rápido
Validada por feedback humano: % de RFCs aprobados sin requerir aclaración adicional al data architect.
Cobertura de fuentes con snapshots automáticos
% del catálogo de fuentes críticas bajo monitoreo continuo, con el objetivo de cubrir la totalidad de las fuentes que alimentan DMOs.
Tasa de approvals sin override
% de PRs que se aprueban tal como los escribió el agente, indicador de la calidad de la migración propuesta.
Qué considerar al implementar
Cinco prácticas que aceleran el time-to-value y sostienen la confianza del equipo de Data Engineering.
Snapshots regulares por fuente
Idealmente diarios. Para fuentes críticas se puede aumentar la cadencia a snapshots cada 4 horas. La regularidad es lo que asegura que el diff sea estable y la detección oportuna.
Mantener actualizado el dependency map
El impact analysis depende de un grafo vivo. Conviene automatizar la actualización del mapa cuando se crean o deprecian DMOs, CIs o segmentos para que la cuantificación del impacto sea fiel.
Ownership claro para responder cada RFC
Cada DMO necesita un owner que responda los RFCs en un SLA definido. Sin ownership, los PRs quedan abiertos y el agente pierde el efecto de cierre temprano del ciclo de change management.
Integración con el flujo de change management existente
El agente debe alinearse con el flujo formal de RFCs y revisión de la compañía. Integrar GitHub PRs y Confluence/Notion al tooling actual evita duplicar canales y suma adopción rápida del equipo.
Cuidar el acceso a metadata APIs
Las credenciales para INFORMATION_SCHEMA, BigQuery y Unity Catalog tienen que rotarse y mantenerse fuera de los payloads del agente. Conviene usar service principals con permisos mínimos y validación con seguridad antes del go-live.
Preguntas frecuentes
Sí. El agente lee metadata vía INFORMATION_SCHEMA en Snowflake y Databricks (Unity Catalog) y vía la metadata API de BigQuery. Para zero-copy mounts en Data Cloud, lee directamente la definición exportada por el conector.
Sí, en el formato del cliente (Confluence, Notion o Markdown en GitHub). Incluye el diff, la lista de DMOs/CIs/segmentos afectados, la migración propuesta con cast explícito y un plan de canary release.
Sí, mientras expongan metadata vía API o conexión JDBC accesible desde Mulesoft o Heroku. Para fuentes sin API, se puede agendar un dump nocturno del catálogo y procesarlo como input del agente.
Vía MCP. El agente abre PR con el archivo de schema modificado y deja el RFC en Confluence o Notion con vínculo cruzado al PR. El reviewer recibe la notificación en Slack con los enlaces y el resumen del impacto.
Configurable. Por default snapshot diario, lo que asegura detección dentro de 24 horas. Para fuentes críticas se puede aumentar a snapshots cada 4 horas y reducir el tiempo entre el cambio upstream y la notificación al data architect.
Marca la fuente como "no observable" y notifica al data architect. No falla silenciosamente. La recomendación es habilitar acceso a la metadata API o mover esa fuente a un connector que sí exponga el catálogo de schemas.
El próximo cambio silencioso en upstream no debería ser una sorpresa.
Hablá con un Data Architect de Solu. Mapeamos tus fuentes, validamos acceso a metadata APIs y proyectamos el lift en detección temprana de drift para tu operación.