Identity Quality Auditor Agent.
Las reglas de Identity Resolution dejan de ser una caja negra que nadie audita en producción.
Agente custom de Agentforce que audita ongoing la calidad de Identity Resolution: false positives, false negatives, accuracy por segmento, drift en el tiempo, household completeness y anonymous-to-known stitch rate. A diferencia del Identity Resolution Agent OOTB, que genera reglas, este audita performance ongoing y propone refinamientos. Pensado para CDOs e Identity Leads que necesitan métricas defendibles ante el board.
¿Qué hace el Identity Quality Auditor Agent?
Es un agente custom desarrollado sobre Agentforce que opera como auditor permanente de la unificación. Toma muestras representativas de Match Decision History, las contrasta contra un golden truth set curated por el Steward y construye una confusion matrix segmentada. Mide precision y recall por segmento, detecta drift en el tiempo, evalúa household completeness y el anonymous-to-known stitch rate. Cuando identifica gaps, propone ajustes a las match rules con simulación de impacto previa al cambio. La salida es un audit report descargable y un changelog vs. el audit anterior, alimento directo de la governance del Steward Lead.
Cómo funciona paso a paso
Del sample inicial al audit report con propuestas. 5 pasos pensados para que el CDO tenga métricas defendibles cada cadencia.
Sample
Match Sample Generator selecciona pares representativos de Match Decision History con cobertura de los segmentos críticos, los formatos de identidad LATAM y los canales que importan al negocio.
Label / score
El sample se contrasta contra el golden truth set vigente. Cuando hay casos nuevos sin label, se rutean al Steward para validación. Esos labels se incorporan al set para futuros audits.
Confusion matrix
Confusion Matrix Builder calcula precision y recall por segmento. Identifica las reglas con mayor tasa de error y prioriza el análisis sobre los segmentos con mayor business impact.
Drift detection
Drift Detector compara la performance del audit actual contra el histórico. Si una regla cae fuera del threshold definido, dispara un audit flag y propone investigación.
Audit report con propuestas
generateAuditReport produce un PDF con la confusion matrix, los segmentos auditados, las propuestas de rule change con simulación de impacto y el changelog vs. el audit anterior. El reporte alimenta la governance del Steward Lead.
Ejemplo de interacción
[Slack canal #identity-governance, mensaje del agente]
[Audit report disponible]
Arquitectura del agente
Topics, Actions, Hydrators, Effectors, Channels, DMOs, Trust Layer y Memory.
Topics
Dominios de razonamiento
- Match Sample Generator
- Confusion Matrix Builder
- Drift Detector
- Segment-aware Auditor
- Household Completeness Scorer
- A2K Stitch Auditor
Actions y Channels
Lo que ejecuta y dónde comunica
- sampleMatches · scoreAccuracy
- detectDrift · raiseAuditFlag
- proposeRuleChange · generateAuditReport
- Tableau Next y CRMA dashboards
- Email · Slack vía MCP
- Lightning
Hydrators y DMOs
Fuentes de contexto
- Match Decision History
- Unified Individuals
- Contact Points
- Golden datasets
- Prior audit reports
- Identity sources hierarchy
Effectors, Trust Layer y Memory
Escrituras, guardrails y aprendizaje
- Write audit report PDF
- Dashboard update
- Steward alert
- PII handling extra cuidadoso en samples
- Aprobación humana antes de aplicar rule change
- Memory de golden truth labels acumulados
Implementación en 5 fases
El driver crítico es la calidad inicial del golden truth set y el ownership del Steward. Timing típico: 8 a 12 semanas.
Discovery y diagnóstico de Identity Resolution
Revisamos las match rules vigentes, el modelo de identidad y la hierarchy de fuentes. Identificamos los segmentos críticos y los formatos LATAM relevantes. Validamos la cadencia de audit que el Steward necesita.
Construcción del golden truth set inicial
El Steward labela un sample inicial (típicamente 1.000 a 3.000 pares) con cobertura de los segmentos críticos. Definimos la sampling strategy y los thresholds aceptables de precision y recall por segmento.
Agent build e integración con dashboards
Construimos Topics y Actions en Agent Builder, conectamos los hydrators a Match Decision History, Unified Individuals y Contact Points. Configuramos los dashboards en Tableau Next o CRMA y los canales de Steward alert.
Pilot audit y calibración
Ejecutamos el primer audit completo con el Steward en el loop. Calibramos thresholds de drift detection y la sampling strategy. Validamos que las propuestas de rule change tienen tasa de aceptación razonable.
Go-live y cadencia de governance
Cutover. Establecemos la cadencia mensual o trimestral del audit. Monitoreamos precision y recall por segmento, drift, household completeness y A2K stitch rate. La memoria del agente crece con cada label corregido por el Steward.
Equipo típico de implementación
Requisitos para arrancar
Lo que conviene tener listo antes del go-live.
Datos mínimos
- Golden truth set inicial validado por el Steward
- Identity sources hierarchy documentada
- Match Decision History accesible
- Histórico de audits previos si existen
Licencias
- Salesforce Data Cloud
- Agentforce Platform
- Tableau Next o CRM Analytics para los dashboards
- Industry Cloud según vertical si aplica
Integraciones
- Tableau Next o CRMA para el dashboard de calidad
- Slack vía MCP para Steward alerts
- Lightning para revisión interactiva de propuestas
- Email transaccional para notificaciones formales al board
Org readiness
- Sampling strategy definida y estable
- Política de PII handling en samples
- Cadencia de audit acordada (mensual o trimestral)
- Ownership del Steward formalizado
Qué se busca optimizar
Lo que el agente busca mejorar — los rangos exactos dependen del baseline de cada compañía.
No prometemos cifras atribuidas a casos. Detallamos las dimensiones que el Identity Quality Auditor Agent ataca y la dirección esperada del cambio.
Precision y recall por segmento
Métricas defendibles ante el board y por segmento. La meta es que cada segmento crítico tenga su threshold acordado y que el agente lo reporte de forma consistente.
Completeness de household
% de individuals que deberían estar en un mismo household y efectivamente lo están. Es clave para retail, banca y servicios financieros.
Anonymous-to-known stitch rate
Tasa con la que se vincula tráfico anónimo a perfiles conocidos. Indicador directo del valor downstream del modelo de identidad.
Frecuencia de drift detection
Tiempo entre que una regla empieza a degradarse y el momento en que el agente levanta el flag. Se busca acortar el ciclo respecto del audit manual previo.
Calidad del audit
Medida por la tasa de aceptación de las propuestas del agente por parte del Steward. A mayor calidad, menos rework y más confianza en el ciclo.
Cobertura del golden truth set
% de segmentos críticos representados en el set. La meta es expansión continua a partir de los casos donde el Steward corrige propuestas del agente.
Qué considerar al implementar
Cinco prácticas que aceleran el time-to-value y sostienen la confianza del Steward y del CDO.
Golden truth set curated y mantenido
El set es la columna vertebral del audit. Conviene invertir en el labeling inicial y definir cómo se incorporan los nuevos casos a medida que el Steward corrige propuestas, para que la calidad del audit crezca con el tiempo.
Sampling strategy estable
El sample tiene que ser representativo de los segmentos críticos y reproducible audit a audit. Conviene documentar la estrategia y revisarla cuando cambie la composición de la base.
Ownership del Steward para validar
El Steward es el responsable formal del audit. El agente prepara el material y propone, pero la firma sobre las métricas y los rule changes la pone el humano.
Governance del audit cadence
Definir la cadencia (mensual o trimestral) y el formato del reporte alineado con la governance corporativa. Esa cadencia es la que sostiene la confianza del board en las métricas de identidad.
Manejo cuidadoso de PII en samples
Los samples contienen identidades reales. Conviene aplicar masking en los reports y limitar el acceso a los samples al Steward y al equipo de auditoría, con audit trail completo de quién accede a qué.
Preguntas frecuentes
Lo automatiza para la cadencia ongoing. Para audits regulatorios formales, el agente entrega el reporte y el data team lo firma. El humano sigue siendo el responsable formal del audit; lo que cambia es el costo y la frecuencia con la que se puede ejecutar.
Con un sample inicial labeled por el Steward (típicamente 1.000 a 3.000 pares). El agente lo amplía con los casos donde el humano corrige sus propuestas, así el set crece y la calidad del audit mejora con el tiempo.
Sí. La métrica de household completeness mide qué % de individuals que deberían estar en un mismo household efectivamente lo están. Es clave para retail y banca, donde la unidad económica relevante muchas veces es el hogar y no el individuo.
Con regex y patrones específicos por país. El golden truth set debe incluir muestras representativas por formato. Los patterns de error típicos (CPF con dígito verificador mal calculado, DNI sin separador) están cargados como base.
Con ambos. El agente lee la decisión final de match, no la lógica interna. Por eso opera sobre cualquier configuración de Identity Resolution en Data Cloud, sin depender de cómo está implementada la regla.
Sí. PDF con la confusion matrix, los segmentos auditados, las propuestas de rule change con simulación de impacto y el changelog vs. el audit anterior. Ese reporte alimenta la governance trimestral del Steward Lead.
Tu Identity Resolution ya corre. Solo falta un agente que la audite ongoing.
Hablá con un Identity Lead de Solu. Revisamos tus match rules, tu golden truth set y proyectamos la cadencia de audit para tu operación.