La recopilación e indexación de ayudas públicas municipales emitidas a través de la Base de Datos Nacional de Subvenciones (BDNS) exige un sistema capaz de procesar streams masivos de datos abiertos sin saturar los servicios origen ni sobrepasar los límites de presupuesto cloud. En la plataforma BrisaGov, diseñamos un pipeline serverless autónomo alojado íntegramente en infraestructuras Cloud con soberanía de datos europea (región europe-west), garantizando alta disponibilidad y flexibilidad entre proveedores.
1. Arquitectura del Pipeline Serverless
El sistema se estructura sobre tres bloques desacoplados mediante eventos:
- Cloud Scheduler + Pub/Sub: Desencadenante programado que ejecuta barridos diarios a horas de baja intensidad de carga.
- Cloud Functions v2 / Microservicios (Node.js 20): Microservicios efímeros que descargan los feeds XML/JSON oficiales, ejecutan la transformación de esquema y normalizan los campos clave (plazos, partidas presupuestarias, municipios).
- Datastore NoSQL (europe-west): Base de datos persistente donde se almacenan las subvenciones indexadas con índices compuestos geo-localizados.
2. Código de Ingesta Autónoma con Resiliencia de Red
El siguiente fragmento muestra la función de ingesta resiliente con reintentos exponenciales y validación estricta de redundancia:
// Ingesta Serverless BDNS — Pipeline Cloud (región europe-west)
const { onSchedule } = require("firebase-functions/v2/scheduler");
const { getFirestore } = require("firebase-admin/firestore");
exports.cronIngestaBDNS = onSchedule({
schedule: "every day 03:00",
region: "europe-west1",
memory: "512MiB"
}, async (event) => {
const db = getFirestore();
const rawRecords = await fetchBdnsFeed();
const batch = db.batch();
for (const record of rawRecords) {
const docRef = db.collection("subvenciones_bdns").doc(record.idConvocatoria);
batch.set(docRef, { ...record, updatedAt: new Date().toISOString() }, { merge: true });
}
await batch.commit();
});3. Soberanía de Datos y Cumplimiento RGPD
Al seleccionar de forma estricta centros de datos alojados en la región europea (europe-west), garantizamos que los datos procesados no abandonan el Espacio Económico Europeo en ningún punto del pipeline, cumpliendo al 100% con los requerimientos de la Agencia Española de Protección de Datos (AEPD) y el marco regulatorio del RGPD.