Add OuestFrance API integration with Factiva-format S3 pipeline

[apibrac]

Résumé global

Cette PR ajoute l'import de OuestFrance via leur source spécifique.
L'import en lui même n'est pas complet puisque nous ne connaissons pas encore les modalités d'échange avec leur api/ftp, nous avons uniquement eu accès à un export de leur part. Il faudra recoder cette partie.

Points à noter :

• cela copie colle le process pour le monde qui est lui même hors factiva, avec quelques différences notables :
• on a un unique job api_to_s3, ensuite c'est le job factiva qui traitera les données puisqu'elles sont stockés dans le s3 dans le bon format
• on réutilise la même image docker que le monde puisqu'elle est similaire sauf l'entrypoint. Peut être qu'on visera à terme à toujours utiliser une unique image docker pour tous les jobs plutôt que d'en avoir une par job ?
• une étape a été ajouté pour vérifier que les données stockées dans le s3 ont le bon format (celui de factiva) : une dataclass avec tous les champs et qui se charge de la conversion en json, elle a été inséré pour lemonde également

Next is from Claude

Tech Summary

Adds support for ingesting ecology articles from the OuestFrance API, converting them to Factiva-compatible JSON format, and uploading to S3 for processing by the existing Factiva pipeline. This enables OuestFrance as a new regional news source alongside existing Factiva and LeMonde integrations.

Key Changes

New OuestFrance API Integration

• quotaclimat/data_ingestion/ouest_france/api_to_s3.py: Complete pipeline to fetch XML from OuestFrance API, parse articles, convert to Factiva format, partition by date, and upload to S3
  • Fetches ecology articles via authenticated API requests with configurable date ranges
  • Parses XML elements (title, body, author, publication date, photos, tags)
  • Strips HTML from content fields
  • Validates output against Pydantic schema before S3 upload
  • Partitions articles by year/month/day with configurable batch sizes

Shared Factiva Schema

• quotaclimat/data_ingestion/factiva/schemas/article_schema.py (new): Pydantic models for validating Factiva-format articles
  • FactivaArticleAttributes: Core article metadata with required fields (an, source_code, source_name) and optional extensions for non-Factiva sources
  • FactivaArticleEnvelope: Single article wrapper
  • FactivaS3Document: Top-level S3 JSON document container
  • Supports article_url and tags fields for regional sources

LeMonde FTP Refactoring

• quotaclimat/data_ingestion/lemonde_ftp/ftp_to_s3.py: Refactored to use shared FactivaArticleAttributes and FactivaArticleEnvelope models instead of raw dictionaries
  • Improves consistency and validation across all sources
  • Maintains backward compatibility with existing pipeline

Database Schema Extensions

• alembic_factiva/versions/n8o9p0q1r2s3_add_ouest_france_support.py (new): Migration to add optional columns
  • Adds article_url (Text) and tags (JSON) columns to factiva_articles and lemonde_ftp_articles tables
  • Inserts OUESTFR source classification record
• postgres/schemas/factiva_models.py: Adds corresponding ORM columns for article_url and tags

Source Classification

• quotaclimat/data_ingestion/factiva/inputs/classification_source.py: Registers OUESTFR source with metadata (owner: SIPA Ouest-France, region: Bretagne)

Docker & Deployment

• Dockerfile_ouest_france (new): Multi-stage build for OuestFrance pipeline
  • Runs Alembic migrations before article ingestion
  • Executes OuestFrance API to S3 pipeline
• docker-entrypoint-ouest-france.sh (new): Entrypoint script orchestrating migrations and pipeline execution

Configuration

• pyproject.toml: Added pydantic ^2.0 dependency for schema validation

Implementation Details

• Environment-driven configuration: API URL, token, S3 credentials, date ranges all configurable via environment variables
• Flexible secret handling: Supports both direct values and file paths for sensitive credentials
• Batch processing: Articles saved in configurable batches (default 1000) to manage memory usage
• Date partitioning: Files organized as year_{YYYY}/month_{MM}/{YYYY}_{MM}_{DD}_stream.json matching Factiva S3 structure
• Validation-first approach: All articles validated against Pydantic schema before S3 upload, catching format errors early
• Reuses existing pipeline: Converted articles automatically picked up by existing Factiva S3→PostgreSQL ingestion

https://claude.ai/code/session_01KnzVvhxwaWJRmK2q6Ym3oa