[TECH] Retourner tous les fichiers XML en READY_TO_SEND dans le mail CPF à destination du métier (PIX-9102).

[AndreiaPena]

🦄 Problème

Actuellement dans notre process CPF, l'envoi du mail contenant le lien de téléchargement des fichiers XML pose problème. En effet, on ne retourne dans ce lien que les fichiers générés à la date du cron du planner.
Mais si la génération des fichiers XML n’est pas terminé lors du demarrage de l'envoi de l'email alors ce dernier sera incomplet (n'aura pas l'ensemble des fichiers générés).

🤖 Proposition

Ne plus dépendre d'une date ( géré par des systèmes externes, peu maîtrisable ) mais du status READY_TO_SEND enregistré en BDD (importStatus de la table certification-course-cpf-infos).
On va ainsi envoyer tous les fichiers prêts à être transmis au CPF en lien du mail envoyé au métier.
A noter que les fichiers non traités depuis le dernier email seront ajouté dans le nouvel email avec une lien présigné mis à jour.

🌈 Remarques

Avec cette proposition, la problématique de fréquence entre les deux CRON n'en est plus une. Même si l'email est envoyé avant la génération des fichiers, on pourra facilement enclencher l'envoi d'un autre mail plus tard qui se chargera de retourner les fichiers manquants.
La fréquence de ces CRON sera juste repensé.
Plutôt que de chercher à lancer le CRON de l'email quelques heures après la génération du mail, on peut decoreller ceux ci et eviter par ailleurs des envois la nuit.

On propose de mettre le CRON d'envoi d'email toute les semaines et de mettre l'expiration de liens sur 1 semaine:
CPF_EXPORTS_STORAGE_PRE_SIGNED_EXPIRES_IN=604800 (1 semaine)
CPF_SEND_EMAIL_JOB_CRON=0 0 1 1 *=00 08 * * 1 (tout les lundi à 8H)

💯 Pour tester

Lancer la creation d'un fichier (s'assurer du bucket dans les varenv):

CPF_PLANNER_JOB_CRON=* * * * *
CPF_PLANNER_JOB_CHUNK_SIZE=1
CPF_PLANNER_JOB_MONTHS_TO_PROCESS=20000
CPF_PLANNER_JOB_MINIMUM_RELIABILITY_PERIOD=0

Une fois terminé, redemarrer avec le mailing avec un CRON qui demarre juste apres (ici 12H28)

CPF_SEND_EMAIL_JOB_CRON=28 12 * * *

```update "certification-courses-cpf-infos" set "importStatus"='SUCCESS' LIMIT 1;````

Une fois terminé, redemarrer avec le mailing avec un CRON qui demarre juste apres (ici 12H35)

CPF_SEND_EMAIL_JOB_CRON=35 12 * * *

S'assurer que le mail recu ne contient plus le fichier en succes mais bien les autres

[pix-bot-github]

Une fois les applications déployées, elles seront accessibles via les liens suivants :

• App (.fr)
• App (.org)
• Orga (.fr)
• Orga (.org)
• Certif (.fr)
• Certif (.org)
• 1D
• Admin
• API
• Audit Logger

Les variables d'environnement seront accessibles via les liens suivants :

• scalingo front
• scalingo api
• scalingo audit-logger

[aceol]

Proposition (pas de moi): Mettre à jour le CPF_EXPORTS_STORAGE_PRE_SIGNED_EXPIRES_IN par défaut à 604800