Feat/clustering mn

[MNIKIEMA]

Refactorisation de la structure + ajout du clustering

• Ajout d’une structure src/ pour standardiser les imports Python.
• Centralisation des données générées dans data/archive_data/ afin de séparer clairement données anciennes et nouvelles.
• Maintien de la compatibilité avec les tests existants, adaptés à la nouvelle organisation. (pas testé parce que ce n'est plus utilisé pour l'instant)

Nouvelle organisation

.
├── cluster.png
├── data
│   ├── archive_data
│   ├── conclusions&pollitiques_gold.jsonl
│   ├── conclusions&pollitiques_synthetiques_diversifies.jsonl
│   └── conclusions&pollitiques_synthetiques.jsonl
├── pyproject.toml
├── README.md
├── src
│   ├── dspy_policies_extraction
│   ├── notebooks
│   └── policy_analysis
├── tests
│   ├── test_agents.py
│   ├── test_import.py
│   ├── test_ingestion_pipeline.py
│   ├── test_merge_policies.py
│   └── test_pdf
└── uv.lock

Impact

• Aucun changement fonctionnel majeur attendu.
• Amélioration de la lisibilité, de la modularité comme le package library

[fraboniface]

Merci @MNIKIEMA ! Ce serait effectivement mieux. Dans library j'ai bien séparé la partie librairie python contenant des fonctions utiles (dans src) des scripts et notebooks utilisant ces fonctions (dans prescreening et maintenant dans scraping. Si cela ne demande pas trop de refactoring, pourrais-tu également faire cette distinction ?

[MNIKIEMA]

Le code respecte déjà la structure. Il a deux dossiers qui ne sont pas importables et j'ai gardé dans src pour une question de lisibilité. C'est notamment dspy_policies_extraction and notebook.

[fraboniface]

Pour moi ce n'est pas tout à fait pareil : ma suggestion était justement de sortir de src ces deux dossiers pour que src ne contienne que des fonctions importables, comme une vraie librairie (et encore il faudrait aussi sortir le main de agentic_data_policies__extraction).

[MNIKIEMA]

Ça peut se faire aussi. La structure actuelle du pyproject.toml exclut ces fichiers normalement src/policy_analysis.

[fraboniface]

Merci ! Ça mixe encore un peu trop scripts et code fonctionnel à mon goût mais pas très grave à ce stade. Il y a juste un lien cassé dans le README dont je peux me charger.

[fraboniface]

Mauvais lien, retirer le src