Appel atelier

Pour l'atelier, nous sollicitons des communications sur l'ensemble des travaux sur l'évaluation des modèles génératifs, ou de systèmes les intégrant, sur des langues autres que l'anglais.

Cela inclut notamment :

• l’évaluation de modèles de fondation, fine-tunés ou de systèmes complets (RAG par exemple)
• la création ou adaptation de benchmarks en français ou autres langues d’intérêt, qu’elles soient bien ou peu dotées, en domaine général ou spécialisé
• l’évaluation sur des tâches de TAL (traduction, résumé, extraction d’information…)
• l’adaptation des méthodologies d’évaluation existantes aux systèmes génératifs
• les dimensions éthiques, biais, privacy, alignement culturel ou législatif
• les dimensions de performances en temps de calcul, mémoire, frugalité énergétique
• l’évaluation avec des utilisateurs, ergonomie, aspects cognitifs
• l’évaluation de modèles multimodaux (eg. texte-image, texte-parole…)
• …

Format

Plusieurs types d'articles sont acceptés :

• contribution nouvelle (méthode, outil, jeu de données, analyse, métrique...)
• travaux en cours
• état de l'art
• version courte/traduite d'un article accepté dans une grande conférence

La taille des articles est laissée libre entre 4 et 10 pages, références non comprises. Les relectures se faisant en double-aveugle, les soumissions doivent être anonymisées. La feuille de style est celle de la conférence TALN 2024

Les auteurs sont invités à se conformer aux bonnes pratiques du domaine : https://aclrollingreview.org/responsibleNLPresearch/

Les articles sont à soumettre sur cette page.

Calendrier

soumission : 31 mai 7 juin

réponse aux auteurs : 14 juin  21 juin

version finale : 21 juin 28 juin