09:00
10:00
11:00
12:00
13:00
14:00
15:00
16:00
17:00
9:15 - 9:25 (10min)
Introduction
Organisateurs
9:25 - 9:40 (15min)
MeLaSSS : Metric in the Latent Space on Simplified Sentences
Tanguy Herserant, Tristan Luiggi, Laure Soulier, Vincent Guigue: (Institut des Systèmes Intelligents et de Robotique, Sorbonne Université, CNRS)
https://evalllm2024.sciencesconf.org/data/program/MeLaSSS_article_TALN_2.pdf 9:40 - 9:55 (15min)
Résumé automatique de textes d'enquêtes judiciaires : retour d'expérience
Thibault Roy (OPPSCIENCE)
9:55 - 10:20 (25min)
Évaluation de grands modèles de langue pour la classification de concepts et la génération de descriptions dans les études aréales
Xinyi Shen, Damien Nouvel, Peter Stockinger (LaCAS, INalCO)
10:20 - 10:35 (15min)
Pause café
10:35 - 10:50 (15min)
Vers une conceptualisation du micro-benchmarking pour l'évaluation des LLM dans un cadre opérationnel
William Babonnaud (Centre recherche et Innovation de Talan)
10:50 - 11:05 (15min)
Réflexions pour la conception d'un protocole expérimental de détection des biais dans le triage d'urgence hospitalière à l'aide de modèles de langage
Ariel Guerra-Adames, Marta Avalos, Dalia Cohen, Melissa Davids, Dylan Russon, Océane Doremus, Gabrielle Chenais, Eric Tellier, Cédric Gil-Jardiné, Emmanuel Lagarde (Université de Bordeaux, CHU Bordeaux)
11:05 - 11:30 (25min)
Evaluation de Génération de Texte en Domaine Spécifique, Cas d'étude
Ulysse Oliveri, Guillaume Gadek, Alexandre Dey, Arnaud Delhay-Lorrain, Damien Lolive, Benjamin Costé, Bruno Carron, Claude Fendzi, Bruno Grilheres (IRISA, Airbus)
11:30 - 12:20 (50min)
Keynote - OpenLLM-France : un projet et une communauté pour développer des LLMs
Jean-Pierre Lorré
12:20 - 14:00 (1h40)
Déjeuner
14:00 - 14:15 (15min)
Challenge - Introduction et annonce du gagnant
14:15 - 14:25 (10min)
Challenge - LLM Génératif Zero/Few Shots ou Annotation Manuelle ? Retours d'Expériences du défi EvalLLM 2024
Maxime Prieur, Sylvain Verdy, Vuth Nakanyseth, Gilles Sérasset, Didier Schwab, Cédric Lopez
14:25 - 14:35 (10min)
Challenge - Participation d'OppScience au challenge EvalLLM 2024 : une approche hybride applicable en contexte industriel
Frédérik Bilhaut, David Condaminet, Elias LIMOUNI, Ferial YAHIAOUI, Thibault Roy
14:35 - 14:45 (10min)
Challenge - Évaluation des modèles génératifs dans un contexte few-shot ciblant la reconnaissance des entités nommées
Mustapha BENBARKA
14:50 - 15:00 (10min)
Challenge - Rapport de Participation de Smart Tribune à EvalLLM2024 : Quelques Usages de LLMs dans l'Univers de la Reconnaissance d'Entités Nommées
Guillaume De Murcia, Ilyas El-Allali, Ludovic Meineri, Laurent Gillard, Samy Lastmann
15:00 - 15:15 (15min)
Challenge - CEA-List@EvalLLM2024 : prompter un très grand modèle de langue ou affiner un plus petit ?
Robin Armingaud, Arthur Peuvot, Romaric Besançon, Olivier Ferret, Sondes Souihi, Julien Tourille
15:15 - 15:30 (15min)
Challenge - Kairntech à EvalLLM 2024
Hugo Lafayette, Kévin Deturck, Olivier Terrier
15:30 - 15:55 (25min)
Évaluer BLOOM en français
Rachel Bawden, Hatim Bourfoune, Bertrand Cabot, Nathan Cassereau, Pierre Cornette, Marco Naguib, François Yvon, (Inria ALMAnaCH, CNRS IDRIS, CNRS LISN, CentraleSupélec, Université Paris-Saclay)
16:00 - 16:15 (15min)
Pause café
16:15 - 16:30 (15min)
Utilisation d'un LLM pour le couplage faible de services web
Kevin Séjourné, Alexandru Lata (Cloud Temple)
16:30 - 16:45 (15min)
Génération et annotation de corpus pour l'entraînement et l'évaluation de modèles d'extraction de relations : utilisation de bibliothèques de génération de données et de LLMs
Ferial Yahiaoui, Elias Limouni (OPPSCIENCE)
16:45 - 17:10 (25min)
Les modèles de langage pour la génération de code tiennent-ils leurs promesses ?
Gaël De Chalendar, Pauline Auda , Jérôme Deshayes-Chaussard, Olivier Ferret, Patrick Hède, Hervé Le Borgne, Adolphe Ngosso Ebene, Ansgar Radermacher, Julien Tourille, CEA-LIST
17:10 - 17:25 (15min)
Évaluation des modèles génératifs (LLMs) concernant la détection des problèmes mentaux en basant sur les réseaux sociaux chinois : le cas de l'humeur dépressif
Jinyuan Xu, Tian Lan, Pierre Magistry, Mathieu Valette (ERTIM)
17:25 - 17:40 (15min)
Analyse des Métriques de Tokenisation et Leur Corrélation avec les Performances de Traduction Automatique Multilingue
Serge Molina, Josiane Mothe (IRIT)
