Atelier sur l'évaluation des modèles génératifs (LLM) et challence d'extraction d'information few-shot

9:15 - 9:25 (10min)

Introduction

Organisateurs

9:25 - 9:40 (15min)

MeLaSSS : Metric in the Latent Space on Simplified Sentences

Tanguy Herserant, Tristan Luiggi, Laure Soulier, Vincent Guigue: (Institut des Systèmes Intelligents et de Robotique, Sorbonne Université, CNRS)

https://evalllm2024.sciencesconf.org/data/program/MeLaSSS_article_TALN_2.pdf

9:40 - 9:55 (15min)

Résumé automatique de textes d'enquêtes judiciaires : retour d'expérience

Thibault Roy (OPPSCIENCE)

https://evalllm2024.sciencesconf.org/data/program/563614.pdf

9:55 - 10:20 (25min)

Évaluation de grands modèles de langue pour la classification de concepts et la génération de descriptions dans les études aréales

Xinyi Shen, Damien Nouvel, Peter Stockinger (LaCAS, INalCO)

https://evalllm2024.sciencesconf.org/data/program/561307.pdf

10:20 - 10:35 (15min)

Pause café

10:35 - 10:50 (15min)

Vers une conceptualisation du micro-benchmarking pour l'évaluation des LLM dans un cadre opérationnel

William Babonnaud (Centre recherche et Innovation de Talan)

https://evalllm2024.sciencesconf.org/data/program/563860.pdf

10:50 - 11:05 (15min)

Réflexions pour la conception d'un protocole expérimental de détection des biais dans le triage d'urgence hospitalière à l'aide de modèles de langage

Ariel Guerra-Adames, Marta Avalos, Dalia Cohen, Melissa Davids, Dylan Russon, Océane Doremus, Gabrielle Chenais, Eric Tellier, Cédric Gil-Jardiné, Emmanuel Lagarde (Université de Bordeaux, CHU Bordeaux)

https://evalllm2024.sciencesconf.org/data/program/563812.pdf

11:05 - 11:30 (25min)

Evaluation de Génération de Texte en Domaine Spécifique, Cas d'étude

Ulysse Oliveri, Guillaume Gadek, Alexandre Dey, Arnaud Delhay-Lorrain, Damien Lolive, Benjamin Costé, Bruno Carron, Claude Fendzi, Bruno Grilheres (IRISA, Airbus)

https://evalllm2024.sciencesconf.org/data/program/567973.pdf

11:30 - 12:20 (50min)

Keynote - OpenLLM-France : un projet et une communauté pour développer des LLMs

Jean-Pierre Lorré

12:20 - 14:00 (1h40)

Déjeuner

14:00 - 14:15 (15min)

Challenge - Introduction et annonce du gagnant

14:15 - 14:25 (10min)

Challenge - LLM Génératif Zero/Few Shots ou Annotation Manuelle ? Retours d'Expériences du défi EvalLLM 2024

Maxime Prieur, Sylvain Verdy, Vuth Nakanyseth, Gilles Sérasset, Didier Schwab, Cédric Lopez

https://evalllm2024.sciencesconf.org/data/program/EvalLLM_JEP_TALN_RECITAL_2024_1_1.pdf

14:25 - 14:35 (10min)

Challenge - Participation d'OppScience au challenge EvalLLM 2024 : une approche hybride applicable en contexte industriel

Frédérik Bilhaut, David Condaminet, Elias LIMOUNI, Ferial YAHIAOUI, Thibault Roy

https://evalllm2024.sciencesconf.org/data/program/OppScience_EvalLLM.pdf

14:35 - 14:45 (10min)

Challenge - Évaluation des modèles génératifs dans un contexte few-shot ciblant la reconnaissance des entités nommées

Mustapha BENBARKA

https://evalllm2024.sciencesconf.org/data/program/Evaluation_of_Large_Language_Models_with_Few_shot_for_Named_Entity_Recognition_MINDIMENSIONS_Mustapha_Benbarka.pdf

14:50 - 15:00 (10min)

Challenge - Rapport de Participation de Smart Tribune à EvalLLM2024 : Quelques Usages de LLMs dans l'Univers de la Reconnaissance d'Entités Nommées

Guillaume De Murcia, Ilyas El-Allali, Ludovic Meineri, Laurent Gillard, Samy Lastmann

https://evalllm2024.sciencesconf.org/data/program/smart_tribune_atelier_evalllm2024.pdf

15:00 - 15:15 (15min)

Challenge - CEA-List@EvalLLM2024 : prompter un très grand modèle de langue ou affiner un plus petit ?

Robin Armingaud, Arthur Peuvot, Romaric Besançon, Olivier Ferret, Sondes Souihi, Julien Tourille

https://evalllm2024.sciencesconf.org/data/program/evalllm2024_report_list_llmie.pdf

15:15 - 15:30 (15min)

Challenge - Kairntech à EvalLLM 2024

Hugo Lafayette, Kévin Deturck, Olivier Terrier

https://evalllm2024.sciencesconf.org/data/program/kairntech_evalllm2024.pdf

15:30 - 15:55 (25min)

Évaluer BLOOM en français

Rachel Bawden, Hatim Bourfoune, Bertrand Cabot, Nathan Cassereau, Pierre Cornette, Marco Naguib, François Yvon, (Inria ALMAnaCH, CNRS IDRIS, CNRS LISN, CentraleSupélec, Université Paris-Saclay)

https://evalllm2024.sciencesconf.org/data/program/Bloume_v3.pdf

16:00 - 16:15 (15min)

Pause café

16:15 - 16:30 (15min)

Utilisation d'un LLM pour le couplage faible de services web

Kevin Séjourné, Alexandru Lata (Cloud Temple)

https://evalllm2024.sciencesconf.org/data/program/563436.pdf

16:30 - 16:45 (15min)

Génération et annotation de corpus pour l'entraînement et l'évaluation de modèles d'extraction de relations : utilisation de bibliothèques de génération de données et de LLMs

Ferial Yahiaoui, Elias Limouni (OPPSCIENCE)

https://evalllm2024.sciencesconf.org/data/program/563801.pdf

16:45 - 17:10 (25min)

Les modèles de langage pour la génération de code tiennent-ils leurs promesses ?

Gaël De Chalendar, Pauline Auda , Jérôme Deshayes-Chaussard, Olivier Ferret, Patrick Hède, Hervé Le Borgne, Adolphe Ngosso Ebene, Ansgar Radermacher, Julien Tourille, CEA-LIST

https://evalllm2024.sciencesconf.org/data/program/563040.pdf

17:10 - 17:25 (15min)

Évaluation des modèles génératifs (LLMs) concernant la détection des problèmes mentaux en basant sur les réseaux sociaux chinois : le cas de l'humeur dépressif

Jinyuan Xu, Tian Lan, Pierre Magistry, Mathieu Valette (ERTIM)

https://evalllm2024.sciencesconf.org/data/program/563611.pdf

17:25 - 17:40 (15min)

Analyse des Métriques de Tokenisation et Leur Corrélation avec les Performances de Traduction Automatique Multilingue

Serge Molina, Josiane Mothe (IRIT)

https://evalllm2024.sciencesconf.org/data/program/569547.pdf.pdf

Programme