09:00
10:00
11:00
12:00
13:00
14:00
15:00
16:00
17:00
›9:15 (10min)
9:15 - 9:25 (10min)
Introduction
Organisateurs
›9:25 (15min)
MeLaSSS : Metric in the Latent Space on Simplified Sentences
Tanguy Herserant, Tristan Luiggi, Laure Soulier, Vincent Guigue: (Institut des Systèmes Intelligents et de Robotique, Sorbonne Université, CNRS)
Tanguy Herserant, Tristan Luiggi, Laure Soulier, Vincent Guigue: (Institut des Systèmes Intelligents et de Robotique, Sorbonne Université, CNRS)
9:25 - 9:40 (15min)
MeLaSSS : Metric in the Latent Space on Simplified Sentences
Tanguy Herserant, Tristan Luiggi, Laure Soulier, Vincent Guigue: (Institut des Systèmes Intelligents et de Robotique, Sorbonne Université, CNRS)
https://evalllm2024.sciencesconf.org/data/program/MeLaSSS_article_TALN_2.pdf›9:40 (15min)
9:40 - 9:55 (15min)
Résumé automatique de textes d'enquêtes judiciaires : retour d'expérience
Thibault Roy (OPPSCIENCE)
›9:55 (25min)
Évaluation de grands modèles de langue pour la classification de concepts et la génération de descriptions dans les études aréales
Xinyi Shen, Damien Nouvel, Peter Stockinger (LaCAS, INalCO)
Xinyi Shen, Damien Nouvel, Peter Stockinger (LaCAS, INalCO)
9:55 - 10:20 (25min)
Évaluation de grands modèles de langue pour la classification de concepts et la génération de descriptions dans les études aréales
Xinyi Shen, Damien Nouvel, Peter Stockinger (LaCAS, INalCO)
›10:20 (15min)
10:20 - 10:35 (15min)
Pause café
›10:35 (15min)
Vers une conceptualisation du micro-benchmarking pour l'évaluation des LLM dans un cadre opérationnel
William Babonnaud (Centre recherche et Innovation de Talan)
William Babonnaud (Centre recherche et Innovation de Talan)
10:35 - 10:50 (15min)
Vers une conceptualisation du micro-benchmarking pour l'évaluation des LLM dans un cadre opérationnel
William Babonnaud (Centre recherche et Innovation de Talan)
›10:50 (15min)
Réflexions pour la conception d'un protocole expérimental de détection des biais dans le triage d'urgence hospitalière à l'aide de modèles de langage
Ariel Guerra-Adames, Marta Avalos, Dalia Cohen, Melissa Davids, Dylan Russon, Océane Doremus, Gabrielle Chenais, Eric Tellier, Cédric Gil-Jardiné, Emmanuel Lagarde (Université de Bordeaux, CHU Bordeaux)
Ariel Guerra-Adames, Marta Avalos, Dalia Cohen, Melissa Davids, Dylan Russon, Océane Doremus, Gabrielle Chenais, Eric Tellier, Cédric Gil-Jardiné, Emmanuel Lagarde (Université de Bordeaux, CHU Bordeaux)
10:50 - 11:05 (15min)
Réflexions pour la conception d'un protocole expérimental de détection des biais dans le triage d'urgence hospitalière à l'aide de modèles de langage
Ariel Guerra-Adames, Marta Avalos, Dalia Cohen, Melissa Davids, Dylan Russon, Océane Doremus, Gabrielle Chenais, Eric Tellier, Cédric Gil-Jardiné, Emmanuel Lagarde (Université de Bordeaux, CHU Bordeaux)
›11:05 (25min)
Evaluation de Génération de Texte en Domaine Spécifique, Cas d'étude
Ulysse Oliveri, Guillaume Gadek, Alexandre Dey, Arnaud Delhay-Lorrain, Damien Lolive, Benjamin Costé, Bruno Carron, Claude Fendzi, Bruno Grilheres (IRISA, Airbus)
Ulysse Oliveri, Guillaume Gadek, Alexandre Dey, Arnaud Delhay-Lorrain, Damien Lolive, Benjamin Costé, Bruno Carron, Claude Fendzi, Bruno Grilheres (IRISA, Airbus)
11:05 - 11:30 (25min)
Evaluation de Génération de Texte en Domaine Spécifique, Cas d'étude
Ulysse Oliveri, Guillaume Gadek, Alexandre Dey, Arnaud Delhay-Lorrain, Damien Lolive, Benjamin Costé, Bruno Carron, Claude Fendzi, Bruno Grilheres (IRISA, Airbus)
›11:30 (50min)
11:30 - 12:20 (50min)
Keynote - OpenLLM-France : un projet et une communauté pour développer des LLMs
Jean-Pierre Lorré
›12:20 (1h40)
12:20 - 14:00 (1h40)
Déjeuner
›14:00 (15min)
14:00 - 14:15 (15min)
Challenge - Introduction et annonce du gagnant
›14:15 (10min)
Challenge - LLM Génératif Zero/Few Shots ou Annotation Manuelle ? Retours d'Expériences du défi EvalLLM 2024
Maxime Prieur, Sylvain Verdy, Vuth Nakanyseth, Gilles Sérasset, Didier Schwab, Cédric Lopez
Maxime Prieur, Sylvain Verdy, Vuth Nakanyseth, Gilles Sérasset, Didier Schwab, Cédric Lopez
14:15 - 14:25 (10min)
Challenge - LLM Génératif Zero/Few Shots ou Annotation Manuelle ? Retours d'Expériences du défi EvalLLM 2024
Maxime Prieur, Sylvain Verdy, Vuth Nakanyseth, Gilles Sérasset, Didier Schwab, Cédric Lopez
›14:25 (10min)
Challenge - Participation d'OppScience au challenge EvalLLM 2024 : une approche hybride applicable en contexte industriel
Frédérik Bilhaut, David Condaminet, Elias LIMOUNI, Ferial YAHIAOUI, Thibault Roy
Frédérik Bilhaut, David Condaminet, Elias LIMOUNI, Ferial YAHIAOUI, Thibault Roy
14:25 - 14:35 (10min)
Challenge - Participation d'OppScience au challenge EvalLLM 2024 : une approche hybride applicable en contexte industriel
Frédérik Bilhaut, David Condaminet, Elias LIMOUNI, Ferial YAHIAOUI, Thibault Roy
›14:35 (10min)
14:35 - 14:45 (10min)
Challenge - Évaluation des modèles génératifs dans un contexte few-shot ciblant la reconnaissance des entités nommées
Mustapha BENBARKA
›14:50 (10min)
Challenge - Rapport de Participation de Smart Tribune à EvalLLM2024 : Quelques Usages de LLMs dans l'Univers de la Reconnaissance d'Entités Nommées
Guillaume De Murcia, Ilyas El-Allali, Ludovic Meineri, Laurent Gillard, Samy Lastmann
Guillaume De Murcia, Ilyas El-Allali, Ludovic Meineri, Laurent Gillard, Samy Lastmann
14:50 - 15:00 (10min)
Challenge - Rapport de Participation de Smart Tribune à EvalLLM2024 : Quelques Usages de LLMs dans l'Univers de la Reconnaissance d'Entités Nommées
Guillaume De Murcia, Ilyas El-Allali, Ludovic Meineri, Laurent Gillard, Samy Lastmann
›15:00 (15min)
Challenge - CEA-List@EvalLLM2024 : prompter un très grand modèle de langue ou affiner un plus petit ?
Robin Armingaud, Arthur Peuvot, Romaric Besançon, Olivier Ferret, Sondes Souihi, Julien Tourille
Robin Armingaud, Arthur Peuvot, Romaric Besançon, Olivier Ferret, Sondes Souihi, Julien Tourille
15:00 - 15:15 (15min)
Challenge - CEA-List@EvalLLM2024 : prompter un très grand modèle de langue ou affiner un plus petit ?
Robin Armingaud, Arthur Peuvot, Romaric Besançon, Olivier Ferret, Sondes Souihi, Julien Tourille
›15:15 (15min)
15:15 - 15:30 (15min)
Challenge - Kairntech à EvalLLM 2024
Hugo Lafayette, Kévin Deturck, Olivier Terrier
›15:30 (25min)
Évaluer BLOOM en français
Rachel Bawden, Hatim Bourfoune, Bertrand Cabot, Nathan Cassereau, Pierre Cornette, Marco Naguib, François Yvon, (Inria ALMAnaCH, CNRS IDRIS, CNRS LISN, CentraleSupélec, Université Paris-Saclay)
Rachel Bawden, Hatim Bourfoune, Bertrand Cabot, Nathan Cassereau, Pierre Cornette, Marco Naguib, François Yvon, (Inria ALMAnaCH, CNRS IDRIS, CNRS LISN, CentraleSupélec, Université Paris-Saclay)
15:30 - 15:55 (25min)
Évaluer BLOOM en français
Rachel Bawden, Hatim Bourfoune, Bertrand Cabot, Nathan Cassereau, Pierre Cornette, Marco Naguib, François Yvon, (Inria ALMAnaCH, CNRS IDRIS, CNRS LISN, CentraleSupélec, Université Paris-Saclay)
›16:00 (15min)
16:00 - 16:15 (15min)
Pause café
›16:15 (15min)
Utilisation d'un LLM pour le couplage faible de services web
Kevin Séjourné, Alexandru Lata (Cloud Temple)
Kevin Séjourné, Alexandru Lata (Cloud Temple)
16:15 - 16:30 (15min)
Utilisation d'un LLM pour le couplage faible de services web
Kevin Séjourné, Alexandru Lata (Cloud Temple)
›16:30 (15min)
Génération et annotation de corpus pour l'entraînement et l'évaluation de modèles d'extraction de relations : utilisation de bibliothèques de génération de données et de LLMs
Ferial Yahiaoui, Elias Limouni (OPPSCIENCE)
Ferial Yahiaoui, Elias Limouni (OPPSCIENCE)
16:30 - 16:45 (15min)
Génération et annotation de corpus pour l'entraînement et l'évaluation de modèles d'extraction de relations : utilisation de bibliothèques de génération de données et de LLMs
Ferial Yahiaoui, Elias Limouni (OPPSCIENCE)
›16:45 (25min)
Les modèles de langage pour la génération de code tiennent-ils leurs promesses ?
Gaël De Chalendar, Pauline Auda , Jérôme Deshayes-Chaussard, Olivier Ferret, Patrick Hède, Hervé Le Borgne, Adolphe Ngosso Ebene, Ansgar Radermacher, Julien Tourille, CEA-LIST
Gaël De Chalendar, Pauline Auda , Jérôme Deshayes-Chaussard, Olivier Ferret, Patrick Hède, Hervé Le Borgne, Adolphe Ngosso Ebene, Ansgar Radermacher, Julien Tourille, CEA-LIST
16:45 - 17:10 (25min)
Les modèles de langage pour la génération de code tiennent-ils leurs promesses ?
Gaël De Chalendar, Pauline Auda , Jérôme Deshayes-Chaussard, Olivier Ferret, Patrick Hède, Hervé Le Borgne, Adolphe Ngosso Ebene, Ansgar Radermacher, Julien Tourille, CEA-LIST
›17:10 (15min)
Évaluation des modèles génératifs (LLMs) concernant la détection des problèmes mentaux en basant sur les réseaux sociaux chinois : le cas de l'humeur dépressif
Jinyuan Xu, Tian Lan, Pierre Magistry, Mathieu Valette (ERTIM)
Jinyuan Xu, Tian Lan, Pierre Magistry, Mathieu Valette (ERTIM)
17:10 - 17:25 (15min)
Évaluation des modèles génératifs (LLMs) concernant la détection des problèmes mentaux en basant sur les réseaux sociaux chinois : le cas de l'humeur dépressif
Jinyuan Xu, Tian Lan, Pierre Magistry, Mathieu Valette (ERTIM)
›17:25 (15min)
Analyse des Métriques de Tokenisation et Leur Corrélation avec les Performances de Traduction Automatique Multilingue
Serge Molina, Josiane Mothe (IRIT)
Serge Molina, Josiane Mothe (IRIT)
17:25 - 17:40 (15min)
Analyse des Métriques de Tokenisation et Leur Corrélation avec les Performances de Traduction Automatique Multilingue
Serge Molina, Josiane Mothe (IRIT)
