LIMICS@DEFT'24 : Un mini-LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ?
Résumé
This paper explores two approaches to answering multiple-choice questions (MCQs) in pharmacy from the DEFT 2024 challenge using large language models (LLMs) trained on open data with less than 3 billion parameters. Both approaches rely on Retrieval Augmented Generation (RAG) architecture to combine context retrieval from external knowledge bases (NACHOS and Wikipedia) with answer generation by the Apollo-2B LLM. The first approach processes the MCQs directly and generates the answers in a single step, while the second approach reformulates the MCQs into binary questions (Yes/No) and then generates an answer for each binary question. The latter approach achieves an Exact Match Ratio of 14.7 and a Hamming Score of 51.6 on the test set, demonstrating the potential of RAG for Q/A tasks under such constraints.
Ce papier explore deux approches pour répondre aux questions à choix multiples (QCM) de pharmacie du défi DEFT 2024 en utilisant des modèles de langue (LLMs) entraînés sur des données ouvertes avec moins de 3 milliards de paramètres. Les deux approches reposent sur l'architecture RAG (Retrieval Augmented Generation) pour combiner la récupération de contexte à partir de bases de connaissances externes (NACHOS et Wikipédia) avec la génération de réponses par le LLM Apollo-2B. La première approche traite directement les QCMs et génère les réponses en une seule étape, tandis que la seconde approche reformule les QCMs en questions binaires (Oui/Non) puis génère une réponse pour chaque question binaire. Cette dernière approche obtient un Exact Match Ratio de 14.7 et un Hamming Score de 51.6 sur le jeu de test, ce qui démontre le potentiel du RAG pour des tâches de Q/A sous de telles contraintes.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
