This study explores the effectiveness of prompt optimization techniques for legal case outcome extraction using Large Language Models (LLMs). Two state-of-the-art LLMs, LLaMA3 70b and Mixtral 8x7b, are used in a zero-shot data extraction task on a diverse dataset of 400 French appellate court decisions. The results show that LLMs exhibit remarkable efficiency in extraction tasks. Our findings indicate that baseline prompts achieve high performance metrics, with a best F1 score of 0.980 and a worst F1 score of 0.853. Optimized prompts yield varying degrees of improvement, with a best F1 score of 0.994 and a worst F1 score of 0.912. While some optimized prompts demonstrate significant improvements, others exhibit minor or even negative changes. Our results suggest that the optimization process has a non-uniform impact on performance metrics, and the effectiveness of optimized prompts depends on the specific model and dataset being used. These results underscore the significance of prompt engineering in optimizing LLM performance for Legal Information Extraction and Litigation Analytics reliability.

Organisé par l'Université de Nîmes et la SLC, sous la direction de Vanessa Monteillet et Gustavo Cerqueira

Colloque organisé sous la direction de Gustavo Cerqueira et Vanessa Monteillet.

Journée organisée sous la direction scientifique de Gustavo Cerqueira, Pr. à l’Univ. de Nîmes, Hugues Fulchiron, conseiller à la Cour de cassation en service extraordinaire et Nicolas NORD, secrétaire général de la C° internationale de l'état civil.

Organisé par le Centre de droit de la Consommation et du Marché, UMR 5815 "Dynamiques du Droit" Université de Montpellier

Organisé par Juristes sans frontières en partenariat avec la Faculté de Droit et de Science politique de Montpellier

Les décisions de justice contiennent des informations déterministes (dont le contenu est récurrent d'une décision à une autre) et des informations aléatoires (à caractère probabiliste). Ces deux types d'information rentrent en ligne de compte dans la prise de décision d’un juge. Les premières peuvent la conforter dans la mesure où l’information déterministe est un élément récurrent et bien connu de la jurisprudence (i.e. des résultats d’affaires passées). Les secondes, apparentées à des caractères rares ou exceptionnels, peuvent rendre la prise de décision difficile et peuvent elles-mêmes modifier la jurisprudence. L’objet de cette thèse est de proposer un modèle d’apprentissage profond mettant en évidence ces deux types d’information afin d’en étudier leur impact (contribution) dans la prise de décision d’un juge. L'objectif est d’analyser des décisions similaires, de mettre en évidence les informations aléatoires et déterministes dans un corpus de décisions et de quantifier leur importance dans le processus de jugement.

Les juristes ont toujours effectué des prédictions sur le traitement judiciaire qui pouvait être apporté à une affaire. Ces prédictions étaient souvent fondées sur l'expérience, et donc de nature empirique. En offrant une puissance de calcul très importante, l'intelligence artificielle fournit de nouvelles perspectives en matière de prédiction judiciaire. L'objectif de cette étude est d'analyser la possibilité de la prédiction judiciaire et d'envisager les incidences de son utilisation tant sur l'office du juge que sur les professionnels de justice. En effet, de nombreux détracteurs précisent que la prédiction judiciaire algorithmique serait une ineptie tenant le caractère unique de chaque litige tranché par les juges. Pour les détracteurs, l'aléa judiciaire constitue un obstacle insurmontable à cette prédiction. Pourtant la prédiction judiciaire, empirique ou algorithmique, repose sur cet aléa. Même si l'aléa est un perturbateur de cette prédiction, la notion familière de cas permet de contourner cet obstacle qui ne s'avère, en réalité, pas insurmontable. La notion de similitude existe en droit et le principe d'égalité des citoyens devant la justice prescrit un traitement judiciaire identique des espèces juridiquement identiques ou semblables. La modélisation algorithmique des cas en vue d'une prédiction judiciaire est donc possible même si chaque technique informatique, existante à ce jour, présente ses limites. Nonobstant, la technique la plus récente des algorithmes auto-apprenant, dit de machine learning, offre à ce jour des résultats prometteurs. Dès lors la question des incidences de l'utilisation des prédictions judiciaires par les juges et les auxiliaires de justice se pose. Seront étudiées les principales critiques dirigées à l'encontre de l'utilisation des applications prédictives : l'effet performatif des algorithmes, le profilage des magistrats, la "déshumanisation" de la justice et l'ubérisation des services juridiques par le prisme de la promotion des modes alternatifs de règlement des conflits et des conséquences sur la profession d'avocat.

Une jurisprudence est un corpus de décisions judiciaires représentant la manière dont sont interprétées les lois pour résoudre un contentieux. Elle est indispensable pour les juristes qui l'analysent pour comprendre et anticiper la prise de décision des juges. Son analyse exhaustive est difficile manuellement du fait de son immense volume et de la nature non-structurée des documents. L'estimation du risque judiciaire par des particuliers est ainsi impossible car ils sont en outre confrontés à la complexité du système et du langage judiciaire. L'automatisation de l'analyse des décisions permet de retrouver exhaustivement des connaissances pertinentes pour structurer la jurisprudence à des fins d'analyses descriptives et prédictives. Afin de rendre la compréhension d'une jurisprudence exhaustive et plus accessible, cette thèse aborde l'automatisation de tâches importantes pour l'analyse métier des décisions judiciaires. En premier, est étudiée l'application de modèles probabilistes d'étiquetage de séquences pour la détection des sections qui structurent les décisions de justice, d'entités juridiques, et de citations de lois. Ensuite, l'identification des demandes des parties est étudiée. L'approche proposée pour la reconnaissance des quanta demandés et accordés exploite la proximité entre les sommes d'argent et des termes-clés appris automatiquement. Nous montrons par ailleurs que le sens du résultat des juges est identifiable soit à partir de termes-clés prédéfinis soit par une classification des décisions. Enfin, pour une catégorie donnée de demandes, les situations ou circonstances factuelles où sont formulées ces demandes sont découvertes par regroupement non supervisé des décisions. A cet effet, une méthode d'apprentissage d'une distance de similarité est proposée et comparée à des distances établies. Cette thèse discute des résultats expérimentaux obtenus sur des données réelles annotées manuellement. Le mémoire propose pour finir une démonstration d'applications à l'analyse descriptive d'un grand corpus de décisions judiciaires françaises.

Le contrat de distribution entité juridique dynamique, est régi au moment de sa formation par une construction légale et jurisprudentielle portant sur l'avant-contrat, et lors de son exécution par les dispositions du Code civil, du Code de commerce et des règles du droit de la concurrence. La question se pose cependant de ce qui le gouverne au-delà de son terme. Cette période particulière est nommée l'après-contrat de distribution. Peu importe la raison de son extinction, le contrat de distribution ainsi terminé, il faudra s'interroger sur la nature des règles applicables aux rapports post-contractuels entre ex-contractants. Aujourd'hui le droit commun des contrats ne suffit plus pour la liquidation du passé contractuel entre distributeur et fournisseur, un autre droit émerge influencé d'une part, par l'économie et de l'autre, par l'internationalisation du contrat de distribution impliquant l'inspiration des droits étrangers, du droit communautaire et international, mais également, des nombreux projets de réforme du droit des obligations à différents niveaux. Toutes ces réflexions permettront d'établir une approche plus pratique du régime des règles applicables à cette période complexe de l'après contrat de distribution.