Déballage de l’UC San Diego Utilisation des LLM pour stimuler l’accès aux connaissances

Avec la montée en puissance des solutions commerciales d’IA, le chancelier de l’UCSD Pradeep Khosla s’est tourné vers l’équipe informatique de l’université pour explorer des alternatives innovantes. Appuyant sur les capacités du Supercomputer Center (SDSC) de l’université, qui est situé sur le campus et abrite certains des meilleurs chercheurs du terrain, son équipe a été chargée de développer un modèle de langue hébergé localement rentable qui pourrait stimuler l’efficacité du personnel. Le but était d’utiliser AI génératif Pour rationaliser les flux de travail administratifs et réduire les frictions dans l’accès aux connaissances institutionnelles, explique Brett PollakDirecteur du projet et directeur exécutif pour l’IA, les données et la transformation numérique à l’UCSD.

Lorsque l’outil était en cours de développement, l’UCSD venait de lancer une communauté de pratique, où différents membres de l’équipe qui expérimentaient avec le général AI pourraient partager et présenter leur travail. «C’est par le biais de ce groupe que nous avons trouvé une plate-forme d’orchestration open source, d’une entreprise appelée ONYX, qui nous a permis d’intégrer nos données institutionnelles via des connecteurs dans des modèles de grandes langues», explique Pollak. «Ce cas d’utilisation a permis au LLM de tirer des informations de notre base de connaissances, appelée Confluence, pour répondre aux questions du bureau du service.»

Le service de service de l’UCSD est traditionnellement composé d’étudiants qui suivent une formation approfondie pour aider aux requêtes des utilisateurs. Mais sans surprise, pouvoir répondre à chaque question en temps réel était impossible. «En connectant notre base de connaissances avec de grands modèles de langue, nos étudiants ont pu mieux servir les clients», ajoute-t-il.

Développement de Tritongpt

Ce fut l’inspiration pour étendre leur utilisation de LLMS à d’autres référentiels de connaissances, et ce qui est finalement devenu Tritongpt, une collection d’assistants d’IA spécifiques à l’UCSD capables de fournir des informations sur un large éventail de sujets.

Développement de Tritongpt, qui a valu UCSD Prix du CIO 100 Cette année, a commencé en juin 2023 et un pilote a été lancé avec environ 400 employés administratifs en octobre. Sur la base des commentaires des utilisateurs, ils ont décidé de déployer un cours d’essentiel de l’IA pour s’assurer que tout le monde avait une littératie de base de l’IA et pourrait faire un usage approprié de Tritongpt lorsqu’il a officiellement été lancé au printemps 2024.

«Lorsque les gens ont commencé à l’utiliser, ils l’ont traité comme un moteur de recherche», dit-il. C’est pourquoi la formation était si importante pour enseigner aux gens à inviter et à poser des questions de la même manière que si vous discutiez avec une personne ordinaire », explique Pollak. Tritongpt incorpore une assistance générale d’IA et des assistants plus personnalisés qui peuvent aider avec des choses comme la rédaction de descriptions d’emplois, par exemple, ce qui, ajoute-t-il, était un point de douleur majeur pour les gestionnaires d’embauche.

Un autre cas d’utilisation précieux a vu Tritongpt utilisé pour accélérer les examens des contrats. «En tant qu’institution, nous devons signer des accords de non-divulgation en fonction de la recherche que nous faisons pour les entités extérieures, comme d’autres institutions ou des tiers», ajoute-t-il. «Le processus de lecture et de révision de chaque contrat prend exceptionnellement beaucoup de temps, mais en intégrant l’IA dans ce processus, l’UCSD a réduit le nombre d’heures passées en revue de contrat de 60%.»

Une solution en constante évolution

Alors que la plate-forme n’était à l’origine que par les modèles LLAMA de Meta, Pollak et son équipe ont rapidement réalisé la valeur d’incorporer d’autres modèles commerciaux dans Tritongpt. «Au fil du temps, nous avons constaté que les gens se sont habitués à travailler avec différentes solutions commerciales», poursuit-il. «Parce que nous voulons que nos données d’entreprise restent au sein de l’UCSD, nous savions que si nous voulions amener les gens à utiliser notre solution, nous devions leur donner le choix de basculer entre différents modèles via un API. « 

Il s’agit de trouver des moyens de travailler plus intelligents, en particulier dans le climat budgétaire actuel, qui oblige les universités à travers le pays à réduire les dépenses et, dans certains cas, même licencier du personnel. Une façon d’augmenter l’efficacité globale consiste à s’associer avec des experts pour identifier les cas d’utilisation pour l’automatisation et aider différents départements à rationaliser leurs processus. «Malheureusement, certains craignent de faire venir ces outils parce qu’ils craignent d’être remplacés par la technologie, c’est pourquoi nous avons dû faire beaucoup d’éducation autour de ce que nous essayions de réaliser», explique Pollak. « Lentement, les gens se rendent compte qu’ils devront s’adapter s’ils ne veulent pas être laissés pour compte. »

Trouver de nouveaux cas d’utilisation

Tritongpt est maintenant entre 38 000 professeurs et employés de l’université. Ils ont également ouvert la plate-forme à d’autres universités, notamment la San Diego State University, le California State University System Office, UC Berkeley et le San Diego Community College District, pour étendre l’accès aux étudiants de la région de San Diego.

«En ce moment, nous sommes sur le point de donner aux étudiants l’accès et de déployer une aide orientée vers les étudiants», explique Pollak. «Nous pilotons déjà cela avec une douzaine de professeurs signés pour utiliser des robots pédagogiques qui agiraient essentiellement comme assistants d’enseignement virtuels.» Et à mesure que les gens s’habituent à utiliser des outils d’IA, il espère démocratiser la capacité de créer des assistants et des agents dans le système. «Nous voulons permettre aux utilisateurs via aucun outil de code pour incorporer leur propre contenu ou contexte local pour créer des assistants sur mesure basés sur des cas d’utilisation individuels, d’équipe ou de département spécifiques», ajoute-t-il.