L’IA générative trouve enfin son sweet spot, explique le scientifique du chef de Databricks IA

Si vous supprimez tous les mots à la mode Intelligence artificielle d’entreprise, tel que « AI agentique«La réalité est que les entreprises apprennent ce qui fonctionne dans la pratique lorsqu’elles expérimentent la technologie, selon les outils de données géants de données géantes.

Aussi: 10 raisons clés, AI est devenu courant du jour au courant – et ce qui se passe ensuite

« Nous apprenons toujours où les bons endroits sont de mettre l’IA, où vous pouvez obtenir le point idéal de l’IA pour vous aider à résoudre un problème », a déclaré le scientifique en chef de l’IA de Databricks, Jonathan Frankle, dans une récente interview que lui et moi avons eu à New York.

Un nouveau type d’analyse d’entreprise

À un niveau de base, AI génératifcomme les modèles de grandes langues, rend possible un nouveau type d’analyse d’entreprise, a déclaré Frankle. Les données non structurées, telles que les fichiers Word, les images ou les vidéos, n’avaient pas lieu dans l’analyse traditionnelle des données avant l’IA génératrice, a noté Frankle. Mais maintenant, c’est une mine d’or.

« Imaginez des tonnes et des tonnes de documents non structurés, qui sont vraiment difficiles à analyser dans un monde IA ou pré-llm pré-génératif, et soudain, vous pouvez en extraire des caractéristiques significatives », a-t-il déclaré. « Les données qui étaient inutiles dans un monde d’analyse sont désormais incroyablement précieuses ici. »

Aussi: Les données synthétiques déraillent-elles l’élan génératives de l’IA ou seront-elles la percée dont nous avons besoin?

Alors que de nombreuses personnes se fixent sur la prise en charge de l’IA génératrice qui reprend le code de programmation réel, une utilisation beaucoup plus simple serait d’analyser simplement le code informatique d’une entreprise.

« Toute la documentation de tout le code de votre entreprise » n’était « pas vraiment utile en tant que source de données en 2015, mais, en 2025, incroyablement précieuse (…) répondant à des questions sur votre code pour les développeurs. »

De même, « vous pouvez imaginer chaque journal de chat à partir d’une application de service client avec de vrais humains, en faisant des analyses de haut niveau à ce sujet. Quel est le nombre moyen d’interactions dans une conversation? Quel est le temps moyen pour résoudre un problème? Des choses qui n’auraient pas été possibles il y a dix ans. »

Le rôle des données est central dans le développement des applications génératrices d’IA, a déclaré Frankle. Frankle est venu à Databricks quand il a acheté la startup d’apprentissage automatique Il travaillait pour, Mosaicml, en 2023. Mosaicml se concentre sur l’optimisation de l’infrastructure pour l’exécution de l’IA, tandis que Databricks est l’un des principaux fournisseurs de lacs de données et de technologie pour déplacer et façonner les données.

Aussi: Les agents de l’IA ne sont pas seulement des assistants: comment ils changent l’avenir du travail aujourd’hui

« Toute la thèse pour l’acquisition était que nous avions une pièce, Databricks avait beaucoup d’autres pièces, et cela avait beaucoup plus de sens ensemble », a déclaré Frankle.

« Vous essayez de déployer un bot de service à la clientèle d’IA. De quelles données sont ce que ce bot de service client fonctionne? » Frankle a expliqué. « Cela fonctionne sur les informations des clients, cela fonctionne sur votre documentation, cela fonctionne sur vos bases de données SQL. Tout est sur Databricks. »

Des données à la structure

Avoir les données ensemble dans Databricks est le début de la création des types de nouvelles analyses que Frankle cite. Alors que LLMS Peut utiliser une pile de données non structurées, cela ne fait pas de mal de mettre au préalable les données d’une entreprise dans une sorte de structure.

« Si vous avez fait le travail à l’avance pour utiliser un LLM pour prétraiter ces données sous une sorte de forme structurée, comme SQL ou JSON, vous demandez moins de travail de la part de l’IA – vous devez toujours essayer de rendre les choses aussi faciles que possible pour l’IA car ces systèmes ne sont certainement pas infaillibles. »

Aussi: 8 étudiants et administrateurs de collège sur 10 accueillent les agents d’IA

Une étape préparatoire importante consiste à mettre les données dans ce qu’on appelle les «intérêts».

Un « modèle d’intégration » est un modèle d’IA qui est utilisé pour transformer les caractères, les mots ou les phrases en vecteur – un groupe de nombres – qui capturent une partie du contenu sémantique de ces caractères, mots ou phrases.

Vous pouvez considérer les intégres comme des scores numériques représentant la parenté des termes, tels que « pomme » à « fruit » ou « bébé » à « humain ».

Des modèles de langage simples, même relativement petits, tels que Bert de Google à partir de 2018, peuvent être utilisés pour faire des intérêts. « Vous n’avez pas besoin de modèles énormes pour obtenir de superbes intérêts », a déclaré Frankle.

De nombreux modèles d’incorporation ont été développés dans la communauté open source, a noté Frankle, en adaptant le modèle de lama de Meta Platforms via le processus connu sous le nom de fin.

Cependant, « vous devrez peut-être former un modèle d’intégration personnalisé », étant donné que ceux existants sont « construits sur des données Web », ce qui les rend très généraux.

Dans des domaines spécifiques, tels que les soins de santé, par exemple, un modèle d’intégration personnalisé peut trouver des relations entre les mots et les phrases mieux qu’un modèle d’intégration générique.

« Nous constatons que la personnalisation des modèles d’intégration peut conduire à une amélioration de la récupération de manière disproportionnée », a déclaré Frankle. « Nous pensons qu’il y a encore beaucoup de jus à extraire de les rendre (des modèles d’intégration) plus spécifiques à un domaine. »

Un modèle d’incorporation bien développé est exceptionnellement important car « ils faciliteront le travail lourd (par le modèle de grande langue) beaucoup plus facile », a-t-il déclaré.

Aussi: Votre entreprise est-elle prête à Ai? 5 façons d’éviter de prendre du retard

Plusieurs modèles d’intégration peuvent également être enchaînés, a déclaré Frankle. Cela peut permettre à un modèle d’IA utilisé dans, par exemple, la recherche de documents, de se rétrécir d’un grand groupe d’une centaine de documents à une poignée qui répond à une requête.

En plus de régler un modèle d’incorporation, la façon dont les données sont introduites dans l’incorporation est son propre domaine d’excellence. « Lorsque vous fournissez ces documents à un modèle d’incorporation, vous ne voulez généralement pas fournir l’ensemble du document d’un coup », a-t-il déclaré.

« Vous voulez souvent le lancer en morceaux », et comment le faire de manière optimale est également une question d’expérimentation et d’essai.

Frankle a ajouté que Databricks « fait des recherches sur tous ces sujets parce que, dans de nombreux cas, nous ne pensons pas que l’état de l’art est assez bon », y compris les incorporations.

Bien que beaucoup puisse être « plug and play » via Databricks, dit Frankle, « la partie la plus délicate est-il encore beaucoup d’expérimentation. Il y a beaucoup de boutons qui doivent être tournés. Devriez-vous affiner, ou ne devriez-vous pas affiner votre taille? »

La question de savoir quoi construire

Au-delà des techniques, savoir quelles applications construisent est elle-même un voyage et quelque chose d’une expédition de pêche.

« Je pense que la partie la plus difficile de l’IA a la confiance que cela fonctionnera », a déclaré Frankle. « Si vous êtes venu vers moi et m’a dit: » Voici un problème dans l’espace de santé, voici les documents que j’ai, pensez-vous que l’IA peut le faire?  » Ma réponse serait: «Découvons.» »

D’après ce que Frankle voit avec les clients, « les applications qui entrent en pratique ont tendance à rechercher des choses qui sont un peu plus ouvertes », a-t-il dit – ce qui signifie que ce que le modèle d’IA produit peut être flou, pas nécessairement spécifique. « L’IA est excellente pour produire une réponse, pas toujours excellente pour produire le Répondez « , a-t-il observé.

Aussi: Voici pourquoi vous devriez ignorer 99% des outils d’IA – et que les quatre j’utilise tous les jours

« Avec l’IA, vous pouvez faire des choses floues, vous pouvez faire de la compréhension de documents d’une manière que je ne pourrais jamais écrire un programme Python », a expliqué Frankle.

« Je cherche également des applications où il est relativement coûteux de répondre à une réponse mais relativement bon marché pour vérifier la réponse. » Un exemple est la génération automatique de notes textuelles pour un médecin des enregistrements de ses examens de patients. « Un projet de notes de patient peut être généré, ils (le médecin ou l’assistant du médecin) peuvent le vérifier, modifier quelques choses et l’appeler un jour. » C’est un moyen utile d’éliminer l’ennui, a-t-il déclaré.

À l’inverse, « les applications où vous avez besoin de la bonne réponse, et elles sont difficiles à vérifier » peuvent être quelque chose à éviter pour l’instant. Il a donné l’exemple de la rédaction d’un document juridique. « Si l’IA manque une chose, l’humain doit maintenant aller revoir l’intégralité du document pour s’assurer qu’ils n’ont rien manqué d’autre. Alors, quel était l’intérêt d’utiliser l’IA? » Frankle a observé.

D’un autre côté, il y a beaucoup de potentiel pour l’IA de faire des choses telles que prendre le travail de grognement pour les avocats et les parajuristes et, par conséquent, élargir l’accès que les gens ont aux avocats.

Aussi: Vous voulez gagner à l’ère de l’IA? Vous pouvez soit le construire ou créer votre entreprise avec

« Supposons que l’IA pourrait automatiser certaines des tâches juridiques les plus ennuyeuses qui existent? » Offert Frankle, dont les parents sont des avocats. « Si vous vouliez une IA pour vous aider à faire des recherches juridiques et à vous aider à résoudre un problème ou à vous aider à trouver du matériel pertinent – phénoménal! »

« Nous sommes encore très tôt » d’IA générative « , et donc, en quelque sorte, nous bénéficions des forces, mais nous apprenons toujours à atténuer les faiblesses. »

Le chemin d’accès aux applications AI

Au milieu de l’incertitude, Frankle est impressionné par la façon dont les clients ont rapidement traversé la courbe d’apprentissage. « Il y a deux ou trois ans, il y avait beaucoup d’explications aux clients de ce qu’était une IA générative », a-t-il noté. « Maintenant, lorsque je parle aux clients, ils utilisent des bases de données vectorielles. »

« Ces gens ont une grande intuition pour savoir où ces choses réussissent et où elles ne le sont pas », a-t-il déclaré à propos des clients de Databricks.

Étant donné qu’aucune entreprise n’a un budget illimité, Frankle a conseillé de commencer par un prototype initial, de sorte que l’investissement ne fait que procéder à la mesure où il est clair qu’une application AI apportera de la valeur.

Aussi: Même les outils d’IA premium déforment les nouvelles et fabriquent des liens – ce sont les pires

« Ce devrait être quelque chose que vous pouvez mettre ensemble en une journée en utilisant Gpt-4et une poignée de documents que vous avez déjà « , a-t-il proposé. Le développeur peut enrôler » un couple de personnes aléatoires de l’entreprise qui peut vous dire que vous êtes sur la bonne voie ici ou non.  »

Pour les managers, Frankle conseille de faire régulièrement une partie de l’exploration de l’IA génératrice.

« Les gens sont motivés », comme les scientifiques des données, a-t-il noté. « Il s’agit encore moins de l’argent et plus de simplement leur donner du temps et de dire, dans le cadre de vos responsabilités professionnelles, de prendre quelques semaines, de faire un hackathon de deux jours et d’aller voir ce que vous pouvez faire. C’est vraiment excitant pour les gens. »

La devise dans l’entreprise générative IA pourrait être, des minuscules glands poussent de puissants chênes.

Comme l’a dit Frankle, « la personne qui a ce GPU dans son sous-sol, et joue avec Llama, est en fait très sophistiquée et pourrait être l’expert générateur de l’IA de demain ».