Performance, conformité et contrôle: l’avantage sur site pour les charges de travail de l’IA

Le cloud a de nombreux avantages bien connus, notamment une évolutivité à la demande et une forte fiabilité, qui sont toutes deux des capacités idéales pour héberger des charges de travail d’IA. Cependant, selon un récent rapport du Centre de recherche sur les applications commerciales (BARC), seulement 33% des charges de travail de l’IA sont hébergées dans des nuages ​​publics. Les environnements sur site et hybrides divisent presque uniformément le reste, avec des locaux ayant les bords les plus minces (34%).(1)

Certes, le cloud peut être le bon choix pour certaines charges de travail d’IA. Si l’entreprise doit servir les utilisateurs dans des emplacements disparates à faible latence, l’infrastructure mondiale du cloud public pourrait bien servir ce cas d’utilisation. De nombreux professionnels de l’informatique préfèrent également utiliser les services d’IA pré-construits des hyperscaleurs et les modèles de grands langues car ils éliminent la complexité du déploiement, de l’échelle et de la maintenance du modèle.

Mais comme beaucoup dedans l’ont découvert, il y a aussi de nombreuses bonnes raisons Garder les charges de travail de l’IA sur les locaux. Pour commencer, les charges de travail de l’IA sont à forte intensité de ressources. Si un modèle prend plus de temps que prévu ou nécessite plusieurs itérations pour s’entraîner, le prix de l’unité de traitement graphique basé sur le cloud, qui peut coûter plus de 100 $ de l’heure, peut rapidement accumuler des dépassements massifs. De même, s’il est nécessaire de transférer de grands ensembles de données du cloud, les frais de sortie peuvent augmenter encore les coûts et le temps nécessaire pour déplacer les données peut prolonger les délais du projet. De plus, étant donné que les modèles d’IA nécessitent des ressources de calcul intenses, une faible latence du réseau peut être critique pour obtenir une inférence en temps réel et les ressources cloud partagées peuvent ne pas fournir le niveau de performances cohérentes requises.

Enfin, de nombreuses applications d’IA gèrent les informations sensibles, telles que les secrets commerciaux ou les informations personnellement identifiables qui relèvent de réglementations strictes régissant l’utilisation, la sécurité et l’emplacement des données. Assurer le niveau requis de conformité et de sécurité peut être difficile dans un cloud public, en raison du manque de contrôle sur l’infrastructure sous-jacente.

«La dynamique du marché augmente l’intérêt des acheteurs pour les solutions locales», explique Sumeet Arora, chef de produit de Teradata.

Bien sûr, la construction d’une infrastructure prête à l’AI dans les locaux n’est pas non plus une tâche simple. Un La solution sur site lui donne un contrôle complet Sur la conformité et la sécurité, mais ces tâches restent difficiles, en particulier lorsque vous effectuez des intégrations personnalisées avec plusieurs outils. De plus, les solutions locales doivent maintenir une infrastructure complexe, avec la puissance, la vitesse et la flexibilité pour soutenir les exigences élevées des charges de travail de l’IA.

Heureusement, le marché a mûri au point où des piles AI étroitement intégrées et prêtes à l’emploi sont maintenant disponibles, ce qui élimine la complexité tout en permettant la conformité, la sécurité et les performances élevées. Un bon exemple d’une telle pile pré-intégrée est L’usine Ai de Teradata, qui étend les capacités d’IA de Teradata du cloud pour les rendre disponibles dans les locaux.

«Teradata reste le leader clair dans cet environnement, avec des fondements éprouvés dans ce qui rend l’IA significatif et digne de confiance: vitesse de premier ordre, coût prévisible et intégration avec le dossier de données d’or», poursuit Arora. «L’usine Teradata AI s’appuie sur ces forces dans une seule solution pour les organisations utilisant l’infrastructure sur prémale pour prendre le contrôle, répondre aux besoins de la souveraineté et accélérer l’IA ROI.»

Cette solution fournit une intégration transparente du matériel et des logiciels, supprimant le besoin de configurations et d’intégations personnalisées. Et, parce que tout est pré-intégré, les utilisateurs n’auront pas à obtenir plusieurs couches d’approbation pour différents ensembles d’outils. En conséquence, les organisations peuvent évoluer plus rapidement les initiatives de l’IA et réduire la complexité opérationnelle.

De nombreux praticiens préfèrent les solutions sur site pour construire des cas d’utilisation de génération (RAG) (RAG) de récupération indigène et des pipelines. Les microservices Teradata AI avec Nvidia fournissent des capacités de chiffon indigènes pour l’ingestion et la récupération, l’intégration, l’intégration, le rediffusion et les garde-corps. Les utilisateurs peuvent interroger en langage naturel sur toutes les données, offrant des informations plus rapides et plus intelligentes à grande échelle. Cette solution complète permet l’exécution de l’IA évolutive et sécurisée au sein du propre centre de données de l’entreprise.

Alors que le cloud fournit l’évolutivité, l’accès mondial et les infrastructures à la demande pour les charges de travail de l’IA, de nombreuses organisations peuvent préférer des solutions locales pour un meilleur contrôle des coûts, la conformité à la sécurité et la cohérence des performances. Les piles AI intégrées peuvent faire du déploiement sur site une tâche beaucoup plus simple tout en accélérant le temps de valeur.

En savoir plus sur la façon dont l’usine AI de Teradata Peut aider votre organisation à déploier sur site.

(1) Petrie, K, Cloud, sur Prem, hybride, oh mon! Où les adoptants de l’IA hébergent leurs projets et pourquoi, Datalere, 3 avril 2025.