Les données sont King, mais la qualité règne en maître | par P kushagra | Mars 2025

Leçons d’un ingénieur d’IA sur les raisons pour lesquelles la préparation des données bat des modèles fantaisie à chaque fois

En tant qu’ingénieur d’IA, j’ai passé d’innombrables heures à peaufiner des modèles, à chasser les derniers algorithmes et à rêver d’une précision parfaite. Mais s’il y a une chose que j’ai apprise à la dure, c’est celle: votre modèle est aussi bon que les données que vous nourrissez. Vous pouvez avoir le filet neuronal le plus lisse du monde, mais vous faites du toast si vos données sont en désordre. Permettez-moi de vous guider à travers une bataille que j’ai combattu avec des données OCR il y a un an – c’est une histoire de chaos, de révélation et d’une leçon durement gagnée sur la qualité plutôt que la quantité.

Le cauchemar OCR

Imaginez ceci: je travaillais sur une API pour extraire des données de documents à l’aide de l’OCR (reconnaissance optique des caractères). L’objectif était simple – retirer le texte des analyses et la faire correspondre contre la vérité au sol pour mesurer la précision. J’ai formé le modèle, effectué les tests et… les résultats étaient épouvantables. La précision était loin de l’endroit où elle aurait dû l’être. Au début, j’ai blâmé le modèle. Peut-être que l’architecture n’était pas assez profonde ou que les hyperparamètres avaient besoin de réglage. Mais ensuite j’ai creusé les données – et oh boy, était-ce un désastre.

Les champs ont été mal annotés. Les étiquettes ne correspondaient pas à ce qu’ils étaient censés faire. Il y avait des valeurs manquantes, des formats incohérents et des bizarreries aléatoires partout. Un document avait «X» comme chaîne extraite, mais les données de test l’ont étiquetée «Nom X» – une petite différence dans l’œil humain, mais un gouffre béant en termes NLP. Pas étonnant que le modèle ait été confus – ce n’était pas la faute de l’algorithme; Il se noyait dans les données des ordures.

Ce moment m’a frappé comme une tonne de briques: les données sont King, mais la qualité règne en maître.

Prétraitement à la rescousse

Voici où la magie s’est produite. J’ai retroussé mes manches et je me suis mis au travail pour nettoyer le gâchis. J’ai supprimé des mots inutiles, abandonné des caractères spéciaux et coupé des espaces supplémentaires. Pour cette inadéquation «Nom X» contre «X», une étape de prétraitement rapide pour normaliser le texte – supprimer le «nom» et normaliser le format – a fait toute la différence. Soudain, la sortie du modèle correspondait à la vérité au sol, et ma précision de test a augmenté.

Ce n’était pas un modèle plus sophistiqué qui a sauvé la journée; C’était une bonne préparation de données à l’ancienne. Ce n’était pas non plus une victoire unique. Maintes et maintes fois, j’ai vu des projets de prétraitement. Dans la PNL, en particulier, de petites astuces telles que la fabrication de tout en minuscules (pour une comparaison cohérente) ou le filtrage des mots-clés non pertinents peuvent faire la différence entre un modèle qui fonctionne et un qui flops. Le prétraitement n’est pas sexy, mais c’est l’épine dorsale de chaque système d’IA réussi que j’ai construit.

La leçon que j’aurais aimé apprise plus tôt

Avec le recul, je souhaite que quelqu’un m’ait percé plus tôt: Connaissez toujours vos données. J’avais l’habitude de sauter directement dans le codage, désireux de former quelque chose de cool. Mais maintenant? Je ne touche pas à un modèle avant d’avoir piqué autour de l’ensemble de données – même si ce n’est qu’un petit échantillon. Big Data ou petit, vous devez comprendre avec quoi vous travaillez. Y a-t-il des incohérences? Des morceaux manquants? Des valeurs aberrantes étranges? Découvrez cela en premier, ou vous construisez sur des sables mouvants.

Prenez ce projet OCR. Si j’avais passé une heure à l’avance à inspecter les annotations, j’aurais économisé des jours de frustration. Leçon apprise: les données de qualité ne sont pas une bonne à have – elle n’est pas négociable.

Un réveil réel

Permettez-moi de doubler avec cet exemple OCR. Lorsque le modèle a craché «X» et que les données de test indiquent «Nom X», la métrique de précision a débarqué. Dans la PNL, chaque personnage compte et ce décalage était une défaillance flagrante. Mais une fois que j’ai prétraité les données de test – ont dépouillé le «nom», tué l’espace – les cordes s’alignaient parfaitement. Le modèle n’avait pas échoué; les données avaient. C’est une petite histoire, mais c’est un microcosme de ce que je vois tout le temps: les mauvaises données tuent, les bonnes données gagnent.

Mon conseil à toi

Si vous êtes un débutant AI ou même un pro chevronné, voici mes deux cents: ne sautez pas l’étape de données. Avant de faire quoi que ce soit, passez par votre ensemble de données. Si c’est énorme, prenez un échantillon – il suffit de le faire comprendre. Sachez ce qu’il y a là-dedans, repérez les bizarreries, puis décidez de ce dont il a besoin. (Spoiler: il n’a pas toujours besoin de beaucoup, mais vous ne le saurez pas tant que vous n’aurez pas regardé.)

Et si vous travaillez avec des images au lieu du texte? Même affaire. Vérifiez la qualité – ne vous entraînez pas sur des analyses haute résolution et testez les miniatures floues, ou votre modèle s’écrasera et brûlera. Jetez également un œil aux canaux de couleur – RVB, BGR, niveaux de gris? Mélangez-les et vous demandez des ennuis. Connaissez vos données, préparez-les correctement et le reste se met en place.

Qualité sur tout

Je vous laisse avec ceci: dans l’IA, nous obsédons des modèles – des GPU plus rapides, des réseaux plus profonds, des cadres plus brillants. Mais rien de tout cela n’a d’importance si vos données sont les ordures. Il y a un an, ce désordre d’OCR m’a appris à arrêter de chasser la perfection dans le code et à commencer à le poursuivre dans mes ensembles de données. Les données peuvent être roies, mais la qualité? C’est le vrai souverain. La prochaine fois que vous êtes coincé, ne modifiez pas le modèle – vérifiez l’entrée. C’est là que les vraies victoires se cachent.