(D) quels art les meilleures pratiques pour l’utilisation de pyspark withtraires

J’utilise Pyspark pour la partie de traitement des données de ma barge de projet et l’utilisation de Pandas Dataframe sera très lente.

Mais sur mes données, je veux utiliser une partie de la méthode Sklearn Schich comme stratification sur pyspark.ml. J’ai considéré le coutting de la renommée des données Pyspark et à partir de cela en utilisant Sklearn et d’autres bibliothèques ML, mais donc à vraiment commissions et conduit à une erreur de mémoire