(P) Exécution de LLM local en utilisant 2 machines sur WSL via Ray et Vllm Tutoriel

Salut les gars, donc j’essayais récemment de comprendre comment exécuter plusieurs machines (enfin seulement 2 ordinateurs portables) afin d’exécuter un LLM local et je me rends compte qu’il n’y a pas beaucoup de ressources à ce sujet, surtout pour WSL. Alors, j’ai fait un article moyen à ce sujet … j’espère que vous l’aimez et si vous avez des questions, faites-le moi savoir :).

https://preview.redd.it/2t4dny6w4w3f1.png?width=574&format=png&auto=webp&s=3cb2c210a61f6287b970efc6c30b28fa1bda0386

Voici l’article

https://medium.com/@lwyeong/running-llms-using-2–laptops-with-wsl-over-wifi- e7a6d771cf46