EPISODE · Sep 16, 2023 · 1H 55M
Tuto IA : LLamasté, ChatGPT sur ton PC
from Tech Café · host Guillaume Vendé
On vous explique comment faire tourner votre propre ChatGPT sur votre propre ordinateur, de la méthode la plus accessible à la méthode la plus avancée. ❤️ Patreon 💬 Discord 💻 techcafe.fr Niveau bébé Un chatbot sur son PC Pourquoi faire ? La science ! L’innovation ! Mais surtout le fun. LLM ça : C’est quoi un modèle de langage ? Section kézako : tokens, contexte, vecteurs et samplers. Niveau facile : les logiciels qui font tout (ou presque) Faraday.dev et LM Studio. Matériel : ai-je tout l’équipement pour prendre soin de mon LLama ? Niveau bambin GGML et GPTQ : du JPEG pour les IA ? C’est flou… Que choisir ? Un 34b en Q3_K_S ou un 13b en Q4_K_M ? Bonne question ! Niveau moyen : KoboldCpp et l’embarras du choix des IA… Les samplers en détails : top_k, top_p, tfs, mirostat et on en passe (rassurez-vous). Niveau barbu Niveau difficile : Oobabooga, lora et plugins, llamacpp et ses grammaires. Sampling spéculatif : de l’art de gagner du temps en travaillant pour rien. PrivateGPT, et pourquoi je ne discuterais pas avec mes PDF ? Odyssée de la barre d’espace : avec Open-interpreter, met Hal 9000 dans ton PC. Llama, des licences peu poétiques, il y a aussi les MPT, Openllama, Falcon, etc. Liens bonus Quelques liens pour se tenir au courant: Tech Café 😝 r/localllama r/oobabooga r/deeplearning Et deux chaînes YouTube. Les modèles “chatGPT” valeurs sûres : llama2chat, Vicuna1.5, NousHermes-llama2. Le modèle “fine-tuné” en français : Vigogne-2. Les modèles 18+ et waifu friendly : Mythomax-L2, Pygmalion2. Les modèles qui codent : codellama-instruct, wizardlm-codellama. À retrouver dans la taille et la saveur de votre choix grâce à TheBloke (Tim Jobbins). Et pour tester le GROS Llama et le TRES GROS Falcon gratuit… Participants Une émission préparée par Guillaume Poggiaspalla Présenté par Guillaume Vendé Hébergé par Audiomeans. Visitez audiomeans.fr/politique-de-confidentialite pour plus d'informations.
What this episode covers
On vous explique comment faire tourner votre propre ChatGPT sur votre propre ordinateur, de la méthode la plus accessible à la méthode la plus avancée. ❤️ Patreon 💬 Discord 💻 techcafe.fr Niveau bébé - Un chatbot sur son PC Pourquoi faire ? La science ! L’innovation ! Mais surtout le fun. - LLM ça : C’est quoi un modèle de langage ? - Section kézako : tokens, contexte, vecteurs et samplers. - Niveau facile : les logiciels qui font tout (ou presque) Faraday.dev et LM Studio. - Matériel : ai-je tout l’équipement pour prendre soin de mon LLama ? Niveau bambin - GGML et GPTQ : du JPEG pour les IA ? C’est flou… - Que choisir ? Un 34b en Q3_K_S ou un 13b en Q4_K_M ? Bonne question ! - Niveau moyen : KoboldCpp et l’embarras du choix des IA… - Les samplers en détails : top_k, top_p, tfs, mirostat et on en passe (rassurez-vous). Niveau barbu - Niveau difficile : Oobabooga, lora et plugins, llamacpp et ses grammaires. - Sampling spéculatif : de l’art de gagner du temps en travaillant pour rien. - PrivateGPT, et pourquoi je ne discuterais pas avec mes PDF ? - Odyssée de la barre d’espace : avec Open-interpreter, met Hal 9000 dans ton PC. - Llama, des licences peu poétiques, il y a aussi les MPT, Openllama, Falcon, etc. Liens bonus - Quelques liens pour se tenir au courant: - Tech Café 😝 - r/localllama - r/oobabooga - r/deeplearning - Et deux chaînes YouTube. - Les modèles “chatGPT” valeurs sûres : llama2chat, Vicuna1.5, NousHermes-llama2. - Le modèle “fine-tuné” en français : Vigogne-2. - Les modèles 18+ et waifu friendly : Mythomax-L2, Pygmalion2. - Les modèles qui codent : codellama-instruct, wizardlm-codellama. - À retrouver dans la taille et la saveur de votre choix grâce à TheBloke (Tim Jobbins). - Et pour tester le GROS Llama et le TRES GROS Falcon gratuit… Participants - Une émission préparée par Guillaume Poggiaspalla - Présenté par Guillaume Vendé Hébergé par Audiomeans. Visitez audiomeans.fr/politique-de-confidentialite pour plus d'informations.
NOW PLAYING
Tuto IA : LLamasté, ChatGPT sur ton PC
No transcript for this episode yet
Similar Episodes
Feb 1, 2025 ·168m
Aug 7, 2024 ·58m