Comment une IA apprend elle?

Où une IA trouve-t-elle tout ce qu'elle sait ? Dans cet épisode, vous découvrirez qu'elle a lu l'équivalent de deux cent mille ans de lecture, d'où viennent ces textes, qui les choisit, ce qui se passe quand il n'y en a plus assez, et pourquoi tout cela explique ses forces comme ses angles morts. Sources : - Données d'entraînement de Llama 3, Meta : https://ai.meta.com/blog/meta-llama-3/ - Common Crawl, la collecte du web : https://commoncrawl.org/overview - Epoch AI, « Will we run out of data? », 2024 : https://epoch.ai/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data - Phi-1, Microsoft, 2023 : https://arxiv.org/abs/2306.11644 - Shumailov et al., « AI models collapse when trained on recursively generated data », Nature, juillet 2024 : https://www.nature.com/articles/s41586-024-07566-y - OLMo, un modèle publié avec toutes ses données, Ai2 : https://allenai.org/olmo - AI Act, article 53, l'obligation de publier un résumé des données d'entraînement : https://artificialintelligenceact.eu/article/53/