一起微调llama3，做自己的大模型！

随着Llama 3的发布，国内各路英雄豪杰纷纷开启了炼丹之旅。Llama-3 8b在惊人的15万亿令牌上训练，而Llama-2仅为2万亿。毋庸置疑，Llama 3目前是开源大模型中能力最强的！其跑分成绩已经赶上了GPT-4。然而，Llama3的优势不仅限于此。作为开源大模型，每个人都可以对其进行个性化的定制，这意味着相比GPT，它具有更强的定制性和安全性。另外，Llama3 8B的模型可以在内存只有8G的树莓派上运行，对于计算机资源的依赖比以往都要低，人人都可以本地部署Llama3，可应用于针对B端企业和各种场景下的自然语言处理、机器翻译、文本生成、问答系统、聊天机器人等场景。目前，我们主要通过微调（Fine-Tuning）来定制所需的模型。例如，Llama 3原生不支持中文，但我们可以通过微调让它支持中文。什么是微调（Fine-tuning） ？这是机器学习和深度学习中的一个术语。它指的是在预训练模型的基础上，使用特定任务的数据集进行额外训练的过程，目的是让模型更好地适应特定的任务或问题。通过微调，我们可以调整模型的参数，使其更精准地解决特定问题。就像一个已经非常了解世界的成年人。现在，我们需要它去学习一些更专业或更具体的知识。微调的过程，就像是对这个成年人进行一些专业培训，使其在特定领域更加精通。为了帮助大家更好的理解什么是“微调”，我前天写了一篇轻松的入门教程《Llama3微调教程：超简单，人人都可以打造属于自己的GPT！》：地址：https://mp.weixin.qq.com/s?__biz=MjM5NDIzOTg0Mw==&mid=2448257753&idx=1&sn=627c94e8b0d66bc9866ab4a42edaaa73&chksm=b29316d585e49fc312553b5efaca684af566be55237b8c4e2a1d9a472dd31f7ee74157c08163&token=1764237450&lang=zh_CN#rd就算你不懂技术也没有关系，通过这个简单的Llama 3微调案例，我们可以免费体验整个大模型微调的过程。你可以学习到AI工程师是如何进行环境配置、数据准备、模型训练、模型运行、模型保存以及本地模型使用。这对于大多数普通人来说，这是一个免费体验AI工程师工作方式的机会；如果你想转入AI行业，这也是一个很好的入门案例。你可以通过我的微信公众号“PM熊叔”浏览。另外在Shownots中，我列出了目前已经微调好的Llama3作品，大家如果有兴趣可以体验一下。愿每个人都能从中受益，开启自己的AI探索之旅！以下是一些微调的llama3的作品：llama3-Chinese-chat-8b：https://wisemodel.cn/models/shareAI/llama3-Chinese-chat-8bInstruct + 进行中的中文sft版本：https://modelscope.cn/models/baicai003/llama-3-8b-Instruct-chinese_v2/summary联通微调版本：https://www.modelscope.cn/models/UnicomAI/Unichat-llama3-Chinese/summaryOpenbuddy微调版本：https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-8b-v21.1-8k/summary破解安全限制系列（目前仅支持英文）：Unholy：https://huggingface.co/Undi95/Llama-3-Unholy-8Bneural-chat：https://hf-mirror.com/Locutusque/llama-3-neural-chat-v1-8b聊天机器人：https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8bBunny-Llama-3-8B-V(多模态图文版本)：**https://wisemodel.cn/models/BAAI/Bunny-Llama-3-8B-V我的公众号：