刚刚，Andrej Karpathy 发布了一个新项目：Nanochat。与之前仅包含预训练的 Nanogpt 不同，Nanochat 是一个从一开始就用最少的代码构建的全栈 chatgpt 克隆训练/推理管道。它与具有最小依赖性的单个基本代码集成。 Karpathy表示，用户只需要启动一台云GPU机器，运行一个脚本，4个小时后，他们就可以在类似于ChatGPT的Web界面中与他们训练有素的LLM交谈。项目代码完整大小约为 8000 行，涵盖了以下完整流程： 训练分词器：使用新的 rust 实现预训练：预训练一个 Fineweb LLM 变压器，并检查许多指标上的主要得分 中间训练：在由口香糖辅助的对话中进行训练，在世界问题中使用 Smoltalk SFT 的工具（管理精细安排）：在知识中 问题世界 (arc -e/c.MMLU)、数学 (GSM8K) 和代码 (Humaneval)RL（强化学习）：可选使用“GRPO”预填充/解码和工具使用（在轻量级沙子上调用 Python 解释器） Webui 类似于 ChatGPT 生成成绩单：写一个 Markdown 格式的 Card 报告来总结和游戏化 carpathy 的整个成本和性能，详细说明不同投资者下的性能模型：一点 chatgpt Clon GPT-2，约 1000 美元成本（约 41.6 训练小时）： 模型将更加相互关联，能够解决简单的数学和代码问题，并参加许多选拔测试。例如，深度为30、训练时间在24小时内的模型（其flops约等于GPT-3小125m，是GPT-3的1/1000），其标记了40多个MMLU测试点，arc-easy中70多个点，GSM8K中20多个点。 Karpathy 的目标是在一个有凝聚力的、最小的、可阅读的、可破解的和最大可分叉的仓库中包含一个完整的、强大的基线技术钳位。 Nanochat 将成为他的 Capstone 项目LLM101N 课程，他仍在开发中。他认为这个项目有潜力开发一个研究或基准工具，比如之前的Nanogpt。他还承认，该项目还远没有完成、没有集中或优化，可能还有很多东西可以轻松优化。部分，但是目前的通用框架已经足够好，可以在 GitHub 中 Blish 来完善社区。 Github 仓库地址：https://github.com/karpathy/nanochat 更详细的技术介绍：https://github.com/karpathy/nanochat/discussions/1 发布后的技术和问答细节，Karpathy 也回答了一些网友关心的问题。问：这个模型的训练架构是怎样的？ Karpathy：通常 Llama 是通常的，但也更简单，并且受到 Nanogpt 的一些修改版本的影响。我尝试为这个尺度找到一个可靠的基线：密集变压器旋转嵌入（绳索），QKnormMedding 和 UnembedW 的无位置嵌入八解分解令牌嵌入，然后使用 rele^2 激活函数 RMS 进行 NormMLP，范数线性层 (MQA) 中没有学习参数 Logit SoftCap 优化器是 Nanogpt。我要做的事情是尝试调整寻呼速率（亲爱的 Adam）（例如每个模块）以删除 Muon，但我还没有努力尝试。问：我可以用它来训练我自己的数据吗？例如，获取我所有关于概念、健康数据和其他 LLM 聊天记录的笔记，以制作一个理解我的个人聊天机器人？卡帕蒂：好问题。我认为这个存储不适合这个。您应该将这些微缩模型视为幼儿（例如幼儿园级别）的模型，没有大型模型的原始智能。如果你用自己的数据调整/训练它，你可以得到一些有趣的模仿，感觉就像你的写作风格，但内容会很糟糕。为了达到您想要的效果，您需要一个更复杂的过程： 1. 获取原始数据。 2. 生成大量合成数据并在其顶部重写（i这很棘手，并不简单，属于研究王国）。 3. 微调为最先进的开源法学硕士。 4.你可能还需要混合大量的预训练数据，以防止修复过程中丢失过多的原始智能。通常，做这项工作仍然是研究领域，并不简单。最好的非研究选择是使用像 Notebooklm 这样的工具来提供您的所有写作，它将通过 RAG（进行一代加法）处理您的数据。你的数据通过RAG进入上下文窗口，但不会影响模型的权重。因此，该模型并不是真正的“你知道”，但这可能是你可以获得的最容易获得的效果。问：这些代码中有多少是写给你的？ Karpathy：好问题，实际上是手写的（带有自动完成选项卡）。我尝试使用 Claude/Codex 的 AI 代理几次，但它们效果不佳，而且没有什么帮助，可能是因为仓库的数据分布偏差太大 特别政治家t：以上内容（如有则包括照片或视频）由“网易号”自媒体平台用户上传发布。本平台仅提供信息存储服务。 注：以上内容（包括照片和视频）由网易号用户上传发布，网易号为社交媒体平台，仅提供信息存储服务。