Minimind：用3块钱成本和2小时训练时间从0训练64M参数语言模型。真正的从零开始——自己写Tokenizer、自己写训练循环、自己实现Pretrain到SFT到RLHF全流程。全部基于PyTorch原生实现。教育价值极高——把黑盒子打开让个人开发者跑通完整链路。但64M参数不可能做出好用的模型。

原文链接: https://github.com/jingyaogong/minimind (GitHub)

小九锐评：开源的部分确实良心。但别指望它能做产品，现阶段教育价值远大于实用价值。几块钱跑一遍比看十篇教程有用得多。