清华大学计算机系崔鹏教授团队联合稳准智能研发的结构化数据通用大模型“极数”（LimiX）正式开源，标志着我国在结构化数据智能处理领域的技术突破与生态开放迈出关键一步。该模型能够支持分类、回归、高维表征抽取、因果推断等多达10类任务，在工业时序预测、异常数据监测、材料性能预测等场景中，性能达到甚至超越...
清华大学计算机系崔鹏教授团队联合稳准智能研发的结构化数据通用大模型“极数”（LimiX）正式开源，标志着我国在结构化数据智能处理领域的技术突破与生态开放迈出关键一步。该模型能够支持分类、回归、高维表征抽取、因果推断等多达10类任务，在工业时序预测、异常数据监测、材料性能预测等场景中，性能达到甚至超越...
Andrej Karpathy在YC AI Startup School上提出，我们已进入“软件3.0”时代，其中自然语言成为新的编程接口。他将大语言模型（LLM）比作新时代的“电力公司”和“芯片工厂”，并指出当前LLM生态类似于1960年代的操作系统。Karpathy强调了LLM的“类人心理”特征...
本文通过九张图详细解释了AI Agent、LLM（大型语言模型）和RAG（Retrieval-Augmented Generation）的工作原理。AI Agent能够理解用户需求并提供帮助，LLM通过大量数据训练生成文本，而RAG结合检索和生成技术，提高信息检索的准确性和效率。这些技术的发展推动了...
本文通过九张图详细解释了AI Agent、LLM（大型语言模型）和RAG（检索增强生成）的工作原理。内容包括Transformer与LLM中的混合专家（MoE）结构、微调LLM的五种方法、RAG与传统RAG的对比、五种常见的Agentic AI设计模式以及RAG的五种分块方法。这些技术原理和工作流程...
本文是《从零开始的大语言模型原理与实践教程》的第五章，介绍了如何动手搭建大模型LLaMA2。首先，定义了模型的超参数，包括模型大小、层数、头数等，并创建了ModelConfig类。接着，详细讲解了如何构建RMSNorm、LLaMA2 Attention和MLP模块，以及如何将这些模块组合成一个完整的...
从零开始的大语言模型原理与实践教程深入理解 LLM 核心原理，动手实现你的第一个大模型项目介绍 很多小伙伴在看完 self-llm 开源大模型食用指南 后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。于是我们决定推出《Happy-LLM》项目，旨在帮助大家深入理解大语言模型的原理和训练过程。 本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM...