JucanaYu’s Blog
首页
关于我
友链
JucanaYu
文章
58
分类
0
标签
11
首页
关于我
友链
Lazy loaded image
🗒️在大模型训练过程中一些超参数的含义
发布于: 2025-1-10
最后更新: 2025-1-10
次查看
大模型
目录
0%
一、 前言二、 超参数的作用三、 常见的大模型以及参数① 学习率(learning rate)② 批次大小(batch size)③ 训练轮数(epochs)④ 最大梯度范数什么是梯度?⑤ 计算类型⑥ 梯度累加⑦ 截断长度⑧ 预热步数(warmup)⑨ 学习率调节器(LR schedule)
JucanaYu
JucanaYu
吃饭干饭,干饭吃饭
文章
58
分类
0
标签
11
最新发布
Python练习-add
Python练习-add
2026-10-4
Python练习-对字典进行赋值
Python练习-对字典进行赋值
2026-5-21
Python练习-判断一个空列表和最长的连续序列
Python练习-判断一个空列表和最长的连续序列
2026-5-21
vi/vim如何进行多行的添加、删除、替换
vi/vim如何进行多行的添加、删除、替换
2025-6-16
使用ollama+ragflow构建医疗助手大模型demo
使用ollama+ragflow构建医疗助手大模型demo
2025-6-11
Pytorch中的TensorBoard如何使用
Pytorch中的TensorBoard如何使用
2025-5-8
目录
0%
一、 前言二、 超参数的作用三、 常见的大模型以及参数① 学习率(learning rate)② 批次大小(batch size)③ 训练轮数(epochs)④ 最大梯度范数什么是梯度?⑤ 计算类型⑥ 梯度累加⑦ 截断长度⑧ 预热步数(warmup)⑨ 学习率调节器(LR schedule)
2023-2026JucanaYu.

JucanaYu’s Blog | 吃饭干饭,干饭吃饭

Powered byNotionNext 4.10.10.