JucanaYu’s Blog
首页
关于我
友链
文章
58
分类
0
标签
11
首页
关于我
友链
🗒️
在大模型训练过程中一些超参数的含义
发布于: 2025-1-10
最后更新: 2025-1-10
次查看
大模型
目录
0%
一、 前言
二、 超参数的作用
三、 常见的大模型以及参数
① 学习率(learning rate)
② 批次大小(batch size)
③ 训练轮数(epochs)
④ 最大梯度范数
什么是梯度?
⑤ 计算类型
⑥ 梯度累加
⑦ 截断长度
⑧ 预热步数(warmup)
⑨ 学习率调节器(LR schedule)
JucanaYu
吃饭干饭,干饭吃饭
文章
58
分类
0
标签
11
最新发布
Python练习-add
2026-10-4
Python练习-对字典进行赋值
2026-5-21
Python练习-判断一个空列表和最长的连续序列
2026-5-21
vi/vim如何进行多行的添加、删除、替换
2025-6-16
使用ollama+ragflow构建医疗助手大模型demo
2025-6-11
Pytorch中的TensorBoard如何使用
2025-5-8
目录
0%
一、 前言
二、 超参数的作用
三、 常见的大模型以及参数
① 学习率(learning rate)
② 批次大小(batch size)
③ 训练轮数(epochs)
④ 最大梯度范数
什么是梯度?
⑤ 计算类型
⑥ 梯度累加
⑦ 截断长度
⑧ 预热步数(warmup)
⑨ 学习率调节器(LR schedule)