人工智能研究
大语言模型学习路线图和关键技术
2024-01-05 14:45:05
学习大语言模型不可不知的关键技术的最好讲解，整理自 https://github.com/mlabonne/llm-course
LLM架构
transformer 图示讲解
gpt2 图解
3D可视化各种LLM
attention 机制讲解
LLM中的decoder策略
B站 从头构建 nanoGPT
准备指导数据集
Alpaca和Alpaca-GPT4数据集过程
medium用GPT-4合成临床问诊数据
GPT3.5来合成数据指导微调Llama2
google colab 创建微调LLM数据集
huggingface 的与LLM聊天模版
预训练模型
训练LLM可用的数据集
huggingface从头预训练GPT-2
TinyLlama从头训练LLama模型
huggingface快速微调DistilGPT-2
大语言模型中的scaling laws
BLOOM 模型构建工程要点
meta训练175B参数模型详细日志
llm360 开源LLM框架
监督微调
Lora low-rank adapters论文
QLora 量化权重高效训练LLM
axolotl 开源的LLM微调工具
deepspeed多GPU多节点微调LLM
微调LLM指南
Lora实践以及如何选取参数
手把手教你如何微调Llama2
初学者的LLM微调手册
训练因果LLM的最佳实践
人类反馈的强化学习
RLHF为何能提升LLM性能
PPO 奖励函数预测文本的人类评分
PPO算法 知乎原文翻译总结
DPO使用引用模型预测人类评分
DPO算法 知乎翻译总结
RHLF奖励模型训练、强化微调
StackLLaMA:用 RLHF 训练 LLaMA
使用 DPO 微调 Llama 2
RLHF和其他替代方案
模型评估
EleutherAI LLM评估框架
huggingface LLM Leaderboard
生物医疗问答LLM排名
google BIG-bench LLM评估指标
评估LLM常用的PPL指标
BLEU评分及其使用案例
LLM 评估调查报告
聊天机器人LLM排名
量化
llama.cpp LLaMA量化框架
GPTQ 量化技术 arxiv论文
exllamav2 本地做LLM推理的库
使用ExLlamaV2库量化Mistral模型
使用GGUF和llama.cpp量化llama
理解(AWQ)量化技术
推理加速
Fast Transformer Decoding MQA
google GQA
transformers位置编码RoFormer
AliBi: 线性bias的attention
YaRN: LLM的高效上下文窗口拓展
huggingface如何在GPU加速推理
huggingface优化LLM内存和速度
推理解码,低延迟文本生成新方向
eleuther ai RoPE拓展
LLM中拓展上下文的技术总结
评论
暂无评论，快来发表第一条评论吧