ninetoothed 项目整理

ninetoothed 是搭建在 Triton 上的 DSL,相当于是在 Triton 上再搭了一层抽象层.这篇文章简单分析一下 ninetoothed

Rust STL (2): Vector

Rust 内置库 STL 提供的动态数组

Rust STL (1): HashMap

Rust 内置标准库中的哈希表

Rust Trait (2): From, Into

与 Type Conversion 相关的 trait

Rust Trait (1): AsRef, AsMut

AsRef<T> 是一个通用的 Trait,用于从某种类型“借用”一个引用,U: AsRef<T> 表示 U 类型可以转换成 &T.例如,AsRef<str> 可以接收 str, String 类型,并转换...

LLM Inference (1): Chat Server 与流式输出

以 llaisys 项目为例,简单展开一下如何实现推理系统的应用层组件 —— Chat Server.我们一点一点展开推理系统的这些组件该怎么实现

gflags 简易指南:C++ 命令行参数解析库

模型训练框架:Model Checkpoints

做 InfiniTrain 项目时的笔记,这篇笔记是 Checkpoint 相关的方向

PyTorch 中的 AutoGrad 机制

Activation Checkpointing

12345612