Skip to content

Release: 新推了一门自制大模型推理框架课程,助力秋招

Compare
Choose a tag to compare
@zjhellofss zjhellofss released this 05 Sep 17:06
· 10 commits to main since this release

新推了一门自制大模型推理框架课程
课程链接:动手自制大模型推理框架开课了

  1. 一个月,手把手教你用C++和Cuda打造高性能大模型推理框架!来自一线芯片企业的专业开发者,拥有多年C++项目设计与开发经验,其开发的免费课程曾在C++项目榜单上名列前茅,GitHub全站排名前120,今年秋招季更是成为热门;
  2. 鉴于免费课程的高人气,今年我们顺势推出了进阶版——大模型推理框架课程。涵盖Cuda和CPU双后端,全面支持int8量化和LLama系列模型,让你的技术实力更上一层楼。
  3. 课程使用CUDA实现大模型推理需要的每个算子!通过精心设计的图文课件、详尽的视频讲解,我们将复杂的机制简化,让你轻松掌握这一关键技术。别再错过,立即加入,让你的简历在众多求职者中脱颖而出!

项目优势节选

  1. 优秀的项目管理形式,我们采用CMake+Git的方式管理项目,接轨大厂;
  2. 授人以渔,教大家怎么设计一个现代C++项目,同时教大家怎么用单元测试和Benchmark去测试验证自己的项目;
  3. 采用最新的C++ 20标准去写代码,学新不学旧;
  4. CPU算子和CUDA算子都有,同时学学怎么在两种设备上写算子,比比CUDA的速度优势到底有多大。

欢迎扫描下方的二维码或微信 lyrry1997 咨询课程

What's Changed

  • Update tensor.cpp by @PerrySkywalker in #54
  • 最近邻上采样算子中,在内层循环中没有必要判断目标位置的列数与行数是否小于目标图像的宽和高 by @delve-wang in #58
  • Fix typo in AdaptiveAveragePoolingLayer::check to prevent coredump in forward_average_pooling_out1x1 test by @z-learner in #59

New Contributors

Full Changelog: v0.1.1...v0.1.2 #64

#announcement