pi.cpp: Robot Foundation Models inference in C/C++
PUBLIC如果没有精确的测量,那么优化就没有意义。
在众多的模型PR之后,我想了解两个问题:
- 这些模型在有限的算力下(200T以内),能跑在端测吗
- 如果可以,那么更大更慢的模型,是不是性能更好
为了回答这个问题,第一步我希望有一个准确的时间测量,最好,这个测量的结果,可以帮助我更好地做端测部署。
这里介绍最近做的一个工作,受llama.cpp启发,它的名字是pi.cpp:

如果没有精确的测量,那么优化就没有意义。
在众多的模型PR之后,我想了解两个问题:
为了回答这个问题,第一步我希望有一个准确的时间测量,最好,这个测量的结果,可以帮助我更好地做端测部署。
这里介绍最近做的一个工作,受llama.cpp启发,它的名字是pi.cpp:
