VastModelZOO是瀚博半导体VastAI-AIS团队维护的AI模型平台，提供了人工智能多个领域（CV、AUDIO、NLP、LLM、MLLM等）的开源模型在瀚博GPU芯片上的部署、训练示例。
VastModelZOO旨在基于瀚博半导体VastAI的硬件产品和软件SDK，展示最佳的编程实践，以达成模型的快速移植和最优性能。
为方便大家使用VastModelZOO，我们将持续增加典型模型和基础插件。
-
基于
瀚博半导体VastAI的硬件产品使用VastModelZOO前，需联系销售代表获取瀚博开发者中心版本权限 -
访问瀚博开发者中心，获取
VVI(Vastai Versatilve Inference)部署软件包
获取部署软件包后安装流程如下。
步骤 1. 安装驱动
-
查询是否安装加速卡
lspci -d:0100 |wc -l -
查询是否安装驱动
lsmod | grep -i vastai_pci -
查询驱动版本
cat /dev/vastai0_version | grep "Driver"
-
安装驱动
sudo ./vastai_driver_install_xxx.run install --setkernelhook
步骤 2. 设置加速卡参数
-
查询加速卡信息
sudo vasmi list
-
开启 DPM
sudo vasmi setconfig dpm=enable -d all
-
根据业务情况设置加速卡Bbox模式
sudo vasmi setcardmode <Card Mode> -d <Device ID> -y
Card Mode可根据
sudo vasmi setcardmode --help查询获取 -
使能日志记录等监控功能
nohup sudo valogger &
步骤 3. 部署模型运行环境（ARM/X86）
-
Build_In 后端模型运行环境部署
-
安装 VastStream
sudo ./ai-xxx.bin
-
安装 VAMC
pip install vamc-xxx.whl
-
安装 VastStreamX
- Python：
pip install vaststreamx-xxx.whl - C++：
sudo ./vaststreamx-xxx.bin
- Python：
-
安装 VastGenX（仅LLM/VLM）
pip install vastgenx-xxx.whl
-
安装 VastGenServer（仅Text2vec）
pip install vastgenserver-xxx.whl
-
-
vLLM 后端模型运行环境部署
-
安装 torch_vacc
pip install torch_vacc-xxx.whl
-
安装 vLLM_vacc
pip install vllm_vacc-xxx.whl
-
若 VLM 模型为 vLLM+Build_In 的混合部署方案，需安装 Build_In 后端模型运行环境部署中的1、2、3、4 和 vLLM 后端模型环境部署中的1、2
详细安装及使用说明可参考对应组件的文档。 其中，xxx表示版本相关信息，请根据实际情况替换。
- 检索模型列表，请访问：📚 vastai.github.io/VastModelZOO
VastModelZOO提供的模型仅供您用于非商业目的，请参考原始模型来源许可证进行使用VastModelZOO描述的数据集均为开源数据集，如您使用这些数据集，请参考原始数据集来源许可证进行使用- 如您不希望您的数据集或模型公布在
VastModelZOO上，请您提交issue，我们将尽快处理
VastModelZOO提供的模型，如原始模型有许可证描述，请以该许可证为准VastModelZOO遵循Apache 2.0许可证许可