在Tesla v100s中使用 docker_openai_api.sh 启动docker后 报错：RuntimeError: FlashAttention only supports Ampere GPUs or newer.

[qurikuduo]

修改docker/docker_openai_api.sh 中模型的本地路径。
chmod +x docker_openai_api.sh
./docker_openai_api.sh
等待一段时间，模型加载完成一切正常后。
尝试访问接口，报错：
RuntimeError: FlashAttention only supports Ampere GPUs or newer.

[qurikuduo]

解决办法：
登录容器，卸载flash-attn，具体步骤：

docker exec -it qwen /bin/bash
pip uninstall flash-attn
exit
重启容器：
docker stop qwen
docker start qwen
docker logs -f qwen