flash-attention总是安装失败

大家有时候在执行下面命令安装flash-attention的时候经常会报错pip install flash-attn --no-build-isolation遇到这种情况可以从源码进行安装git clone https://github.com/Dao-AILab/flash-attention.git cd flash-attention # RTX 4090的话就是8.9 export TORCH_CUDA_ARCH_LIST8.9 rm -rf build flash_attn.egg-info dist export TMPDIR$PWD/tmp mkdir -p $TMPDIR git checkout v2.5.7 # 这个过程会比较久10minutes左右 pip install --no-build-isolation -e .# 安装fused_mlp_lib # 在flash-attention目录下 cd csrc/fused_dense_lib pip install --no-build-isolation .# 安装layer_form # 在flash-attention目录下 cd csrc/layer_norm pip install --no-build-isolation . # 这个编译比较慢哈最后应该会成功哒。