LLM inference in C/C++
C++ ggml
HIP: fix template skip for DKQ > 256 mfma kernels (#29559)
uvosc2a9e1606807
diff --git a/ggml/src/ggml-cuda/fattn-mma-f16.cuh b/ggml/src/ggml-cuda/fattn-mma-f16.cuhindex fa0d347afb..083d3228ab 100644--- a/ggml/src/ggml-cuda/fattn-mma-f16.cuh+++ b/ggml/src/ggml-cuda/fattn-mma-f16.cuh@@ -1875,7 +1875,7 @@ static __global__ void flash_attn_ext_f16(#endif // defined(AMD_WMMA_AVAILABLE)#if defined(AMD_MFMA_AVAILABLE)- if (ncols1*ncols2 < 16 || (DKQ > 256 && ncols1*ncols2 < 64)) {+ if (ncols1*ncols2 < 16 || (DKQ > 256 && ncols1*ncols2 < 32)) {NO_DEVICE_CODE;return;}