Skip to content

LLM inference in C/C++

C++ ggml

HIP: fix template skip for DKQ > 256 mfma kernels (#29559)

uvosc2a9e1606807
diff --git a/ggml/src/ggml-cuda/fattn-mma-f16.cuh b/ggml/src/ggml-cuda/fattn-mma-f16.cuh
index fa0d347afb..083d3228ab 100644
--- a/ggml/src/ggml-cuda/fattn-mma-f16.cuh
+++ b/ggml/src/ggml-cuda/fattn-mma-f16.cuh
@@ -1875,7 +1875,7 @@ static __global__ void flash_attn_ext_f16(
#endif // defined(AMD_WMMA_AVAILABLE)
#if defined(AMD_MFMA_AVAILABLE)
- if (ncols1*ncols2 < 16 || (DKQ > 256 && ncols1*ncols2 < 64)) {
+ if (ncols1*ncols2 < 16 || (DKQ > 256 && ncols1*ncols2 < 32)) {
NO_DEVICE_CODE;
return;
}