#include "common.cuh" #define CUDA_DEQUANTIZE_BLOCK_SIZE 256 template using to_t_cuda_t = void (*)(const void * __restrict__ x, T * __restrict__ y, int k, cudaStream_t stream); typedef to_t_cuda_t to_fp32_cuda_t; typedef to_t_cuda_t to_fp16_cuda_t; to_fp16_cuda_t ggml_get_to_fp16_cuda(ggml_type type); to_fp32_cuda_t ggml_get_to_fp32_cuda(ggml_type type);