Mirrors/llama.cpp
1
0
Fork 0
mirror of https://github.com/ggerganov/llama.cpp.git synced 2024-12-25 05:48:47 +01:00
Code Issues Packages Projects Releases Wiki Activity

gguf : basic type checking in gguf_get_* (#3346)

Browse Source
This commit is contained in:
Cebtenzzre 2023-09-28 14:30:31 -04:00 committed by GitHub
parent ecf90b1a51
commit 2db94d98ed
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
2 changed files with 68 additions and 52 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

84
ggml.c
View File

@ -20211,78 +20211,94 @@ int gguf_find_key(const struct gguf_context * ctx, const char * key) {
return keyfound; return keyfound;
} }
const char * gguf_get_key(const struct gguf_context * ctx, int i) { const char * gguf_get_key(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].key.data; return ctx->kv[key_id].key.data;
} }
enum gguf_type gguf_get_kv_type(const struct gguf_context * ctx, int i) { enum gguf_type gguf_get_kv_type(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].type; return ctx->kv[key_id].type;
} }
enum gguf_type gguf_get_arr_type(const struct gguf_context * ctx, int i) { enum gguf_type gguf_get_arr_type(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.arr.type; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_ARRAY);
return ctx->kv[key_id].value.arr.type;
} }
const void * gguf_get_arr_data(const struct gguf_context * ctx, int i) { const void * gguf_get_arr_data(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.arr.data; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_ARRAY);
return ctx->kv[key_id].value.arr.data;
} }
const char * gguf_get_arr_str(const struct gguf_context * ctx, int key_id, int i) { const char * gguf_get_arr_str(const struct gguf_context * ctx, int key_id, int i) {
GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_ARRAY);
struct gguf_kv * kv = &ctx->kv[key_id]; struct gguf_kv * kv = &ctx->kv[key_id];
struct gguf_str * str = &((struct gguf_str *) kv->value.arr.data)[i]; struct gguf_str * str = &((struct gguf_str *) kv->value.arr.data)[i];
return str->data; return str->data;
} }
int gguf_get_arr_n(const struct gguf_context * ctx, int i) { int gguf_get_arr_n(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.arr.n; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_ARRAY);
return ctx->kv[key_id].value.arr.n;
} }
uint8_t gguf_get_val_u8(const struct gguf_context * ctx, int i) { uint8_t gguf_get_val_u8(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.uint8; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_UINT8);
return ctx->kv[key_id].value.uint8;
} }
int8_t gguf_get_val_i8(const struct gguf_context * ctx, int i) { int8_t gguf_get_val_i8(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.int8; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_INT8);
return ctx->kv[key_id].value.int8;
} }
uint16_t gguf_get_val_u16(const struct gguf_context * ctx, int i) { uint16_t gguf_get_val_u16(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.uint16; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_UINT16);
return ctx->kv[key_id].value.uint16;
} }
int16_t gguf_get_val_i16(const struct gguf_context * ctx, int i) { int16_t gguf_get_val_i16(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.int16; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_INT16);
return ctx->kv[key_id].value.int16;
} }
uint32_t gguf_get_val_u32(const struct gguf_context * ctx, int i) { uint32_t gguf_get_val_u32(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.uint32; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_UINT32);
return ctx->kv[key_id].value.uint32;
} }
int32_t gguf_get_val_i32(const struct gguf_context * ctx, int i) { int32_t gguf_get_val_i32(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.int32; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_INT32);
return ctx->kv[key_id].value.int32;
} }
float gguf_get_val_f32(const struct gguf_context * ctx, int i) { float gguf_get_val_f32(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.float32; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_FLOAT32);
return ctx->kv[key_id].value.float32;
} }
uint64_t gguf_get_val_u64(const struct gguf_context * ctx, int i) { uint64_t gguf_get_val_u64(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.uint64; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_UINT64);
return ctx->kv[key_id].value.uint64;
} }
int64_t gguf_get_val_i64(const struct gguf_context * ctx, int i) { int64_t gguf_get_val_i64(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.int64; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_INT64);
return ctx->kv[key_id].value.int64;
} }
double gguf_get_val_f64(const struct gguf_context * ctx, int i) { double gguf_get_val_f64(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.float64; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_FLOAT64);
return ctx->kv[key_id].value.float64;
} }
bool gguf_get_val_bool(const struct gguf_context * ctx, int i) { bool gguf_get_val_bool(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.bool_; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_BOOL);
return ctx->kv[key_id].value.bool_;
} }
const char * gguf_get_val_str (const struct gguf_context * ctx, int i) { const char * gguf_get_val_str(const struct gguf_context * ctx, int key_id) {
return ctx->kv[i].value.str.data; GGML_ASSERT(ctx->kv[key_id].type == GGUF_TYPE_STRING);
return ctx->kv[key_id].value.str.data;
} }
int gguf_get_n_tensors(const struct gguf_context * ctx) { int gguf_get_n_tensors(const struct gguf_context * ctx) {

36
ggml.h
View File

@ -1916,26 +1916,26 @@ extern "C" {
GGML_API int gguf_get_n_kv(const struct gguf_context * ctx); GGML_API int gguf_get_n_kv(const struct gguf_context * ctx);
GGML_API int gguf_find_key(const struct gguf_context * ctx, const char * key); GGML_API int gguf_find_key(const struct gguf_context * ctx, const char * key);
GGML_API const char * gguf_get_key (const struct gguf_context * ctx, int i); GGML_API const char * gguf_get_key (const struct gguf_context * ctx, int key_id);
GGML_API enum gguf_type gguf_get_kv_type (const struct gguf_context * ctx, int i); GGML_API enum gguf_type gguf_get_kv_type (const struct gguf_context * ctx, int key_id);
GGML_API enum gguf_type gguf_get_arr_type(const struct gguf_context * ctx, int i); GGML_API enum gguf_type gguf_get_arr_type(const struct gguf_context * ctx, int key_id);
// results are undefined if the wrong type is used for the key // will abort if the wrong type is used for the key
GGML_API uint8_t gguf_get_val_u8 (const struct gguf_context * ctx, int i); GGML_API uint8_t gguf_get_val_u8 (const struct gguf_context * ctx, int key_id);
GGML_API int8_t gguf_get_val_i8 (const struct gguf_context * ctx, int i); GGML_API int8_t gguf_get_val_i8 (const struct gguf_context * ctx, int key_id);
GGML_API uint16_t gguf_get_val_u16 (const struct gguf_context * ctx, int i); GGML_API uint16_t gguf_get_val_u16 (const struct gguf_context * ctx, int key_id);
GGML_API int16_t gguf_get_val_i16 (const struct gguf_context * ctx, int i); GGML_API int16_t gguf_get_val_i16 (const struct gguf_context * ctx, int key_id);
GGML_API uint32_t gguf_get_val_u32 (const struct gguf_context * ctx, int i); GGML_API uint32_t gguf_get_val_u32 (const struct gguf_context * ctx, int key_id);
GGML_API int32_t gguf_get_val_i32 (const struct gguf_context * ctx, int i); GGML_API int32_t gguf_get_val_i32 (const struct gguf_context * ctx, int key_id);
GGML_API float gguf_get_val_f32 (const struct gguf_context * ctx, int i); GGML_API float gguf_get_val_f32 (const struct gguf_context * ctx, int key_id);
GGML_API uint64_t gguf_get_val_u64 (const struct gguf_context * ctx, int i); GGML_API uint64_t gguf_get_val_u64 (const struct gguf_context * ctx, int key_id);
GGML_API int64_t gguf_get_val_i64 (const struct gguf_context * ctx, int i); GGML_API int64_t gguf_get_val_i64 (const struct gguf_context * ctx, int key_id);
GGML_API double gguf_get_val_f64 (const struct gguf_context * ctx, int i); GGML_API double gguf_get_val_f64 (const struct gguf_context * ctx, int key_id);
GGML_API bool gguf_get_val_bool(const struct gguf_context * ctx, int i); GGML_API bool gguf_get_val_bool(const struct gguf_context * ctx, int key_id);
GGML_API const char * gguf_get_val_str (const struct gguf_context * ctx, int i); GGML_API const char * gguf_get_val_str (const struct gguf_context * ctx, int key_id);
GGML_API int gguf_get_arr_n (const struct gguf_context * ctx, int i); GGML_API int gguf_get_arr_n (const struct gguf_context * ctx, int key_id);
GGML_API const void * gguf_get_arr_data(const struct gguf_context * ctx, int i); GGML_API const void * gguf_get_arr_data(const struct gguf_context * ctx, int key_id);
GGML_API const char * gguf_get_arr_str (const struct gguf_context * ctx, int key_id, int i); GGML_API const char * gguf_get_arr_str (const struct gguf_context * ctx, int key_id, int i);
GGML_API int gguf_get_n_tensors (const struct gguf_context * ctx); GGML_API int gguf_get_n_tensors (const struct gguf_context * ctx);