Merge pull request #270 from jmorganca/update-llama-cpp

update llama.cpp

llama/ggml-alloc.c

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-alloc.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-cuda.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-metal.h

@@ -1,7 +1,7 @@
 //go:build darwin
 
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-metal.m

@@ -1,7 +1,7 @@
 //go:build darwin
 
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-metal.metal

@@ -1,7 +1,7 @@
 //go:build darwin
 
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-mpi.c

@@ -1,7 +1,7 @@
 //go:build mpi
 
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-mpi.h

@@ -1,7 +1,7 @@
 //go:build mpi
 
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-opencl.cpp

@@ -1,7 +1,7 @@
 //go:build opencl
 
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml-opencl.h

@@ -1,7 +1,7 @@
 //go:build opencl
 
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml.c

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/ggml.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/k_quants.c

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/k_quants.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/llama-util.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/llama.cpp

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *

llama/llama.go

@@ -128,11 +128,6 @@ func New(model string, opts api.Options) (*LLM, error) {
 
 	C.llama_backend_init(C.bool(llm.UseNUMA))
 
-	// TODO: GQA == 8 suggests 70B model which doesn't support metal
-	if llm.NumGQA == 8 {
-		llm.NumGPU = 0
-	}
-
 	params := C.llama_context_default_params()
 	params.seed = C.uint(llm.Seed)
 	params.n_ctx = C.int(llm.NumCtx)

llama/llama.h

@@ -1,5 +1,5 @@
 /**
- * llama.cpp - git c574bddb368424b5996cbee2ec45ec050967d404
+ * llama.cpp - git 8183159cf3def112f6d1fe94815fce70e1bffa12
  *
  * MIT License
  *