ggml : sync llama.cpp (AVX improvements)

ggml : fix Q4_3 cuBLAS + fix quantize_row_q4_2()

examples : refactor quantization tools

examples : utils -> common

ggml : fix ARM build

cmake : add CMake support for cuBLAS (#101)

* cmake : add cuBLAS support

* cmake : fix cuBLAS build

examples : add Q4_2 and Q4_3 quantization support

ggml : sync llama.cpp (Q4_3 + CUDA)

mnist : add missing header (#95)

stablelm : update README.md

minor : fix GPT-NeoX name

readme : add StableLM reference

examples : add StableLM example (#96)

* ggml : there is a bug in ggml_cpy() F32 -> F32

Cannot see why, but multi-thread does not work

* stablelm : initial implementation, but QKV seems broken

* stablelm : make it work

* stablelm : use original merged QKV matrix

* stablelm : minor

* stablelm : instructions

* stablelm : update README.md

ggml : sync llama.cpp (cuBLAS, Q4_3, bug fix, etc)

ggml : sync llama.cpp

examples : update huggingface links

ggml : sync llama.cpp

ggml : add ggml_type_name()

ggml : use posix_memalign on non-Windows env

ggml : add unary and binary map operations

ggml : avoid powf() calls in ggml_rope()

ggml : fix ARM NEON dot product types

mnist : update README

mnist : minor fixes and adjustments

examples : MNIST example for ggml (#84)

ggml : sync latest changes from llama.cpp

gpt-2 : typo fix for the Cerebras instructions (#57)

ggml : add GGML_DEFAULT_N_THREADS

gpt : fix pytorch converter text encodings (#78)

* Fixed quantization for f16 models not working - this is because the f16 tables were not initialized thus f16 to f32 conversion was failing.

* On some situations, the script fails with the error : UnicodeDecodeError: 'charmap' codec can't decode byte (byte) in position (number) : character maps to <undefined>
This is probably because the encodings are incorrect.
Explicitly specifying them as UTF-8 seems to resolve the issue and allow for correct conversion.

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : update roadmap

gpt-j : update inference to match latest llama.cpp insights

- Use F16 KV cache
- Store transposed V in the cache
- Avoid unnecessary Q copy

ggml : fix <windows.h> include

ggml : fix WASM build

whisper : sync with whisper.cpp

ggml : optimize ggml_cpy() for contiguous dst

ggml : sync with llama.cpp

- int64_t number of elements
- remove mlock
- expose quantization functions
- expose ggml_object
- add ggml_view_3d()
- multi-thread ggml_rope()
- fix ggml_cpy()
- add ggml_init_params.no_alloc
- fix ggml_mul_mat() backward

gpt : initialize f16 tables during quantization (#77)

readme : update Roadmap (add rwkv.cpp)

gpt-2 : minor update readme

gpt-2 : fix qunatize tool to quantize the "lm_head" tensor

gpt-2 : add Cerebras-GPT example

ggml : fix NEON sign types (#51)

gpt-2 : convert h5 to ggml (#35)

* Script to convert h5 to ggml adapted from gpt-j example

* Fix map tensors

* optimize

* rename headers to keep compatibility

* revert gpt-2/main.cpp

---------

Co-authored-by: Alan <redacted>
Co-authored-by: Alan <redacted>
Co-authored-by: ocordeiro <redacted>

readme : update Roadmap

ggml : 4-bit Integer quantisation + many llama.cpp improvements (#27)

* gq : attempt at n-bit quantization

* gq : add amax based method 3

* gq : progress on method 2

* gq : method 4 (AVX2)

* gq : method 4 (ARM)

* gq : method 4 (AVX2 attempt) + method 5 (no min)

* gq : method 5 (ARM)

* gpt-2 : model conversion for Q4_0 quantization

* ggml : Q4_0 quantization support (ggml_get_rows())

* gpt-2 : loading Q4_0 quantized model

* ggml : q4_0 quantization support

* ggml : q4_1 quantization support (seems to work for bigger models)

* gpt-2 : add gpt-2-quantize tool for quantizing f32 GPT-2 models

* ggml : 4-bit quantization works (only scalar for now)

* gq : add method 6 (ARM)

* ggml : vectorized mad q4_0 (ARM)

* ggml : vectorized quantize_row_q4_0 (ARM)

* ggml : simplify mad q4_0 (ARM)

* ggml : minor indentations

* gpt-j : support for 4-bit quantized model inference

* ggml : GGML_ASSERT() instead of assert() where appropriate

* gpt : avoid ggml_transpose on model tensors (new models!)

* gpt-2 : minor

* gpt-j : fix conversion for FP16 models (such as GPT-JT-6B)

* ggml : add ggml_compute_forward_rope_f16()

* gpt : fix memory usage computation

* ggml : fix ggml_is_contiguous() to take into account blck size

* whisper : add whisper-qunatize tool

* whisper : add support for quantized models

* whisper : mem usage based on model format type

* gpt : seems not worth to use FP16 for KV cache

* gpt : support quantisation of f16 models files

* ggml : fixes for rpi4

* whisper : add Q4_1 model sizes

* ggml : add WASM SIMD for Q4_0

* utils : print quantization histograms

* ggml : sync all changes from llama.cpp and whisper.cpp

* ggml : finalize the Q4_1 quantization for ARM_NEON

ggml : make it work on Windows (#46)

tests : add test-blas0

Fix CMake indentation

add OpenBLAS detection and modify tests codes (#40)

* fix indents and commands for Haiku, and add OpenBLAS detection in src/CMakeLists.txt

* add system detection and add OpenBLAS detection

* change loop number by environment variable GGML_NLOOP or command line option

* change fmadd codes on no FMA support system

* change n_threads by environment variable GGML_NTHREADS or command line option

---------

Co-authored-by: Georgi Gerganov <redacted>

CMakeLists: Fix Haiku CPU detection (#39)

Add pipe input for prompt on gpt examples (#38)

Enable prompt input through pipe, instead of using -p option.
This makes easier to give longer and multiple lines for the prompt.

Test:
 $ echo "This is an example" > prompt.txt
 $ cat prompt.txt | ./bin/gpt-j -m models/gpt-j-6B/ggml-model.bin
 $ cat promot.txt | ./bin/gpt-2 -m models/gpt-2-117M/ggml-model.bin

Note that -p option and no -p specified case are kept.
 $ ./bin/gpt-j -m models/gpt-j-6B/ggml-model.bin -p "This is an example"
 $ ./bin/gpt-j -m models/gpt-j-6B/ggml-model.bin
 $ ./bin/gpt-2 -m models/gpt-2-117M/ggml-model.bin -p "This is an example"
 $ ./bin/gpt-2 -m models/gpt-2-117M/ggml-model.bin

cmake : update CMakeLists.txt to add correct flags (#26)

* modify src/CMakeLists.txt from whisper.cpp

* cmake : remove OpenBLAS stuff

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : update Roadmap

readme : add Roadmap section

sync : latest whisper.cpp

tests : fix cblas_sgemm call

tests : add SVD experiments

sync : latest whisper.cpp (scratch buffers in ggml)

Update README.md

cmake : configure CMAKE_C_FLAGS and target_link_libraries for MSVC (#15)

gpt : fix sampling to use the temperature (close #16)

ggml : sync latest whisper.cpp

gpt-2 : fix broken prompt due to recent experiments

No idea why I commited that!?

ggml : sync latest whisper.cpp

cmake : disable warnings about unused functions

ggml : bugfix in new soft max computation

tests : change test2 eps

ggml : sync with latest whisper.cpp

tests : some more quantization experiments

sync : forgot to sync ggml.h

sync : latest changes from whisper.cpp

tests : wip quantized matrix multiplication method 2

tests : minor fixes for x86

tests : experiments with n-bit quantized matrix multiplication

sync : latest changes from whisper.cpp

gpt-2 : experimenting with attention mask

gpt-2 : fix off-by-one error in batching logic

examples : redirect download scripts to HF

gpt : add support for gpt-jt + fix unicode support

ggml : sync with latest code from whisper.cpp

sync : latest changes from whisper.cpp

- Documentation
- whisper : token-level timestamps
- ggml : Windows build fixes
- etc.

Update README.md

sync : latest changes from whisper.cpp

whisper : fix timestamp sampling

sync : whisper.cpp

- Add MSVC header
- FP16 GELU
- C interface fixes (no unions)
- Minor CMake updates

sync : whisper.cpp

Minor fixes

Improve mul_mat performance for big matrices using Accelerate framework

Also:

- Speedup GELU operator via F16 cast
- Multi-thread NORM operator
- Disable FLASH_FF in whisper example

Performance tests - trying to optimize mul_mat

sync : whisper.cpp

whisper : sync with whisper.cpp

whisper : various improvements

whisper : add C-style API

whisper : various fixes

whisper : various updates and improvements

Adding Whisper inference example

Update README.md + minor stuff

- Changed default threads to 4
- Added GGML_PERF for enabling runtime performance timings

Update README.md

Initial release