make : missing host optimizations in CXXFLAGS (#763)

readme : update with CMake and windows example (#748)

* README: Update with CMake and windows example

* README: update with code-review for cmake build

examples : add Miku.sh (#724)

* Add Miku.sh to examples

* Add missing line to prompt in Miku.sh

* Add --keep param to Miku.sh

* Remove '[end_of_conversation]' line from Miku.sh

No longer is necessary.

Add Accelerate/BLAS when using Swift (#765)

Windows: reactive sigint handler after each Ctrl-C (#736)

10+% performance improvement of ggml_vec_dot_q4_0 on AVX2 (#654)

* Performance improvement of AVX2 code
* Fixed problem with MSVC compiler
* Reviewer comments: removed double semicolon, deleted empty line 1962

Define non-positive temperature behavior (#720)

Remove torch GPU dependencies from the Docker.full image (#665)

By using `pip install torch --index-url https://download.pytorch.org/whl/cpu`
instead of `pip install torch` we can specify we want to install a CPU-only version
of PyTorch without any GPU dependencies. This reduces the size of the Docker image
from 7.32 GB to 1.62 GB

Add a missing step to the gpt4all instructions (#690)

`migrate-ggml-2023-03-30-pr613.py` is needed to get gpt4all running.

Added api for getting/setting the kv_cache (#685)

The api provides access methods for retrieving the current memory buffer for the kv_cache and its token number.
It also contains a method for setting the kv_cache from a memory buffer.

This makes it possible to load/save history - maybe support --cache-prompt paramater as well?

Co-authored-by: Pavol Rusnak <redacted>

ggml : change ne to int64_t (#626)

examples : add gpt4all script (#658)

llama : do not allocate KV cache for "vocab_only == true" (#682)

Fixes sanitizer CI

make : use -march=native -mtune=native on x86 (#609)

fix default params for examples/main (#697)

py: huggingface -> Hugging Face (#686)

readme: replace termux links with homepage, play store is deprecated (#680)

Show error message when -f fails

Enable -std= for cmake builds, fix warnings (#598)

Optimize AVX2 ggml_vec_dot_q4_0 (#642)

Add AVX acceleration (#617)

* ggml : add AVX quantize_row_q4_0()

* ggml : add AVX ggml_vec_dot_q4_0()

* ggml : refactor AVX part of ggml_vec_dot_q4_0()

https://github.com/ggerganov/llama.cpp/pull/617#issuecomment-1489985645

py : cleanup the code

- use f-strings where possible
- drop first param of encode/decode functions since "utf-8" is the default

drop quantize.py (now that models are using a single file)

readme : update supported models

Introduce GGML migration tool for new file format

If you deleted your old Meta LLaMA .pth files, then the
migrate-ggml-2023-03-30-pr613.py script will allow you to convert your
old ggml files into the new mmap()'able format.

See #613

Ensure --mlock works properly with mmap() support

Make loading weights 10-100x faster

This is a breaking change that's going to give you three benefits:

1. Your inference commands should load 100x faster
2. You may be able to safely load models 2x larger
3. You can run many concurrent inference processes

This was accomplished by changing the file format so we can mmap()
weights directly into memory without having to read() or copy them
thereby ensuring the kernel can make its file cache pages directly
accessible to our inference processes; and secondly, that the file
cache pages are much less likely to get evicted (which would force
loads to hit disk) because they're no longer competing with memory
pages that were needlessly created by gigabytes of standard i/o.

The new file format supports single-file models like LLaMA 7b, and
it also supports multi-file models like LLaMA 13B. Our Python tool
now merges the foo.1, foo.2, etc. files back into a single file so
that the C++ code which maps it doesn't need to reshape data every
time. That's made llama.cpp so much simpler. Much of its load code
has now been deleted.

Furthermore, this change ensures that tensors are aligned properly
on a 32-byte boundary. That opens the door to seeing if we can get
additional performance gains on some microprocessors, by using ops
that require memory alignment.

Lastly note that both POSIX and the Windows platform are supported

Fixes #91

Initial windows support (untested)

Always initialize mm_addr and mm_length in llama_model

Unmap the file in llama_free

Make mmap_file static

Fix ggml_init_params in quantize

Add mmap support for model files

cmake : properly invoke CTest (#629)

Remove unused variable (#607)

* It seems some new warning were added recently that exposed this.  I wrote the code that included this unused variable originally and it is indeed not needed.

make : fix darwin f16c flags check (#615)

...there was no check.  ported upstream from https://github.com/zanussbaum/gpt4all.cpp/pull/2 (I dont see any clean path for upstream patches)

ggml : fix NEON signs (close #620, #622)

Fix GGML_F32Cx8_STORE in AVX without F16C path (#619)

ci : re-enable AVX512 testing (Windows-MSVC) (#584)

* CI: Re-enable AVX512 testing (Windows-MSVC)

Now with 100% less base64 encoding

* plain __cpuid is enough here

ggml : init time on first ggml_init() call

llama : fix compile warnings when reading the vocab

ggml : add ARM_NEON dequantize_row_q4_1()

ggml : add ARM_NEON quantize_row_q4_1()

ggml : add ARM_NEON ggml_vec_dot_q4_1()

rename convert_ggml_to_pth.py -> convert-ggml-to-pth.py (#600)

to match filenames of other converters

Create chat-13B.bat (#592)

* Create chat-13B.bat

Same script than chat-13B.sh, but for windows users.
Tested and working on windows 10/11 v 22H2

* Apply suggestions from code review

---------

Co-authored-by: anzz1 <redacted>

readme : fix typos

readme : add GPT4All instructions (close #588)

py : add GPT4All conversion script

For now: copy-paste
Too much time for me to deduplicate the python code

llama : use the same threshold for OpenBLAS and ggml thread limiting (#577)

add example of re-act pattern (#583)

* add example of re-act pattern

* spelling...

* fixed whitespace in reverse prompt issue

Fix GCC warning about binary literal (#595)

0b10101010 -> 0xAA /* 0b10101010 */

Fix typo in llama.h (#593)

Enable Fused-Multiply-Add (FMA) and F16C/CVT16 vector extensions on MSVC (#375)

* Enable Fused-Multiply-Add (FMA) instructions on MSVC

__FMA__ macro does not exist in MSVC

* Enable F16C/CVT16 vector extensions on MSVC

__F16C__ macro does not exist in MSVC, but is implied with AVX2/AVX512

* MSVC cvt intrinsics

* Add __SSE3__ macro for MSVC too because why not

even though it's not currently used for anything when AVX is defined

CI: fix subdirectory path globbing (#546)

- Changes in subdirectories will now be detecter properly
- (Windows-MSVC) AVX512 tests temporarily disabled

llama : fix linkage with mingw (#551)

* Revert 7e53955 (#542)

Still needs to be fixed properly

* Fix linking on mingw32

ggml : add AVX2 implementation of quantize_row_q4_1 (#515)

* Add AVX2 implementation of quantize_row_q4_1

* Actually use AVX2

* Make quantize_row_q4_1 static

Co-authored-by: Georgi Gerganov <redacted>
---------

Co-authored-by: Georgi Gerganov <redacted>

py : add temporary script to convert old ggml files to newer version (#539)

Co-authored-by: Jakub Horak <redacted>

py : add capabiliy to convert from ggml back to torch or hf format for further consumption/training/finetuning (#403)

ggml : refactor quantized processing functions (#509)

* Refactor quantized processing functions

* ggml : minor

---------

Co-authored-by: Georgi Gerganov <redacted>

py : removed unused `model` variable and verified that the code functions correctly with `vocab_only` setting. Also confirmed that the code works as expected after running with reduced memory usage due to deletion of no-longer-needed variable. (#547)

ci : make ctest verbose, hopefully we see what is wrong with the sanitizer

tests : free llama context at the end of the test

all : be more strict about converting float to double (#458)

* Be more strict about converting float to double

* Test equivalence of round, SILU implementations

Test module is commented out in CMakeLists.txt because the tests may
take a long time, depending on how much the compiler optimizes.

* Fix softmax in perplexity.cpp

* all : prefer float over double where appropriate

* perplexity : add <cmath>

---------

Co-authored-by: Georgi Gerganov <redacted>

deploy : add a Package.swift for SwiftPM support (#393)

* Add a Package.swift for SwiftPM support

* Swap from exclusions to allowlist

ggml : introduce structs for the q4 data blocks (#356)

* Introduce structs for the q4 data blocks

* ggml : rename quant struct variables + fix ARM_NEON

---------

Co-authored-by: Georgi Gerganov <redacted>

gitignore : add "embedding"

Check the existence of f16_model_path_base in quantize.py (#574)

Co-authored-by: Jincheng Miao <redacted>

Fix usage of F16C intrinsics in AVX code (#563)

* Fix usage of F16C intrinsics in AVX code when F16C is not defined

main.cpp fixes, refactoring (#571)

- main: entering empty line passes back control without new input in interactive/instruct modes
- instruct mode: keep prompt fix
- instruct mode: duplicate instruct prompt fix
- refactor: move common console code from main->common

Add embedding example to Makefile (#540)

Fix missing ggml link in cmake for examples/* on w64-mingw32 (#542)

ci: add debug build to sanitizer build matrix (#527)

Fix undefined variables in debug build, remove unused variables (#531)

Add support for linux/arm64 platform during Docker Builds (#514)

* Add support for linux/arm64 platform

* Add platform to versioned builds

Update README and comments for standalone perplexity tool (#525)

[main] fix infinite generation (-n == -1) (#523)

Add logo to README.md

Exit from interactive mode if input stream is bad (#491)

Allow exiting the interactive prompt also with CTRL-D on Unix and CTRL-Z
on Windows.

CI: Run other sanitizer builds even if one fails (#511)

applies only to sanitizer builds so they wont be cancelled

Clarify console output in convert-pth-to-ggml.py (#512)

"Processing part 1 of 3" instead of "Processing part 0"

CMake / CI additions (#497)

* CMake: Add AVX512 option

* CI: Add AVX/AVX512 builds (Windows)
(AVX512 tests can only be run when the worker happens to support it, building works anyway)

* CMake: Fix sanitizer linkage ( merged #468 )

* CI: Add sanitizer builds (Ubuntu)

* CI: Fix release tagging
(change @zendesk/action-create-release to @anzz1/action-create-release until upstream PR Added commitish as input zendesk/action-create-release#32 is merged)

(Windows) Set console to UTF-8 on init (#420)

Sets console codepage to 65001 (CP_UTF8) on start for both input and output, should fix problems with UTF-8 characters.

Fix colors enabling on WIN32

If n_predict == -1, generate forever

Inifinite generation via context swapping (#71)

Cleanup STL headers + fix embedding examples + minor stuff

Move chat scripts into "./examples"

Add AVX2 implementation of dequantize_row_q4_1 (#505)

Overhaul the examples structure

- main -> examples
- utils -> examples (renamed to "common")
- quantize -> examples
- separate tools for "perplexity" and "embedding"

Hope I didn't break something !

Retire the ggml_mul_mat() branch for transposed src0 (#500)

* Retire the ggml_mul_mat() for transposed src0

- It can always be made contiguous with ggml_cpy()
- The code is now simplified
- The results are deterministic in respect to num threads

* SIMD-ify dequantize_row_q4_0() for ARM_NEON (#502)

* Attempt to SIMD-ify dequantize_row_q4_0() for ARM_NEON

* Fix dequantization - forgot to interleave the quants

Disable prompt verbosity by default and add option to enable (#480)

Add AVX2 implementation of dequantize_row_q4_0 (#467)

Don't interefe with BLAS for large prompts by running only 1 thread

Add longer DAN prompt for testing big batch numbers

Add timings for the prompt evaluation (#478)

Remove obsolete information from README

Remove obsolete assert and fix compiler warning

Fix nasty bug in ggml_compute_forward_mul_mat_f32() and reenable BLAS

bounds checking for input prefix (#492)