CMake build in Release by default (#75)

Update contribution section, hot topics, limitations, etc.

Print system information

Initial support for CMake (#75)

Add NetBSD support. (#90)

Use fprintf for diagnostic output (#48)

keep printf only for printing model output

one can now use ./main ... 2>dev/null to suppress any diagnostic output

Use vdotq_s32 to improve performance (#67)

* 10% performance boost on ARM

* Back to original change

Reduce model loading time (#43)

* Use buffering

* Use vector

* Minor

---------

Co-authored-by: Georgi Gerganov <redacted>

Fix UTF-8 handling (including colors) (#79)

Add quantize script for batch quantization (#92)

* Add quantize script for batch quantization

* Indentation

* README for new quantize.sh

* Fix script name

* Fix file list on Mac OS

---------

Co-authored-by: Georgi Gerganov <redacted>

Add initial contribution guidelines

Gate signal support on being on a unixoid system. (#74)

Fix token count accounting

Revert "10% performance boost on ARM"

This reverts commit 113a9e83ebc0f788f861394437087bf3ca0e019b.

There are some reports for illegal instruction.
Moved this stuff to vdotq_s32 branch until resolve

Check for vdotq_s32 availability

Ammend to previous commit - forgot to update non-QRDMX branch

10% performance boost on ARM

Fix color getting reset before prompt output done (#65)

(cherry picked from commit 7eb2987619feee04c40eff69b604017d09919cb6)

Update README.md

Add interactive mode (#61)

* Initial work on interactive mode.

* Improve interactive mode. Make rev. prompt optional.

* Update README to explain interactive mode.

* Fix OS X build

Fix typo in README (#45)

Allow using prompt files (#59)

Add back top_k (#56)

* Add back top_k

* Update utils.cpp

* Update utils.h

---------

Co-authored-by: Bill Hamilton <redacted>
Co-authored-by: Georgi Gerganov <redacted>

Windows fixes (#31)

* Apply fixes suggested to build on windows

Issue: https://github.com/ggerganov/llama.cpp/issues/22

* Remove unsupported VLAs

* MSVC: Remove features that are only available on MSVC C++20.

* Fix zero initialization of the other fields.

* Change the use of vector for stack allocations.

Update README.md

Add CI (#60)

Revert "weights_only" arg - this causing more trouble than help

python/pytorch compat notes (#44)

Add repetition penalty (#20)

* Adding repeat penalization

* Update utils.h

* Update utils.cpp

* Numeric fix

Should probably still scale by temp even if penalized

* Update comments, more proper application

I see that numbers can go negative so a fix from a referenced commit

* Minor formatting

---------

Co-authored-by: Georgi Gerganov <redacted>

Clarify meaning of hacking

README: add "Supported platforms" + update hot topics

use weights_only in conversion script (#32)

this restricts malicious weights from executing arbitrary code by restricting the unpickler to only loading tensors, primitive types, and dictionaries

Add LICENSE (#21)

Update README.md

Fix a typo in model name (#16)

Update README.md

Add AVX2 support for x86 architectures thanks to @Const-me !

Fix un-initialized FP16 tables on x86 (#15, #2)

Bump memory buffer

Update README.md

.gitignore models/

Update Makefile var + add comment

Update README.md

Update README.md

Support all LLaMA models + change Q4_0 quantization storage

Include Python dependencies in README (#6)

Update README.md

Update README.md

Update README.md

Add missing headers for memcpy and assert (#3)

Update README.md

Update README.md

Update README.md

Update README.md

Fix a bug in the rope calculation

Update README.md

Final touches

Create README.md

Initial release