将您的LLM API成本削减10倍，速度提升100倍。
-
支持OpenAI ChatGPT API。 -
支持langchain。 -
支持minigpt4。 -
支持Llamacpp。 -
支持dolly。 -
支持其他LLM，例如Hugging Face Hub、Bard、Anthropic。
-
支持OpenAI图像创建API。 -
支持OpenAI音频转录API。 -
支持Replicate BLIP API。 -
支持Stability推理API。 -
支持Hugging Face稳定扩散管道（本地推理）。 -
支持其他多模态服务或自托管的大型多模态模型。
-
禁用嵌入。这将使GPTCache成为一个关键词匹配缓存。 -
支持OpenAI嵌入API。 -
支持使用GPTCache/paraphrase-albert-onnx模型的ONNX。 -
支持使用transformers、ViTModel、Data2VecAudio的Hugging Face嵌入。 -
支持Cohere嵌入API。 -
支持fastText嵌入。 -
支持SentenceTransformers嵌入。 -
支持Timm模型的图像嵌入。 -
支持其他嵌入API。
-
支持SQLite。 -
支持DuckDB。 -
支持PostgreSQL。 -
支持MySQL。 -
支持MariaDB。 -
支持SQL Server。 -
支持Oracle。 -
支持MongoDB。 -
支持Redis。
-
支持HBase。 -
支持ElasticSearch。 -
支持其他存储。 -
支持Minio。
-
支持Milvus，一个用于生产就绪AI/LLM应用的开源向量数据库。 -
支持Zilliz Cloud，一个基于Milvus的完全托管的云向量数据库。 -
支持Milvus Lite，Milvus的轻量版，可以嵌入到您的Python应用中。 -
支持FAISS，一个用于高效相似性搜索和密集向量聚类的库。 -
支持Hnswlib，一个用于快速近似最近邻的头文件C++/python库。 -
支持PGVector，Postgres的开源向量相似性搜索。 -
支持Chroma，AI原生开源嵌入数据库。 -
支持DocArray，DocArray是一个用于表示、发送和存储多模态数据的库，非常适合机器学习应用。 -
支持qdrant。
-
支持其他向量数据库。 -
支持weaviate。
-
支持LRU驱逐策略。 -
支持FIFO驱逐策略。 -
支持更复杂的驱逐策略。
-
从向量存储中获得的距离。 -
使用GPTCache/albert-duplicate-onnx模型从ONNX确定的基于模型的相似性。 -
输入请求与从向量存储中获得的请求之间的精确匹配。 -
通过将numpy的linalg.norm应用于嵌入来表示的距离。 -
BM25和其他相似性测量。 -
支持其他模型服务框架，例如PyTorch。
