将您的LLM API成本削减10倍,速度提升100倍。
-
支持OpenAI ChatGPT API。 -
支持langchain。 -
支持minigpt4。 -
支持Llamacpp。 -
支持dolly。 -
支持其他LLM,例如Hugging Face Hub、Bard、Anthropic。
-
支持OpenAI图像创建API。 -
支持OpenAI音频转录API。 -
支持Replicate BLIP API。 -
支持Stability推理API。 -
支持Hugging Face稳定扩散管道(本地推理)。 -
支持其他多模态服务或自托管的大型多模态模型。
-
禁用嵌入。这将使GPTCache成为一个关键词匹配缓存。 -
支持OpenAI嵌入API。 -
支持使用GPTCache/paraphrase-albert-onnx模型的ONNX。 -
支持使用transformers、ViTModel、Data2VecAudio的Hugging Face嵌入。 -
支持Cohere嵌入API。 -
支持fastText嵌入。 -
支持SentenceTransformers嵌入。 -
支持Timm模型的图像嵌入。 -
支持其他嵌入API。
-
支持SQLite。 -
支持DuckDB。 -
支持PostgreSQL。 -
支持MySQL。 -
支持MariaDB。 -
支持SQL Server。 -
支持Oracle。 -
支持MongoDB。 -
支持Redis。
-
支持HBase。 -
支持ElasticSearch。 -
支持其他存储。 -
支持Minio。
-
支持Milvus,一个用于生产就绪AI/LLM应用的开源向量数据库。 -
支持Zilliz Cloud,一个基于Milvus的完全托管的云向量数据库。 -
支持Milvus Lite,Milvus的轻量版,可以嵌入到您的Python应用中。 -
支持FAISS,一个用于高效相似性搜索和密集向量聚类的库。 -
支持Hnswlib,一个用于快速近似最近邻的头文件C++/python库。 -
支持PGVector,Postgres的开源向量相似性搜索。 -
支持Chroma,AI原生开源嵌入数据库。 -
支持DocArray,DocArray是一个用于表示、发送和存储多模态数据的库,非常适合机器学习应用。 -
支持qdrant。
-
支持其他向量数据库。 -
支持weaviate。
-
支持LRU驱逐策略。 -
支持FIFO驱逐策略。 -
支持更复杂的驱逐策略。
-
从向量存储中获得的距离。 -
使用GPTCache/albert-duplicate-onnx模型从ONNX确定的基于模型的相似性。 -
输入请求与从向量存储中获得的请求之间的精确匹配。 -
通过将numpy的linalg.norm应用于嵌入来表示的距离。 -
BM25和其他相似性测量。 -
支持其他模型服务框架,例如PyTorch。