PerplexityLabs最近为开源大型语言模型(LLM)引入了一种新的、快速且高效的API，称为pplx-api。这一创新工具旨在提供对各种开源LLM的快速访问，包括Mistral7B、Llama213B、CodeLlama34B和Llama270B。pplx-api的推出标志着人工智能领域的一个重要里程碑，为开源法学硕士提供了一站式服务。

PerplexityLabpplxapi用于开源LLM的API

pplx-api的主要功能之一是它对开发人员的易用性。该API是用户友好的，允许开发人员使用熟悉的RESTAPI轻松地将这些模型集成到他们的项目中。这种易用性消除了对C++/CUDA的深入了解或访问GPU的需要，使其可供更广泛的开发人员使用。

困惑实验室pplx-api

pplx-api还拥有快速推理系统。推理系统的效率非常出色，延迟比Replicate低2.9倍，比Anyscale低3.1倍。在测试中，与文本生成推理(TGI)相比，pplx-api的总体延迟提高了2.03倍，初始响应延迟提高了2.62倍。与TGI相比，该API处理令牌的速度还快2倍。这种速度和效率使pplx-api成为法学硕士开发人员的强大工具。

pplx-api的优点

易于使用：开发人员可以使用现成的最先进的开源模型，并通过熟悉的RESTAPI在几分钟内开始使用。

极速推理：精心设计的推理系统非常高效，延迟时间比Replicate低2.9倍，比Anyscale低3.1倍。

经过实战测试的基础设施：pplx-api被证明是可靠的，可以在Perplexity答案引擎和实验室游乐场中提供生产级流量。

开源法学硕士一站式商店：PerplexityLabs致力于添加新的开源模型。例如，我们添加了Llama和Mistralm

pplx-api的基础设施是可靠且经过考验的。事实证明，它在Perplexity的答案引擎和实验室游乐场中提供生产级流量方面是可靠的。该基础设施结合了最先进的软件和硬件，包括由NVIDIAA100GPU和NVIDIATensorRT-LLM提供支持的AWSp4d实例。这种强大的基础设施使pplx-api成为商业上最快的Llama和MistralAPI之一。

开源LLM的API

pplx-api目前处于公开测试阶段，订阅PerplexityPro的用户可以免费使用。此可用性允许更广泛的用户测试API并提供反馈，帮助PerplexityLabs不断改进和完善该工具。该API对于LLM部署和推理也具有成本效益。它已经为Perplexity带来了显着的成本节省，单个功能的成本每年降低约62万美元。这种成本效率使pplx-api成为休闲和商业用途的宝贵工具。

Perplexity团队致力于在新的开源模型可用时添加它们，确保pplx-api仍然是开源法学硕士的综合资源。该API还用于为PerplexityLabs提供支持，这是一个为各种开源模型提供服务的模型游乐场。PerplexityLabs推出pplx-api代表了人工智能领域的重大进步。它的易用性、快速推理系统、可靠的基础设施和成本效率使其成为使用开源法学硕士的开发人员的强大工具。随着API的不断发展和改进，它有望成为人工智能社区更有价值的资源。

在不久的将来，pplx-api将支持：

定制Perplexity法学硕士和其他开源法学硕士。

自定义Perplexity嵌入和开源嵌入。

专用API定价结构，在公开测试版逐步淘汰后可进行一般访问。

PerplexityRAG-LLMAPI具有事实和引文的基础。

如何访问pplx-api

您可以使用HTTPS请求访问pplx-apiRESTAPI。对pplx-api进行身份验证涉及以下步骤：

1.通过Perplexity帐户设置页面生成API密钥。API密钥是一种长期访问令牌，可以一直使用，直到手动刷新或删除为止。

2.在每个pplx-api请求的授权标头中将API密钥作为不记名令牌发送。

3.目前支持Mistral7B、Llama13B、CodeLlama34B、Llama70B，API方便兼容OpenAI客户端，方便与现有应用集成。