检索增强生成 (retrieval augmented generation，rag) 可将存储在外部数据库中的新鲜领域知识纳入大语言模型以增强其文本生成能力。其提供了一种将公司数据与训练期间语言模型学到的知识分开的方式，有助于我们在性能、准确性及安全隐私之间进行有效折衷。
通过本文，你将了解到英特尔如何通过企业 ai 开放平台 开源项目帮助你开发和部署 rag 应用。你还将通过真实的 rag 使用案例了解英特尔 gaudi 2 ai 加速器和至强 cpu 如何助力企业级应用性能的显著飞跃。
在深入了解细节之前，我们先要获取硬件。 专为加速数据中心和云上的深度学习训练和推理而设计。你可在 上获取其公开实例，也可在本地部署它。idc 是尝试 gaudi 2 的最简单方法，如果你尚没有帐户，可以考虑注册一个帐户，订阅 “premium”，然后申请相应的访问权限。
在软件方面，我们主要使用 langchain 来构建我们的应用。langchain 是一个开源框架，旨在简化 llm ai 应用的构建流程。其提供了基于模板的kb88凯时官网登录的解决方案，允许开发人员使用自定义嵌入模型、向量数据库和 llm 构建 rag 应用，用户可通过 langchain 文档获取其更多信息。英特尔一直积极为 langchain 贡献多项优化，以助力开发者在英特尔平台上高效部署 genai 应用。
在 langchain 中，我们将使用 rag-redis 模板来创建我们的 rag 应用。选型上，我们使用 作为嵌入模型，并使用 redis 作为默认向量数据库。下图展示了该应用的高层架构图。
在我们的应用中，嵌入模型跑在 cpu 上。英特尔 granite rapids 架构专为高核数、性能敏感型工作负载以及通用计算工作负载而优化，并为此类工作负载提供最低的总拥有成本 (cost of ownership，tco)。gnr 还支持 amx-fp16 指令集，这会为混合 ai 工作负载带来 2-3 倍的性能提升。
我们将 llm 跑在英特尔 gaudi 2 加速器上。至于如何使用 hugging face 模型， 库可将 hugging face 和 库桥接至 gaudi 加速器。因此，用户可以用它针对各种下游任务在单卡和多卡场景下轻松进行模型加载、训练及推理。
我们提供了一个 以简化 langchain 开发环境的配置。启动 docker 容器后，你就可以开始在 docker 环境中构建向量数据库、rag 流水线以及 langchain 应用。详细的分步说明，请参照 示例。
我们用耐克的公开财务文件创建一个向量数据库，示例代码如下:
# ingest pdf files that contain edgar 10k filings data for nike.
company_name = "nike"
data_path = "data"
doc_path = [os.path.join(data_path, file) for file in os.listdir(data_path)][0]
content = pdf_loader(doc_path)
chunks = text_splitter.split_text(content)
# create vectorstore
embedder = huggingfaceembeddings(model_name=embed_model)
_ = redis.from_texts(
texts=[f"company: {company_name}. " chunk for chunk in chunks],
embedding=embedder,
index_name=index_name,
index_schema=index_schema,
redis_url=redis_url,
)
在 langchain 中，我们使用 chain api 来连接提示、向量数据库以及嵌入模型。
你可在 中找到完整代码。
# embedding model running on xeon cpu
embedder = huggingfaceembeddings(model_name=embed_model)
# redis vector database
vectorstore = redis.from_existing_index(
embedding=embedder, index_name=index_name, schema=index_schema, redis_url=redis_url
)
# retriever
retriever = vectorstore.as_retriever(search_type="mmr")
# prompt template
template = """…"""
prompt = chatprompttemplate.from_template(template)
# hugging face llm running on gaudi 2
model = huggingfaceendpoint(endpoint_url=tgi_llm_endpoint, …)
# rag chain
chain = (
runnableparallel({"context": retriever, "question": runnablepassthrough()}) | prompt | model | stroutputparser()
).with_types(input_type=question)
我们在 gaudi2 上使用 hugging face 文本生成推理 (tgi) 服务运行聊天模型。tgi 让我们可以在 gaudi2 硬件上针对流行的开源 llm (如 mpt、llama 以及 mistral) 实现高性能的文本生成。
无需任何配置，我们可以直接使用预先构建的 docker 映像并把模型名称 (如 intel neuralchat) 传给它。
model=intel/neural-chat-7b-v3-3
volume=$pwd/data
docker run -p 8080:80 -v $volume:/data --runtime=habana -e habana_visible_devices=all -e ompi_mca_btl_vader_single_copy_mechanism=none --cap-add=sys_nice --ipc=host tgi_gaudi --model-id $model
tgi 默认使用单张 gaudi 加速卡。如需使用多张卡以运行更大的模型 (如 70b)，可添加相应的参数，如 --sharded true 以及 --num_shard 8 。对于受限访问的模型，如 或 ，你还需要指定 -e hugging_face_hub_token= 以使用你自己的 hugging face 获取模型。
容器启动后，我们可以通过向 tgi 终端发送请求以检查服务是否正常。
curl localhost:8080/generate -x post \
-d '{"inputs":"which nfl team won the super bowl in the 2010 season?", \
"parameters":{"max_new_tokens":128, "do_sample": true}}' \
-h 'content-type: application/json'
如果你能收到生成的响应，则 llm 运行正确。从现在开始，你就可以在 gaudi2 上尽情享受高性能推理了！
tgi gaudi 容器默认使用 bfloat16 数据类型。为获得更高的吞吐量，你可能需要启用 fp8 量化。根据我们的测试结果，与 bf16 相比，fp8 量化会带来 1.8 倍的吞吐量提升。fp8 相关说明可在 文件中找到。
最后，你还可以使用 meta 模型对生成的内容进行审核。opea 的 文件提供了在 tgi gaudi 上部署 llama guard 的说明。
我们运行下述命令启动 rag 应用后端服务， server.py 脚本是用 fastapi 实现的服务终端。
docker exec -it qna-rag-redis-server bash
nohup python app/server.py &
默认情况下，tgi gaudi 终端运行在本地的 8080 端口上 (即 http://127.0.0.1:8080 )。如果需将其运行至不同的地址或端口，可通过设置 tgi_endpoint 环境变量来达成。
运行以下命令以安装前端 gui 组件:
sudo apt-get install npm && \
npm install -g n && \
n stable && \
hash -r && \
npm install -g npm@latest
然后，更新 .env 文件中的 doc_base_url 环境变量，将本地主机 ip 地址 ( 127.0.0.1 ) 替换为运行 gui 的的实际 ip 地址。
接着，运行以下命令以安装所需的软件依赖:
npm install
最后，使用以下命令启动 gui 服务:
nohup npm run dev &
上述命令会运行前端服务并启动应用。
我们针对不同的模型和配置进行了深入的实验。下面两张图展示了 llama2-70b 模型在四卡英特尔 gaudi 2 和四卡英伟达 h100 平台上，面对 16 个并发用户时的相对端到端吞吐量和性价比对比。
在这两种测例中，向量数据库和嵌入模型都运行在相同的英特尔 granite rapids cpu 平台上。为了比较每美元的性能，我们使用了与 团队于 2024 年 1 月使用的数据相同的公开定价数据来计算每美元的平均训练性能。
如你所见，与 gaudi 2 相比，基于 h100 的系统虽然吞吐量提高了 1.13 倍，但每美元性能仅为 0.44 倍。这些比较可能会因云厂商不同以及客户折扣不同而有所不同，我们在文末列出了详细的基准配置。
上例成功演示了如何在英特尔平台上部署基于 rag 的聊天机器人。此外，英特尔会不断发布成熟的 genai 示例，以期通过这些经过验证的工具助力开发人员简化创建、部署流程。这些示例功能多样且易于定制，非常适合用户基于其在英特尔平台上开发各种应用。
运行企业级 ai 应用时，基于英特尔 granite rapids cpu 和 gaudi 2 加速器的系统的总拥有成本更低。另外，还可通过 fp8 优化进一步优化成本。
以下开发者资源应该可以帮助大家更平滑地启动 genai 项目。
如果你有任何问题或反馈，我们很乐意在 上与你互动。感谢垂阅！
致谢:
我们要感谢 chaitanya khened、suyue chen、mikolaj zyczynski、wenjiao yue、wenxin zhu、letong han、sihan chen、hanwen cheng、yuan wu 和 yi wang 对在英特尔 gaudi 2 上构建企业级 rag 系统做出的杰出贡献。
基准测试配置
- gaudi2 配置: hls-gaudi2 配备 8 张 habana gaudi2 hl-225h 夹层卡及 2 个英特尔至强铂金 8380 cpu@2.30ghz，以及 1tb 系统内存; 操作系统: ubuntu 22.04.03，5.15.0 内核
- h100 sxm 配置: lambda labs 实例 gpu_8x_h100_sxm5; 8 张 h100 sxm 及 2 个英特尔至强铂金 8480 cpu@2 ghz，以及 1.8tb 系统内存; 操作系统 ubuntu 20.04.6 lts，5.15.0 内核
- llama2 70b 部署至 4 张卡 (查询归一化至 8 卡)。gaudi2 使用 bf16，h100 使用 fp16
- 嵌入模型为
baai/bge-base v1.5。测试环境: tgi-gaudi 1.2.1、tgi-gpu 1.4.5、python 3.11.7、langchain 0.1.11、sentence-transformers 2.5.1、langchain benchmarks 0.0.10、redis 5.0.2、cuda 12.2.r12.2/compiler.32965470_0, tei 1.2.0 - rag 查询最大输入长度 1024，最大输出长度 128。测试数据集: langsmith q&a。并发客户端数 16
- gaudi2 (70b) 的 tgi 参数:
batch_bucket_size=22,prefill_batch_bucket_size=4,max_batch_prefill_tokens=5102,max_batch_total_tokens=32256,max_waiting_tokens=5,streaming=false - h100 (70b) 的 tgi 参数:
batch_bucket_size=8,prefill_batch_bucket_size=4,max_batch_prefill_tokens=4096,max_batch_total_tokens=131072,max_waiting_tokens=20,max_batch_size=128,streaming=false - tco 参考:
英文原文:
原文作者: julien simon，haihao shen，antony vance jeyaraj，matrix yao，leon lv，greg serochi，deb bharadwaj，ke ding
译者: matrix yao (姚伟峰)，英特尔深度学习工程师，工作方向为 transformer-family 模型在各模态数据上的应用及大规模模型的训练推理。
