Dify ai官网,LLMOps平台,提供AI 聊天机器人,代碼轉换器,SQL 生成器,資訊内容编寫,創意脚本等
什么是Dify ai?
Dify 是一个易于使用的 LLMOps 平台,提供了多种应用程式类型和模板,包括 AI 聊天机器人、代碼轉换器、SQL 生成器、資訊内容编寫、創意脚本等。團队使用 Dify,可以基于 GPT-4 等模型快速「開發+部署」 AI 应用程式并进行可視化操作,还可以將程式對外进行發布。Dify 这个名字来源于 Define 和 Modify 这两个词,Dify 可以理解為 Do it for you,代表了帮助開發人员不斷改进其 AI 应用程式的願景。
Dify ai官网: https://dify.ai
Dify ai githhub: https://github.com/langgenius/dify
帮助文档: https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted
什么是 LLMOps?
LLMOps(Large Language Model Operations)是一个涵蓋了大型语言模型(如GPT系列)開發、部署、维護和優化的一整套實践和流程。LLMOps 的目标是确保高效、可擴展和安全地使用这些强大的 AI 模型来构建和運行實際应用程式。它涉及到模型訓练、部署、监控、更新、安全性和合規性等方面。
下表說明了使用 Dify 前后開發 AI 应用的各環節差異:
步驟
未使用 LLMOps 平台
使用 Dify LLMOps 平台
时间差異
開發应用前&后端
集成和封装 LLM 能力,花費較多时间開發前端应用
直接使用 Dify 的后端服務,可基于 WebApp 脚手架開發
-80%
Prompt Engineering
仅能透過调用 API 或 Playground 进行
結合用户输入資料所見即所得完成调試
-25%
資料准備与嵌入
编寫代碼實现长文本資料處理、嵌入
在平台上传文本或绑定資料源即可
-80%
应用日志与分析
编寫代碼記錄日志,訪問資料库查看
平台提供實时日志与分析
-70%
資料分析与微调
技術人员进行資料管理和創建微调队列
非技術人员可协同,可視化模型调整
-60%
AI 插件開發与集成
编寫代碼創建、集成 AI 插件
平台提供可視化工具創建、集成插件能力
-50%
在使用 LLMOps 平台如 Dify 之前,基于 LLM 開發应用的过程可能会非常繁瑣和耗时。開發者需要自行處理各个阶段的任務,这可能導致效率低下、难以擴展和安全性問题。以下是使用 LLMOps 平台前的開發过程:
資料准備:手动收集和预處理資料,可能涉及到复雜的資料清洗和标注工作,需要编寫較多代碼。
Prompt Engineering:開發者只能透過调用 API 或 Playground 进行 Prompt 编寫和调試,缺乏實时反馈和可視化调試。
嵌入和上下文管理:手动處理长上下文的嵌入和存儲,难以優化和擴展,需要不少编程工作,熟悉模型嵌入和向量資料库等技術。
Dify ai使用教程
应用监控与维護:手动收集和分析性能資料,可能無法實时發现和處理問题,甚至可能没有日志記錄。
模型微调:自行處理微调資料准備和訓练过程,可能導致效率低下,需要编寫更多代碼。
系統和運營:需要技術人员参与或花費成本開發管理后台,增加開發和维護成本,缺乏多人协同和對非技術人员的友好支持。
引入 Dify 这样的 LLMOps 平台后,基于 LLM 開發应用的过程將變得更加高效、可擴展和安全。以下是使用 Dify 进行 LLM 应用開發的優势:
資料准備:平台提供資料收集和预處理工具,简化了資料清洗和标注的工作,最小化甚至消除了编碼工作。
Prompt Engineering:所見即所得的 Prompt 编輯和调試,可根据用户输入的資料进行實时優化和调整。
嵌入和上下文管理:自动處理长上下文的嵌入、存儲和管理,提高效率和擴展性,無需编寫大量代碼。
应用监控与维護:實时监控性能資料,快速發现和處理問题,确保应用程式的穩定運行,提供完整的日志記錄。
模型微调:平台提供一键微调功能,基于过去已标注的真實使用資料进行訓练,提高模型性能,減少编程工作。
系統和運營:易用的界面,非技術人员也可参与,支持多人协同,降低開發和维護成本。与传統開發方式相比,Dify 提供了更加透明和易于监控的应用管理,让團队成员更好地了解应用的運行情况。
另外,Dify 將提供 AI 插件開發和集成的功能,使得開發者可以轻松地為各种应用創建和部署基于 LLM 的插件,进一步提升了開發效率和应用的价值。
- 我该如何“訓练”一个基于我的内容的模型?
- 怎么让 AI 知道 2021 年以后的事情?
- 如何避免让 AI 跟用户胡說八道?
- 微调(Fine-tuning)和嵌入(Embedding)是什么意思?
我们塑造了工具,然后工具塑造了我们。——馬歇尔·麥克卢汉(Marshall McLuhan)
- 看看这些由 Dify 創建的应用
- 在云端版中快速創建应用
- 安装 Dify 到你的伺服器
可能只有少數公司有预算来构建和管理像 GPT-3 这样的大型语言模型 (LLM),但是將会有許多价值超过 10 亿美元的“第二層”公司建立起来下一个十年。 ——Sam Altman
安装
- CPU >= 1 Core
- RAM >= 4GB
docker-compose up -d
。- 启动后页面一直在 loading,查看请求提示 CORS 错誤。这可能是由于切换了域名/网址,導致前端和服務端跨域,请將
docker-compose.yml
中所有的以下配置项改為新的域名: CONSOLE_URL
:控制台域名,如:http://localhost:8080
API_URL
:Service API 域名APP_URL
:Web APP 域名
- 安装时后無法登錄,登錄成功,但后續接口均提示 401。可能由于跨域導致 cookie 策略失效,可以按照以下策略配置:
- 默认策略适用于本地调試用,支持 HTTP/HTTPS 协議,但需要保證前端页面和接口同域。WEB_API_CORS_ALLOW_ORIGINS: ‘*’CONSOLE_CORS_ALLOW_ORIGINS: ‘*’COOKIE_HTTPONLY: ‘true’COOKIE_SAMESITE: ‘Lax’COOKIE_SECURE: ‘false’
- 跨域策略(请勿应在生產)由于 SameSite=None 必须配合 Secure=true,因此服務端必须為
https
协議才能實现跨域訪問,可以用在服務端在遠程并且提供https
协議支持,或者本地單独启动服務端和前端專案(localhost,但不同端口,實测可用,虽然提示 warning)。WEB_API_CORS_ALLOW_ORIGINS: ‘https://your-domain-for-web-app’CONSOLE_CORS_ALLOW_ORIGINS: ‘https://your-domain-for-console’COOKIE_HTTPONLY: ‘true’COOKIE_SAMESITE: ‘None’COOKIE_SECURE: ‘true’ - 生產策略由于部分第三方集成需要支持回调并帶着 cookie 信息,因此不能使用最高的 Strict 策略,因此需要嚴格限制 CORS 域名,以及設置 cookie 策略為 SameSite=Lax Secure=true。WEB_API_CORS_ALLOW_ORIGINS: ‘https://your-domain-for-web-app’CONSOLE_CORS_ALLOW_ORIGINS: ‘https://your-domain-for-console’COOKIE_HTTPONLY: ‘true’COOKIE_SAMESITE: ‘Lax’COOKIE_SECURE: ‘true’
- 如何在国内環境中使用 OpenAI 代理伺服器进行訪問可以在
docker-compose.yaml
中的 api 和 worker 服務加一条 environments 記錄OPENAI_API_BASE: ‘https://<your-openai-mirror-domain>/v1’
数据评估
本站ai工具百寶箱提供的Dify ai都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由ai工具百寶箱实际控制,在2024年11月18日 上午7:41收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,ai工具百寶箱不承担任何责任。