编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

danswer——一键构建私人本地知识库之连接器篇

wxchong 2024-07-08 01:22:20 开源技术 26 ℃ 0 评论

Danswer[1] 是一个开源的企业问答工具。笔者之前有过一篇介绍danswer的布署和架构的文章:danswer——一键构建私人本地知识库的最佳选择之一

问题回答是什么意思?

?直接问答允许您用简单的语言提问并立即获得准确的回答。?从私有数据源中解锁知识,无论是公司内部文档还是您想添加的个人资源。?每个答案都有引用和参考文档支持,因此您始终可以信任所获得的内容。

开源是什么意思?

?该项目在 MIT 许可证下授权,您可以做任何您想要的!?Danswer 被设计成可以由任何人轻松托管,您只需要设置数据连接器。

企业版如何?

?Danswer 支持用户身份验证和文档级别的访问控制。?Danswer 提供与 Slack、Google Drive、GitHub 等常见企业工具的连接器。

[2]主要特点

?直接由生成型AI模型驱动的问答功能,提供由引用和源链接支持的答案。?使用最新的LLM进行智能文档检索(语义搜索/重新排序管道)。?AI助手由自定义深度学习模型支持,用于解释用户意图。?用户认证与文件级别访问管理。?与Slack、GitHub、GoogleDrive、Confluence、BookStack、本地文件和Web抓取的连接器,并有更多功能即将推出。?管理仪表板用于管理连接器并设置诸如实时更新提取等功能。?一行Docker Compose部署所有服务以在任何地方托管Danswer。未来计划?聊天/对话支持?支持自定义端点用于生成式AI模型,甚至自托管选项?模板以便于轻松构建自定义连接器?个性化搜索

连接器概述

连接器的基本信息

什么是连接器

连接器将Danswer与您的数据源连接起来,以便答案基于您的组织知识。

[3]连接器帮助您

?选择源,这样您只能包含要索引的数据。?配置访问权限,以便Danswer可以在您的许可下安全访问数据。?设置提取选项,以保持Danswer的回答最新。

[4] 网页连接器

访问网页知识

[5]工作原理

网页连接器根据基本URL来爬取网页信息。

?它只索引来自相同域和包含相同基本路径的文件。?它将索引通过基本URL超链接可访问的页面。?文本内容通过一些启发式和一些元数据(如提取页面标题)进行清理。

文件连接器

访问本地文件的知识

[6]工作原理

文件连接器索引用户上传的文件。

?目前支持 .txt 文件或包含 .txt 文件的 .zip 文件。?可选的元数据行支持通过URL链接到其他内部工具。

Slack连接器

从您的消息中获取知识

[7]工作原理

Slack连接器会索引给定工作区的所有公共频道。

?即将推出:通过标记/添加Danswer Slack机器人到私有频道,支持私有频道。

GitHub连接器

从您的存储库中获取知识

[8]工作原理

Github连接器会获取指定存储库中的所有拉取请求(Pull Requests)和问题(Issues)。

?它将索引开放和关闭的PR。包括标题和摘要。?它将索引开放和关闭的问题和评论?包括其他元数据,如URL、创建者等。

Confluence连接器

访问来自公司Wiki的知识

[9]工作原理

Confluence连接器每10分钟从指定的空间中获取所有页面和评论。

?根据需求,Danswer可能会在将来支持索引特定的Confluence页面或目录。

Jira连接器

从Jira中获取最新期刊和项目更新

[10]工作原理

Jira连接器每10分钟从指定项目中提取所有票证。

Google Drive连接器概述

访问文件中的知识

[11]工作原理

Google Drive连接器摄取您的驱动器文档。它会每10分钟同步您的Google Drive中的最新信息。

?目前支持Google文档,表格和PDF文件。

Notion连接器

从您的Notion工作区访问知识

[12]工作原理

Notion连接器使用Notion搜索API来获取连接器在工作区内具有访问权限的所有页面。对于后续的索引运行,连接器仅检索自上次索引尝试以来更新过的页面。索引配置为每10分钟运行一次,因此页面更新应在10分钟内显示。

BookStack连接器

从您自己的BookStack实例访问知识

文本:[13]工作原理

BookStack连接器在连接设置完成后从连接的实例上抓取所有书架、书籍、章节和页面。从那时起,该连接器将每10分钟拉取自上次同步以来的所有更新内容。

Guru连接器

访问Guru的最新卡片

[14]工作原理

Guru连接器基于用户访问令牌,拉取用户可以访问的所有卡片。

卡片每10分钟更新一次。

Productboard连接器

从Productboard同步知识

[15]它的工作原理

Productboard连接器将所有特性组件产品目标同步到Danswer。目前,Productboard的API不支持同步发布笔记

所有内容每隔10分钟更新一次。

Zulip连接器

捕捉来自Zulip流和主题的讨论

[16]它的工作原理

Zulip 连接器根据分配给机器人用户的权限提取所有流和主题。

References

[1] Danswer: https://github.com/danswer-ai/danswer
[2] :
https://docs.danswer.dev/introduction#main-features
[3] :
https://docs.danswer.dev/connectors/overview#connectors-help-you
[4] :
https://docs.danswer.dev/connectors/overview#monitoring-connectors
[5] :
https://docs.danswer.dev/connectors/web#how-it-works
[6] :
https://docs.danswer.dev/connectors/file#how-it-works
[7] :
https://docs.danswer.dev/connectors/slack#how-it-works
[8] :
https://docs.danswer.dev/connectors/github#how-it-works
[9] :
https://docs.danswer.dev/connectors/confluence#how-it-works
[10] :
https://docs.danswer.dev/connectors/jira#how-it-works
[11] :
https://docs.danswer.dev/connectors/google_drive/overview#how-it-works
[12] :
https://docs.danswer.dev/connectors/notion#how-it-works
[13] 文本::
https://docs.danswer.dev/connectors/bookstack#how-it-works
[14] :
https://docs.danswer.dev/connectors/guru#how-it-works
[15] :
https://docs.danswer.dev/connectors/productboard#how-it-works
[16] :
https://docs.danswer.dev/connectors/zulip#how-it-works

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表