爱意满满的作品展示区。
veotax

基于 LangChain 的开源 GPT 向量 + 知识数据库,帮助个人或企业实现自己的专属 AI 问答助手

  •  
  •   veotax ·
    PRO
    · Mar 11, 2024 · 151140 views
    This topic created in 968 days ago, the information mentioned may be changed or developed.

    Casibase ( https://github.com/casibase/casibase )是一套开源的基于 Web 的 AI 知识数据库,适合个人或者组织作为自己的专属内部 AI 知识库来使用。GitHub 已达到 1600+ stars ,欢迎体验~

    主要功能如下:

    • 支持 OpenAI GPT-4 模型、GPT Vision 图片解析、DALL-E 画图等功能;
    • 支持最新的 Claude 3 Opus 、Sonnet 等模型,超越 GPT-4 ;
    • 国际模型支持:Azure OpenAI 、Google Gemini Pro 、HuggingFace 、Cohere 等;
    • 国内模型支持:文心一言、通义千问、ChatGLM 、Minimax 、讯飞星火等;
    • 支持多种 Embedding 嵌入 API 接口,如 OpenAI V3, Ada V2, 百度文心一言等;
    • 支持多种通用文档格式:TXT, Markdown, Docx, PDF 等,支持 PDF 文件智能解析;
    • 支持以会话或消息为单位,计算所有大模型 API 的 Token 数和价格(美元或人民币),方便管理员进行 API 成本统计;
    • 支持 AI 小助手通过右下角弹框嵌入到应用网站,进行在线实时聊天,支持聊天会话人工接入;
    • 知识库文档存储支持本地存储,或云端存储(阿里云 OSS 、Amazon S3 、群晖 NAS 等几乎所有主流云存储都有支持);
    • 支持多用户、多租户,支持管理员进行用户管理、角色管理、权限管理,既适合个人使用,也适合组织使用;
    • 支持 QQ 、微信、企业微信、钉钉、Google 、GitHub 等多种第三方登录,支持短信登录、邮箱验证码登录登;
    • 支持谷歌 reCAPTCHA 、hCaptcha 、阿里云、GEETEST 极验、Cloudflare Turnstile 等多种人机验证方式,专业防盗刷;
    • 聊天会话云端存储,所有设备实时消息同步,随时可查看,不会丢失;
    • 支持中文、英文等在内的十几种界面语言。

    在线体验:

    源码:

    社区反馈:

    132 replies  •  2026-02-09 10:20:28 +08:00
    1  2  
    ❮ ❯
    fredweili
    fredweili
    Mar 11, 2024
    1
    这是什么?又一个向量数据库?
    cccb
    cccb
    Mar 11, 2024
    2
    向量数据库用的是什么?向量的存储和检索是用什么工具实现的?
    akagishigeru
    akagishigeru
    Mar 11, 2024
    3
    error, status code: 429, message: Requests to the ChatCompletions_Create Operation under Azure OpenAI API version 2023-05-15 have exceeded token rate limit of your current OpenAI S0 pricing tier. Please retry after 13 seconds. Please go here: https://aka.ms/oai/quotaincrease if you would like to further increase the default rate limit.
    coolair
    coolair
    Mar 11, 2024
    4
    和 https://github.com/danswer-ai/danswer/ 比,有啥优势吗?
    向量数据库在新文档上传后,会自动刷新吗?
    veotax
    veotax
    OP
    PRO
    Mar 12, 2024❤️1
    5
    @fredweili 内置一个向量数据库,为知识数据库提供向量查询功能

    @cccb 内置实现的,可以存储在 MySQL 、Postgres 等数据库中,采用余弦距离作为检索算法

    @JaguarJack 可能是演示站同时使用的人有点多,API 限制了,可以稍等下再用哈~

    @coolair 可以刷新,相比 danswer 的特点包括:后台管理更为强大、支持计算 API 费用、支持国内大模型、开源版支持单点登录 SSO 等
    weixind
    weixind
    Mar 13, 2024
    6
    https://fastgpt.in/ 还有一个这个。都是实现一样的产品吧。
    jackrebel
    jackrebel
    Mar 13, 2024
    7
    支持一下.
    boringwheat
    boringwheat
    Mar 13, 2024
    8
    刚好有这方面的需求,问一下,外挂 Embedding 目前是不是只能从文档内提取啊,结构化数据 JSON 有 api 支持吗?
    tommyshelbyV2
    tommyshelbyV2
    Mar 14, 2024❤️2
    9
    这个方向有很多人做了,光余弦其实效果不好的。这东西也不好变现
    Bantes
    Bantes
    Mar 15, 2024
    10
    https://dify.ai 差不多的产品
    kneo
    kneo
    Mar 17, 2024❤️4
    11
    不是很确定这东西是不是真的有用。文本搜索就能直接搜出来的标准答案,它会自己重新编一个似是而非的。
    veotax
    veotax
    OP
    PRO
    Mar 17, 2024
    12
    @boringwheat 架构是前后端分离的,所有功能都有 HTTP API ,包括 Embedding 的 CRUD API

    @kneo 经过多位用户反馈和实际测试,采用 GPT-4 的模型,实测效果还是不错的
    ffgrinder
    ffgrinder
    Mar 17, 2024
    13
    @tommyshelbyV2 我也想请教一下除了余弦之外有什么比较好的实践吗
    MasonXu
    MasonXu
    Mar 18, 2024
    14
    @kneo 对作者提供的这个不保证结果。但是我做过一个类似的,通过将原始的素材向量化作为初始的数据。用户搜索的时候,也向量化处理并与上一步已经转换为向量的内容做相似度匹配查询。高于特定的比例,例如 0.8 就取原始的答案输出,否则提示找不到,不会自己编写胡扯的
    muchenlou
    muchenlou
    Mar 20, 2024
    15
    @MasonXu 大佬你好,这个有类似的开源项目吗?
    lointo
    lointo
    Mar 20, 2024 via Android
    16
    有适合代码转向量的向量模型吗
    ren2881971
    ren2881971
    Mar 21, 2024❤️17
    17
    适合国内脑瘫老板,他们总是想私有化部署美,其名曰保护他们企业那点没人关注的数据。
    veotax
    veotax
    OP
    PRO
    Mar 21, 2024❤️1
    18
    @muchenlou 向量相似度的阈值,这种基本功能都有的,这个放心

    @lointo Casibase 内置了多个切词算法,也叫 Split Provider ,可以选择适合代码的切词算法
    cvooc
    cvooc
    Mar 21, 2024
    19
    @ren2881971 这一拳可以啊, 这会咋没人说保护隐私了
    ren2881971
    ren2881971
    Mar 21, 2024
    20
    @retrocode 国内无隐私。。
    lointo
    lointo
    Mar 21, 2024❤️3
    21
    @veotax 嗯 可能有一点点误解 不是对代码的切分 是能够把代码向量化的 向量模型 类似 m3e bge 这类 目前知道的都是收费的. 没有自己本地能够部署的. 这里有个相关的对比 https://huggingface.co/moka-ai/m3e-base#%E2%9A%96%EF%B8%8F-%E6%A8%A1%E5%9E%8B%E5%AF%B9%E6%AF%94
    正在调研类似的系统 参考列表
    可独立部署:
    fastgpt
    dify.ai
    chatollama
    langflow
    Flowise
    Langchain-Chatchat

    在线的
    coze
    chato
    beyondex
    beyondex
    Mar 21, 2024
    22
    代码向量化?需要做相似代码片段搜索吗?
    Liftman
    Liftman
    Mar 21, 2024
    23
    这种实际上的效果。。并不理想。试过类似的。。。而且大部分人连半吊子都不是。很难真的实现效果理想
    ohazyi
    ohazyi
    Mar 22, 2024
    24
    有对比过不同的向量数据库 / 语言模型的效果/性能优劣吗? 比如你说的 m3 bge 什么的
    veotax
    veotax
    OP
    PRO
    Mar 22, 2024
    25
    @lointo @ohazyi Casibase 提供了 Embedding Provider 抽象接口,支持各种类型大模型 API 和本地模型的向量化功能。目前实测效果最好的是 OpenAI 的 Embedding V2 以及 V3 模型: https://github.com/casibase/casibase/blob/master/embedding/provider.go
    wangxiaoer
    wangxiaoer
    Mar 23, 2024
    26
    这种方案有几个问题:

    1 基于向量搜索的准确度如何,毕竟最后的答案是需要大模型( GPT )通过向量搜索结果进行二次加工(编造)的。

    2 隐私性如何保障:向量搜索结果要作为输入发送给大模型,关注隐私的基本无法用了。
    meinjoy
    meinjoy
    Mar 24, 2024
    27
    国内有个 marvis 和你这个一样吧
    QiShine
    QiShine
    Mar 26, 2024
    28
    和网易的 Qanything 比较像
    ddddd0
    ddddd0
    Mar 26, 2024
    29
    @Liftman 试试 gptbase.ai 是我用过的精度相对好的产品了
    dnsjia
    dnsjia
    Mar 26, 2024
    30
    @ddddd0 不错,有对应的开源项目么
    ffwei107
    ffwei107
    Mar 26, 2024
    31
    邀请您使用人工智能问答机器人——AI 问答宝:
    https://17281.invite.wendabao.net
    shiyuu
    shiyuu
    Mar 27, 2024
    32
    兄弟,知识库要怎么制作啊?我部署了阿里的千问,直接上传一个公司规章制度没有修改过的 word ,根本识别不出来,直接复制文字成 txt 也不识别,更别说其他格式的东西了。
    这知识库是不是要有固定的格式???
    mio4kon
    mio4kon
    Mar 27, 2024
    33
    demo 网站怎么上传 pdf 进行测试呢?
    veotax
    veotax
    OP
    PRO
    Mar 28, 2024
    34
    @shiyuu 在数据仓库这个页面(比如: https://demo-admin.casibase.com/stores ),点击对应仓库的“刷新向量”这个按钮,Casibase 会对这个仓库对应的“存储提供商”里的所有文件进行向量索引操作,go 后端会有日志输出。还有其他具体问题可以在 Q 群里提问哈,回答会比较快些~
    ideaa
    ideaa
    Mar 30, 2024
    35
    来试试文心一言+知识库的客服系统吧,可以完全自建
    https://www.oamad.cn/
    nunterr
    nunterr
    Apr 1, 2024
    36
    功能先不说,你们的主页,和聊天的性能可以优化一下😄,太慢了~~
    chlinlearn
    chlinlearn
    Apr 2, 2024 via Android
    37
    有没有像 kimi 支持在线文章链接总结分析的模型推荐?
    Devocy
    Devocy
    Apr 2, 2024
    38
    内部实现向量数据库这一点让我很感兴趣。这个资料希望对你有帮助 https://skyzh.github.io/write-you-a-vector-db
    ddddd0
    ddddd0
    Apr 3, 2024
    39
    @dnsjia 应该没开源
    lstz
    lstz
    Apr 6, 2024 via Android
    40
    我想把此项目集成进项目里,可以吗
    lstz
    lstz
    Apr 6, 2024 via Android
    41
    抱歉,想集成到我的开源系统
    veotax
    veotax
    OP
    PRO
    Apr 6, 2024
    42
    @nunterr 演示站的这个性能问题是由于调用了 OpenAI 接口,API 调用到地球另一边有延迟。你自建,然后用国内模型就速度完全没问题了。主页则是 GitHub Pages ,这个看你的网好不好了
    veotax
    veotax
    OP
    PRO
    Apr 6, 2024
    43
    @chlinlearn Casibase 支持上传 PDF 文件作为知识库,然后进行问答(包括总结)
    veotax
    veotax
    OP
    PRO
    Apr 6, 2024❤️1
    44
    @lstz 欢迎集成哈
    romisanic
    romisanic
    Apr 7, 2024
    45
    点开项目才发现,之前已经 star 过了
    那就手动给 OP 点个赞吧
    shm7
    shm7
    Apr 8, 2024
    46
    外面都是用大模型/GPT4 的方案,你整个不用大模型的,才能体现出差异化 ; D
    sampeng
    sampeng
    Apr 9, 2024
    47
    其实我很像要一个 chatpdf 这样的产品。。。但找了一圈也没有体验类似的
    dabaibai
    dabaibai
    Apr 9, 2024
    48
    马克一下 以后看看
    context1997
    context1997
    Apr 10, 2024
    49
    @sampeng KIMI 这种可以读文章的不行?
    sampeng
    sampeng
    Apr 10, 2024
    50
    @cd605426287 读文章没意义的。只能是玩具。。要像 chatpdf/chatdoc 一样。能自动跳转 pdf 的引用,根据引用来读
    tingshijie520
    tingshijie520
    Apr 11, 2024
    51
    langchain 应该是 python 写的吧,这个基于 langchain 是指基于他的思想还是使用 go 语言版本呢?
    evan9527
    evan9527
    Apr 15, 2024
    52
    0 代码基础,有没有那种傻瓜式的,我只需投喂各种文档( pdf ,excel ,图片等),可以帮我连接各个文档检索内容的 ai 工具?就像是 kimi 离线版。
    kimi 目前我使用有一个问题就是,文档内容修改后就得重新开启会话上传新文档。
    tingshijie520
    tingshijie520
    Apr 16, 2024
    53
    @evan9527 网易的 QAnything
    sirz
    sirz
    Apr 17, 2024
    54
    @ren2881971 更多的是合规性要求
    wwhc
    wwhc
    Apr 22, 2024
    55
    真正保护公司/个人信息数据的只能是在本地部署的开源大模型如 LLAMA/Mistral ,这才可以脱离互联网使用,没有数据泄漏的状况。把数据送到外部 AI 服务,没有任何私隐可言
    hitsmaxft
    hitsmaxft
    May 10, 2024 via iPhone
    56
    @tommyshelbyV2 光靠向量相似度,效果不如传统搜索呢。。
    chenjianyi
    chenjianyi
    May 16, 2024
    57
    用过 maxkb ,和这个相比怎样呢?
    veotax
    veotax
    OP
    PRO
    May 16, 2024
    58
    @chenjianyi 这个企业级应用要强很多,功能很细
    dislazy2023
    dislazy2023
    May 16, 2024
    59
    我前几天用同样的本地数据,就几 KB 使用 maxkb + 星火 3.5 做了一个简单的 ai 感觉速度奇慢,准确度还低,调教起来挺费劲的
    veotax
    veotax
    OP
    PRO
    May 17, 2024
    60
    @dislazy2023 Casibase 可支持 100GB 以上的文档数据( docx 、pptx, pdf 等)作为知识库,采用先进的向量检索算法,对知识进行检索,性能强悍。可以部署试用下
    elseswitch
    elseswitch
    May 17, 2024
    61
    数据量大的情况下,准确度会不会很差?
    whoosy
    whoosy
    May 17, 2024
    62
    有个问题想请教下,关于向量搜索这块,对于每个拆分出来的段落,段落标题描述的准确性和段落的 size 是否会直接影响到搜索结果?
    hydyy
    hydyy
    May 17, 2024
    63
    正好要找类似的,我们用户都有自己的一套数据,能为每个用户提供只对自己的数据搜索吗?
    veotax
    veotax
    OP
    PRO
    May 17, 2024
    64
    @elseswitch 不会,通过 Open AI Embedding API + 最佳向量相似度算法,保证高准确度

    @whoosy Casibase 带有启发式的 Splitter 切分算法,能够智能分段。也可以自定义 Splitter 切分算法

    @hydyy 可以,Casibase 本身支持多租户,每个组织里的每个用户,都可以有自己的知识库(文档集合)
    xiaochengdengya
    xiaochengdengya
    May 20, 2024
    65
    支持一下
    ex1gtnim7d
    ex1gtnim7d
    May 21, 2024
    66
    有准确性的测评数据吗
    wxyudl
    wxyudl
    May 21, 2024
    67
    收藏
    ZGame
    ZGame
    May 23, 2024
    68
    后台管理好像打不开
    wsbqdyhm
    wsbqdyhm
    May 25, 2024
    69
    看着还不错
    DaChengDawn
    DaChengDawn
    Jun 7, 2024
    70
    借楼分享一个我和同事一起开发的 AIGC 能力生成婚礼演讲
    选择角色、风格、长度后(也可补充输入个人故事),可一键生成演讲内容~
    体验地址: https://aiweddinggenerator.com
    后续会持续优化和拓展功能
    xinyana
    xinyana
    Jun 8, 2024 via Android
    71
    我感觉好像不错呢,回头试一下
    Figurs
    Figurs
    Jun 17, 2024
    72
    收藏一下
    xing7673
    xing7673
    Jun 25, 2024
    73
    @ren2881971 #20 是的,三星是中国的
    murmur
    murmur
    Jul 12, 2024
    74
    @ren2881971 研发经费得有地方花啊
    ren2881971
    ren2881971
    Jul 15, 2024
    75
    @murmur 哈哈我们公司那代码写的跟屎一样。 一行注释都没有 就别说文档了。 就这领导还要弄个 AI 编程助手呢 真的谢了。
    popdo
    popdo
    Jul 17, 2024
    76
    演示后台进不去,无限回退到登录页
    Altairvelvet
    Altairvelvet
    Jul 20, 2024
    77
    牛逼,感觉非常不错的产品!
    Altairvelvet
    Altairvelvet
    Jul 20, 2024
    78
    @popdo 是的,我也发现进不去后台。
    bboring
    bboring
    Aug 9, 2024
    79
    An error occurred during responding.
    The target vector's length: [1536] should equal to knowledge vector's length: [3], target vector = [-0.021851055 -0.007065261 -0.028624363 -0.024381313 -0.023524918 0.02914339 -0.01248261 -0.002765443 -0.008200633 -0.005076737 0.029299099 -0.003261763 -0.015700579 -0.0025918933 0.012197144 -0.001033189 0.03861564 0.005809863 0.018970452 -0.013650421 -0.019800896 0.010043181 0.0051837866 0.008940248 -0.008129267 -0.005323275 0.0025935152 -0.012138754 0.0033542148 -0.015765458 0.0038213395 -0.016193656 -0.017841568 -0.01293027 0.004087341 -0.016310437 -0.0008628831 -0.009770691 0.02147476 -0.0084731225 0.013001637 -0.0065073064 0.0034937034 -0.0068316986 -0.027897725 0.013313053 -0.012696709 0.0004338745 -0.014935014 0.0359686 0.009225712 0.012852416 -0.014792281 -0.0005234878 -0.0061699385 -0.014740379 -0.007811363 0.006189402 0.007597264 -0.043805916 0.00305253 0.024134776 -0.0060077426 0.015090723 -0.0044766115 0.019995531 0.01533726 0.0051026884 0.008414732 0.017828591 0.02307077 0.019411625 0.0119960215 -0.011236943 0.01711493 -0.01663483
    veotax
    veotax
    OP
    PRO
    Aug 10, 2024
    80
    @popdo @Altairvelvet @bboring 均已修复
    unco020511
    unco020511
    Aug 13, 2024
    81
    @ddddd0 #29 试用了下,确实产品做的不错啊,完成度很高.如果能开放用自己的 apikey 和模型就更好了,目前检索和生成的能力似乎还有待加强,但产品流程和设计是没问题的
    janda
    janda
    Aug 29, 2024
    82
    问下佬你们这向量数据库用的哪个、主要是文本处理吗?索引类型和参数用的什么,Embedding 和 rerank 可选吗?
    willzzz
    willzzz
    Sep 3, 2024
    83
    后台登不进
    wangxiaoer
    wangxiaoer
    Sep 23, 2024 via iPhone
    84
    @veotax 请教下,pg 的向量数据库支持中文的分词和全文检索吗
    veotax
    veotax
    OP
    PRO
    Sep 25, 2024
    85
    @janda 向量数据库目前就用的 mysql 这种普通数据库

    @wangxiaoer 支持中文分词和全文检索,中英都支持
    jackerbauer
    jackerbauer
    Sep 30, 2024
    86
    @veotax #60 怎么个先进法?
    manhere
    manhere
    Oct 8, 2024
    87
    milvus 随便搞搞就有了,RAG 赛道确实是烂大街了。。。
    xiaoz
    xiaoz
    Oct 21, 2024
    88
    使用 SQLite3 作为数据库,数据库文件要提前创建吗?用 docker 安装,并用 SQLite3 作为数据库,可有配置案列,自己挂载数据库目录无法启动。
    follow
    follow
    Oct 22, 2024
    89
    和 fastgpt 比,有何特色?
    sukidesuka
    sukidesuka
    Oct 22, 2024
    90
    我做过半年,纯余弦效果十分差,特别是搜索没有语义的 UUID 、故障码,几乎搜索不到。要配合多种方法搜索再整合回答,这方面我还申请了专利
    yusf
    yusf
    Nov 18, 2024
    91
    我很好奇,为什么我每天都能刷到这个老帖子
    fy
    fy
    Dec 3, 2024
    92
    @zdw189803631 根据名字来说的话 怕不是 casbin 同款推广策略,那个也经常刷到,几年了
    veotax
    veotax
    OP
    PRO
    Feb 17, 2025
    93
    @unco020511 提供商菜单里可设置自己的模型和 API key ,RAG 算法近期还在优化中,感谢建议~
    veotax
    veotax
    OP
    PRO
    Feb 17, 2025
    94
    @xiaoz 目前还需要提前创建好 sqlite 数据库文件,后期会优化,感谢建议~

    @follow 和 FastGPT 相比,Casibase 的后台管理能力更强大一些
    dzdh
    dzdh
    Feb 20, 2025
    95
    市面上的所有通用化解决方案都大同小异,效果也都大差不差,要有的问题,大家都有,没有的功能大家也都没有。这是为啥呢。

    谁能一句话总结 rag 的底层逻辑呢。
    npe
    npe
    Feb 20, 2025❤️1
    96
    根据我短期的学习经验,RAG 想要做好很难,要做复杂文档的识别和向量化很难的,另外还要做长上下文记忆,等等。 最终还是要自己训练模型和微调的。
    blushyes
    blushyes
    Feb 20, 2025
    97
    @dzdh 最近稍微了解了一下,我理解它大概就是把知识库里的文档都向量化,再把用户的问题向量化,然后通过用户的问题的向量去通过各种相似算法去检索匹配知识库里的向量,拿到之后再转回文本,然后跟用户问题的原文本一起拼接 Prompt 扔给大模型,让大模型通过这些文档片段,根据用户问题总结一个回答。
    dzdh
    dzdh
    Feb 21, 2025
    98
    @blushyes #97 所以这个东西本身就是换汤不换药。仅仅通过大家都知道的东西,毫无竞争力。除非有人说,敢担保知识库里的数据理解和用户问题语义高度契合。要不然就是一个智障。
    terranboy
    terranboy
    Feb 24, 2025❤️1
    99
    几乎试了了市面上全部的 RAG 解决方案, 包括 graphyRAG, KAG, 比较满意的就 RAGFLOW 强一点, 其他的准确率都不高, 实在搞不懂,全部专注在开发各种应用的平台, 最基本的 RAG 都很烂, 根本不准, 也就是数据不准 ,去做应用有啥用
    SimonZhong
    SimonZhong
    Feb 27, 2025❤️2
    100
    @terranboy +1 这几天做企业内部的知识库技术调研,用了 AnythingLLM ,Dify ,RAGFlow ,确实就 RAGFlow 强一点,但复杂文档在知识库里面数量一多,就不行了,向量化太碎了。甚至还试了 Text 2 SQL 这条路子,也不行。
    1  2  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2791 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 195ms · UTC 14:12 · PVG 22:12 · LAX 06:12 · JFK 09:12
    ♥ Do have faith in what you're doing.