Verbiverse

Verbiverse

利用 LLM 大模型辅助阅读 PDF 与观看视频,用以提升语言能力。

Stars: 96

Visit
 screenshot

Verbiverse is a tool that uses a large language model to assist in reading PDFs and watching videos, aimed at improving language proficiency. It provides a more convenient and efficient way to use large models through predefined prompts, designed for those looking to enhance their language skills. The tool analyzes unfamiliar words and sentences in foreign language PDFs or video subtitles, providing better contextual understanding compared to traditional dictionary translations or ambiguous meanings. It offers features such as automatic loading of subtitles, word analysis by clicking or double-clicking, and a word database for collecting words. Users can run the tool on Windows x86_64 or ubuntu_22.04 x86_64 platforms by downloading the precompiled packages or by cloning the source code and setting up a virtual environment with Python. It is recommended to use a local model or smaller PDF files for testing due to potential token consumption issues with large files.

README:

Verbiverse

Verbiverse 利用 LLM 大模型辅助阅读 PDF 与观看视频,用以提升语言能力。

Contributors Forks Stargazers Issues MIT License


Logo

利用大模型辅助阅读

通过预定义的 Prompt 更加方便、快捷的使用大模型,专为想要提升语言能力的你所设计。
探索本项目的文档 »

上手指南 · 报告Bug/提出特性 · 项目源码解析 · discord 群组

更新

  • V1.1.1 增加了使用 Bing 进行翻译的结果,避免大模型解释名词不准确的问题:

    V1.1.1
  • V1.1 增加 TTS,可以划「词/句」朗读:

    • 去除了目标语言解释,增加了 TTS 按钮;
    • 修复了一些小问题,增加了一些提示;
    • 优化了一些界面;
    V1.1

功能介绍

Verbiverse 可以针对阅读外语 PDF 或观看视频时的外语字幕,对不理解的单词、语句结合上下文进行解析,对比词典的生硬翻译、多义词模糊不清的情况有更好的体验:

HomeInterface

  1. 主页界面如下,左侧为导航栏跳转至不同功能页面,主页面整体分为 PDF或视频文件入口与历史文件列表两个部分,点击对应的按钮选择对应文件即可:

    HomeInterface
  2. 主页点击阅读 PDF 打开想要阅读的文档后,工具会自动跳转如下界面,左侧为阅读区、右侧为 LLM 对话区,当选中陌生词汇后鼠标右键可以通过 LLM 进行解析: ReaderInterface ReaderInterface ReaderInterface

  3. 主页点击观看视频选择视频文件后,工具会自动跳转视频播放界面,左侧分为视频播放区、字幕,右侧则是是字幕列表与同文件夹下的其他媒体文件:

    • 工具会自动加载同目录下同名但以 srt 结尾的字幕文件,如果字幕文件无法自动加载可以鼠标右键手动选择添加;

    • 双击字幕中的单词会对单个词进行解析,点击右侧的图标则是对当前字幕语句进行解析:

      VideoInterfac VideoInterfac
  4. 单词本当前没有什么特殊功能,仅仅用于收集作用,有什么好的建议欢迎提出: database

上手指南

预编译包

提供如下平台预编译程序包,下载对应平台程序包执行即可:

源码运行

  1. clone 源码到本地:git clone https://github.com/HATTER-LONG/Verbiverse.git
  2. 使用conda 或 python (>=3.9, <=3.12) venv 创建虚拟环境,推荐使用 conda:
    • 使用 conda:conda create -n Verbiverse python=3.11
      • 激活虚拟环境:conda activate Verbiverse;
    • 使用 venv,进入源码目录后:python3 -m venv ./.venv;source ./venv/bin/activate;
  3. 安装 poetry:
    • 确认已正确启用虚拟环境;
    • pip install -U pip setuptools;pip install poetry;
  4. 安装项目依赖环境:poetry install
    • 需要代理则取消 pyproject.toml[[tool.poetry.source]] 相关注释,然后重新 poetry lock --no-update;
  5. 运行程序:python3 main.py

工具设置

⚠️强烈建议优先使用本地模型或较小的 PDF 文档进行试用,因为工具很多的 prompt 与向量嵌入并没有对 token 进行优化,过大的文件可能会造成大量 token 消耗!!!!

工具的核心功能依赖 LLM,因此在使用前需要配置相应 LLM 的服务信息,工具支持使用本地模型或云端商用模型,当前支持 OpenAI 协议本地工具或商用模型与通义千问商用模型:

  1. 使用商用模型,下图以通义千问为例,如需使用 OpenAI 同理填入对应信息即可: example

  2. 使用本地模型,需要选择 OpenAI 协议,填入本地工具的 LLM 服务地址,使用 LM Studio 为例:

    • LM Studio 安装对应模型:

      example
    • 工具配置:

      example

鸣谢

感谢如下相关开源项目:

For Tasks:

Click tags to check more tools for each tasks

For Jobs:

Alternative AI tools for Verbiverse

Similar Open Source Tools

For similar tasks

For similar jobs