Open-NotebookLM
访问网站
扫码查看
复制链接

将PDF文件转换成多人对话播客的开源工具

标签：Gradio , Llama 3 , NotebookLM , PDF转播客 , TTS , 人工智能 , 开源 , 文本转语音

Open-NotebookLM

AI商业应用 / 音频播客43 次浏览

综合介绍

Open-NotebookLM是一个开源项目，它的核心功能是读取PDF文件的内容，并将其转换成一段多人对话风格的播客音频。这个工具的设计灵感来源于谷歌的NotebookLM，但它完全使用开源的大语言模型和文本转语音（TTS）模型来实现。用户只需要上传一个PDF文件，该工具就能自动分析文本，生成一段听起来自然且内容丰富的对话脚本，最后合成为MP3格式的音频文件。这为处理和消费信息提供了一种新的方式，尤其适合那些长篇的、信息密集的文档，比如学术论文、研究报告或深度文章。通过将阅读材料转换成播客，用户可以在通勤、运动或其他不便阅读的场景下，通过收听的方式来学习和吸收知识。项目主要构建在Llama 3.3 70B大语言模型、MeloTTS和Bark语音生成模型以及Gradio用户界面库之上。

功能列表

  • PDF转播客：支持上传PDF文件，并将其核心内容自动转换为播客形式的MP3音频文件。
  • 生成对话脚本：利用大语言模型将复杂的书面文本内容，改编成一个信息丰富且易于理解的多人对话。
  • 多种语言支持：该工具支持生成包括中文在内的13种不同语言的播客。
  • 开源实现：项目基于多个开源技术构建，包括Llama 3模型和MeloTTS语音模型，所有代码开放。
  • 简单的操作界面：使用Gradio构建了对用户友好的网页操作界面，用户只需在网页上进行点击操作即可完成转换。
  • 个性化播客：为用户提供一种将任何文档转变为个人定制化播客节目的能力。

使用帮助

Open-NotebookLM是一个功能强大的工具，但它的安装和初次使用需要一些基础的命令行操作知识。以下是详细的步骤说明，旨在帮助你从零开始成功运行这个程序。

第一步：准备运行环境

在开始安装之前，你需要确保电脑上已经安装了Git和Python（建议使用Python 3.8或更高版本）。Git用于从GitHub上克隆项目代码，而Python是运行该程序所必需的。

第二步：安装项目

  1. 克隆代码仓库打开你电脑的终端（在Windows上是命令提示符或PowerShell，在macOS或Linux上是Terminal），然后输入以下命令，将项目的代码下载到你的本地电脑。 
    git clone https://github.com/gabrielchua/open-notebooklm.git
```    这个命令会创建一个名为`open-notebooklm`的文件夹。
  2. 进入项目目录使用cd命令进入刚刚创建的文件夹。 
    cd open-notebooklm
  3. 创建并激活虚拟环境为了避免与你电脑上其他Python项目产生依赖冲突，创建一个独立的虚拟环境是一个好习惯。在项目目录中运行以下命令来创建虚拟环境： 
    python -m venv .venv

    创建完成后，你需要激活这个环境。

    • 在macOS或Linux系统上，使用这个命令： 
      source .venv/bin/activate
    • 在Windows系统上，使用这个命令： 
      .venv\Scripts\activate

    激活成功后，你会在终端命令行的前面看到(.venv)的字样。

  4. 安装依赖包项目所需要的所有第三方库都记录在requirements.txt文件中。运行以下命令来自动安装这些库： 
    pip install -r requirements.txt

    这个过程可能会需要一些时间，因为它需要下载并安装多个Python包。

第三步：配置API密钥

Open-NotebookLM使用Fireworks AI平台托管的Llama 3.3 70B模型来生成对话内容。因此，你需要一个Fireworks AI的API密钥才能运行此程序。

  1. 获取API密钥
    • 访问Fireworks AI的官方网站并注册一个账户。
    • 登录后，在你的账户设置或API密钥管理页面找到并创建一个新的API密钥。
  2. 设置环境变量获取API密钥后，你需要将其设置为一个环境变量，这样程序才能访问到它。在终端中，你需要设置一个名为FIREWORKS_API_KEY的环境变量。
    • 在macOS或Linux系统上，使用export命令： 
      export FIREWORKS_API_KEY="你的API密钥字符串"
    • 在Windows的**命令提示符(CMD)**中，使用set命令： 
      set FIREWORKS_API_KEY="你的API密钥字符串"
    • 在Windows的PowerShell中，使用$env:： 
      $env:FIREWORKS_API_KEY="你的API密钥字符串"

    注意：这种在终端设置环境变量的方式是临时的，关闭终端后就会失效。如果你希望永久生效，需要将其添加到系统的环境变量配置中。

第四步：运行并使用

完成以上所有配置后，你就可以运行程序了。

  1. 启动程序在已经激活虚拟环境并设置好API密钥的终端中，运行以下命令： 
    python app.py
  2. 访问操作界面程序成功启动后，你会在终端看到类似下面的一行输出：Running on local URL: http://127.0.0.1:7860这表示程序已经在你的本地电脑上成功运行。复制这个URL地址，并将其粘贴到你的网页浏览器（如Chrome、Firefox）的地址栏中并打开。
  3. 上传PDF文件在打开的网页界面上，你会看到一个用于上传文件的区域。点击它，然后从你的电脑中选择一个你想要转换成播客的PDF文件。
  4. 生成播客上传文件后，点击界面上的“生成”或类似的按钮。程序会开始处理这个PDF文件，这个过程包括读取文本、调用大语言模型生成对话脚本，以及使用文本转语音模型合成音频。处理时间取决于PDF文件的大小和复杂程度。
  5. 下载音频文件当处理完成后，界面上会提供一个MP3音频文件的下载链接。你可以直接播放它，或者将其下载到你的电脑上。至此，你就成功地将一个PDF文档转换成了一段播客。

应用场景

  1. 学生和研究人员的移动学习对于需要阅读大量学术论文、期刊文章或研究报告的学生和学者来说，长时间盯着屏幕阅读会非常疲劳。他们可以使用Open-NotebookLM将这些PDF文档转换成播客。这样，他们就可以在通勤、健身、散步或做家务时，利用碎片化时间通过听的方式来学习和回顾研究内容，提高了学习效率。
  2. 内容创作者的素材再利用博客作者、记者或作家可以将他们已经发表过的文章、报告或电子书转换成播客节目。这不仅为他们的受众提供了另一种消费内容的形式，也帮助他们轻松地将现有内容扩展到音频平台，吸引新的听众群体，而无需重新录制和剪辑。
  3. 提升信息的可访问性对于有视觉障碍或阅读困难（如诵读困难症）的用户，纯文本的数字内容消费起来有很大障碍。该工具可以将重要的PDF文档（例如官方报告、产品手册或新闻通讯）转换为音频格式，使这部分人群能够通过听觉平等地获取信息，提升了信息的包容性和可访问性。

QA

  1. Open-NotebookLM是什么？它是一个开源的软件工具，能读取用户上传的任何PDF文件，并利用人工智能技术将其内容转换成一段多人对话形式的播客（MP3音频文件）。
  2. 使用这个工具需要付费吗？该工具本身是开源且免费的，但它依赖一个名为Fireworks AI的第三方服务来生成对话内容。你需要注册Fireworks AI并获取API密钥，使用该服务可能会产生费用，具体取决于你的使用量。
  3. 这个工具主要使用了哪些技术？它主要使用了几种前沿的开源技术：用于生成对话内容的Llama 3.3 70B大语言模型；用于将文字转换为语音的MeloTTS和Bark模型；用于读取PDF内容的Jina Reader；以及用于构建用户操作界面的Gradio框架。
  4. 我需要懂编程才能使用它吗？安装和初次运行需要一些基本的命令行操作，比如克隆代码仓库、安装依赖包和设置环境变量。但是，一旦安装完成，你就可以通过一个非常简单的网页界面来使用它，后续的操作就不再需要任何编程知识了。
微信微博Email复制链接