Transformer Debugger - OpenAI开源的理解和分析大模型内部的工具

Transformer Debugger的功能特性

• 无需编码的模型探索：TDB 允许用户在不编写代码的情况下探索模型结构，使得研究和调试过程更加直观和高效。
• 前向传递干预：用户可以干预模型的前向传递过程，观察不同操作如何影响模型的输出，从而更好地理解模型的决策过程。
• 组件级分析：TDB 能够识别并分析对模型行为有显著贡献的特定组件，如神经元、注意力头和自动编码器的潜在表示（latents）。
• 自动生成解释：工具可以自动生成解释，展示导致特定组件激活的原因，帮助用户理解模型的内部工作机制。
• 可视化界面：通过 Neuron viewer，一个基于 React 的应用程序，TDB 提供了一个用户友好的界面，用于展示和分析模型组件的信息。
• 后端支持：Activation server 作为后端服务器，为 TDB 提供必要的数据支持，包括从公共 Azure 存储桶读取和提供数据。
• 模型和数据集支持：开源内容包括 GPT-2 模型及其自动编码器的简单推理库，以及一些整理好的激活数据集示例，方便用户进行实验和分析。

如何安装和设置Transformer Debugger

1. 首先确认电脑上已安装python/pip以及node/npm等工具
2. 建议使用虚拟环境（非必选）

   # 如果已在虚拟环境，先取消激活
   deactivate
   # 创建新的虚拟环境
   python -m venv ~/.virtualenvs/transformer-debugger
   # 激活新的虚拟环境
   source ~/.virtualenvs/transformer-debugger/bin/activate

3. 设置完环境后，按以下步骤操作：

   git clone git@github.com:openai/transformer-debugger.git
   cd transformer-debugger
   
   # 安装神经元解释器
   pip install -e .
   
   # 安装pre-commit钩子
   pre-commit install
   
   # 安装神经元查看器
   cd neuron_viewer
   npm install
   cd ..

4. 要运行 TDB 应用程序，请按照说明设置激活服务器后端和神经元查看器前端。