Hacker News · AI· Schlagbohrer·· 13 小时前AI 评分70
Neuron Explorer for Qwen3.5-4B:实现每层神经元的可视化与定向编辑
Neuron Explorer for Qwen3.5-4B: See every neuron at work, make targeted edits
AI 摘要
该项目是一个面向 Qwen3.5-4B 的神经元探索工具,通过 vLLM 的 steering fork 在本地 GPU 上运行,实现对 MLP 神经元激活的可视化与干预。用户可通过 3D 视图观察各层神经元分布,并基于提示词进行正向或负向刺激,查看其对输出的影响。
工具支持多种分析功能,包括按词簇质量排序单元、搜索特定 token 的 lens、生成 UMAP 嵌入图以及记录多轮对话中的神经元行为。所有数据均保存在 runs/ 和 stats/ 目录中,便于后续分析与复现。此外,该工具还集成了 Claude CLI 作为 MCP server,允许通过自然语言指令操作模型状态。
实验部分使用 CUDA 13 GPU pod 完成 sweep 测试,覆盖多个层级与剂量设置,输出包含 logprobs、activation extremes 及 coherence 等指标。整体架构强调可解释性与可控性,适用于对模型内部机制感兴趣的研究者或开发者。
来源:Hacker News · AI · github.com