VoidAccess:开源暗网 OSINT 工具,从查询到关系图谱
Show HN: VoidAccess – open-source dark web OSINT, from query to a graph
VoidAccess 是开源自托管暗网 OSINT 工具,可将暗网研究查询转化为结构化威胁情报,覆盖采集、富化、关系映射与导出全流程。它并行搜索 16+ Tor 搜索引擎及 paste 站点、代码托管平台和威胁情报源,提取 IOC、钱包、凭证等实体并构建共现关系图谱,支持导出 STIX 2.1、MISP、Sigma、YARA 等格式。
可自托管的 OSINT 工具,用于将暗网研究查询转化为结构化威胁情报。专为安全研究人员、威胁情报团队和授权调查人员打造,他们需要在一个工作流中完成采集、富化、关系映射和导出。
终端输出
快速开始
pip install voidaccess
voidaccess investigate "LockBit ransomware" --no-llm --no-tor --depth shallow
voidaccess list
voidaccess actors
voidaccess status功能说明
- 并行采集 - 搜索 Tor 索引、粘贴站点、代码托管平台、安全信息源以及精选的
.onion种子。 - 实体提取 - 发现 IOC、钱包、凭据、账号、漏洞、行为体、恶意软件、人物和组织。
- 多源富化 - 补充信誉、泄露、被动 DNS、沙箱、区块链和威胁情报上下文。
- 行为体情报 - 持久化别名、基础设施、笔记、时间线和跨调查关系。
- 关系图谱 - 构建共现图、社区、路径和基础设施集群。
- 内容安全 - 在强制流水线关卡处过滤违禁查询、URL、内容和提取出的实体。
- 结构化导出 - 生成 STIX 2.1、MISP、Sigma、YARA、Snort、Suricata、CSV、Markdown、JSON 和 IOC 包。
- CLI 与 Web UI - 可使用 SQLite 在本地运行,或作为包含 PostgreSQL 和浏览器界面的 Docker Compose 栈运行。
流水线
| 阶段 | 操作 |
|---|---|
| 1 | 使用所选 LLM 优化调查查询 |
| 2 | 并行从 Tor 搜索、粘贴站点、代码托管平台、RSS 信息源和精选种子采集 |
| 3 | 过滤噪声或无关页面 |
| 4 | 从威胁情报源富化查询和早期指标 |
| 5 | 递归发现额外的 .onion 链接 |
| 6 | 从向量缓存中复用最近处理过的页面 |
| 7 | 通过 Tor 获取选定页面,并限制响应大小 |
| 8 | 持久化新采集的内容 |
| 9 | 合并采集到的和富化后的情报 |
| 10 | 使用正则表达式、NER 和可选的 LLM 分析提取实体 |
| 11 | 将实体与历史数据集和种子数据集进行交叉比对 |
| 12 | 构建关系、社区和基础设施集群 |
| 13 | 生成最终情报摘要和可导出的结果 |
完整流水线行为、超时、恢复和数据流记录在 Architecture 中。
实体类型
| 类别 | 示例 |
|---|---|
| 加密货币 | Bitcoin、Ethereum、Monero、Litecoin、Zcash、Solana、Tron、ENS |
| 网络指标 | IPv4、IPv6、域名、URL、.onion 地址、MAC 地址、PGP 密钥 |
| 文件指标 | MD5、SHA-1、SHA-256、恶意软件家族 |
| 凭据 | 云密钥、令牌、JWT、API 密钥、窃密日志、组合列表条目 |
| 即时通讯 | Telegram、Discord、XMPP、Tox、Session、Matrix、Wire、ICQ、Wickr |
| 漏洞 | CVE、MITRE ATT&CK 技术和战术、Exploit-DB ID |
| 检测内容 | YARA 规则、Nuclei 模板、Snort 和 Suricata 指标 |
| 威胁情报 | 行为体账号、勒索软件组织、粘贴链接、人物、组织、地点 |
采集与富化
| 层 | 来源 |
|---|---|
| 暗网搜索 | 16+ 个 Tor 搜索引擎和精选的 .onion 种子 |
| 开放网络采集 | Pastebin、dpaste、paste.ee、Rentry、GitHub、GitLab 和精选 RSS 信息源 |
| 威胁信息源 | AlienVault OTX、abuse.ch、MalwareBazaar、ThreatFox、URLhaus、ransomware.live、CISA KEV |
| IP 和域名上下文 | Shodan InternetDB、GreyNoise、AbuseIPDB、Feodo Tracker、C2IntelFeeds、crt.sh、URLScan.io、Wayback Machine、CIRCL PDNS、RDAP |
| 文件和身份上下文 | VirusTotal、Hybrid Analysis、Have I Been Pwned、EmailRep |
| 区块链 | BlockCypher 和 Etherscan |
需要 API 密钥的来源在缺少密钥时会干净地跳过。完整的密钥和配置参考见 Architecture。
可选的向量嵌入
默认安装无需 PyTorch 即可运行。当嵌入组件不可用时,VoidAccess 会记录其正在使用确定性的 SHA-256 回退编码器。安装可选的 NLP 依赖项以启用完整的 sentence-transformer 向量嵌入:
pip install "voidaccess[nlp]"LLM 提供商
| 提供商 | 典型模型 | 说明 |
|---|---|---|
| OpenRouter | DeepSeek、Llama、Claude | 默认路由;提供免费模型 |
| Groq | Llama | 快速托管推理,提供免费套餐 |
| OpenAI | GPT 模型 | 需要 API 密钥 |
| Anthropic | Claude | Claude Haiku 为经过测试的默认模型 |
| Google Gemini | Gemini Flash 和 Pro | 需要 Google AI Studio 密钥 |
| Ollama | 任意已安装的本地模型 | 本地运行,适合隔离网络部署 |
CLI 参考
| 命令 | 描述 |
|---|---|
voidaccess investigate "QUERY" |
运行一次调查 |
voidaccess show |
打开交互式实体浏览器 |
voidaccess export INVESTIGATION_ID --format FORMAT |
导出为 STIX、MISP、Sigma、YARA、Snort、Suricata、package、CSV、Markdown 或 JSON |
voidaccess package INVESTIGATION_ID |
构建 IOC 包 ZIP |
voidaccess enrich INVESTIGATION_ID |
重新丰富已保存的调查 |
voidaccess list |
列出已保存的调查 |
voidaccess status |
显示配置、Tor、缓存、引擎和种子状态 |
voidaccess actors |
列出持久化行为者档案 |
voidaccess actor HANDLE |
显示行为者档案 |
voidaccess actor HANDLE --timeline |
显示行为者活动时间线 |
voidaccess actor HANDLE --note "TEXT" |
向行为者档案添加分析师备注 |
voidaccess timeline HANDLE |
直接打开行为者时间线 |
voidaccess configure |
运行设置向导 |
voidaccess configure llm |
配置 LLM 提供商、模型和密钥 |
voidaccess configure keys |
配置丰富 API 密钥 |
voidaccess configure tor |
覆盖 Tor 代理主机和端口 |
voidaccess version |
打印已安装版本 |
可选的明网请求可使用 ScrapingAnt,配合 --use-scraping-api 或 --use-proxies;Tor、.onion、GitHub 和 GitLab 流量不受影响。
自托管
使用 Docker Compose 运行完整的 PostgreSQL、Tor、FastAPI 和 Next.js 技术栈。自托管指南涵盖引导式设置、环境配置、运维和故障排除。
链接
| 自托管指南 | Docker Compose、环境设置、运维和故障排除 |
| 架构 | 流水线内部机制、模块、模式、API、丰富、图谱和配置参考 |
| 贡献 | 开发设置、标准和拉取请求 |
| 安全 | 支持的版本和私密漏洞报告 |
| 使用政策 | 授权使用要求和禁止活动 |
| PyPI | 已发布的包和发布文件 |
| GitHub | 源代码、问题和发布 |
许可证
MIT。仅将 VoidAccess 用于授权的安全研究和威胁情报工作;请参阅使用政策。
来源:Hacker News · github.com


