跳到正文
Hacker News· coding-maniac·· 5 小时前AI 评分48

VoidAccess:开源暗网 OSINT 工具,从查询到关系图谱

Show HN: VoidAccess – open-source dark web OSINT, from query to a graph

AI 导读

VoidAccess 是开源自托管暗网 OSINT 工具,可将暗网研究查询转化为结构化威胁情报,覆盖采集、富化、关系映射与导出全流程。它并行搜索 16+ Tor 搜索引擎及 paste 站点、代码托管平台和威胁情报源,提取 IOC、钱包、凭证等实体并构建共现关系图谱,支持导出 STIX 2.1、MISP、Sigma、YARA 等格式。

正文 · AI 翻译

VoidAccess logo

License: MIT Python 3.10+ Docker Compose PyPI version PyPI downloads

可自托管的 OSINT 工具,用于将暗网研究查询转化为结构化威胁情报。专为安全研究人员、威胁情报团队和授权调查人员打造,他们需要在一个工作流中完成采集、富化、关系映射和导出。

终端输出

VoidAccess

快速开始

pip install voidaccess
voidaccess investigate "LockBit ransomware" --no-llm --no-tor --depth shallow
voidaccess list
voidaccess actors
voidaccess status

VoidAccess investigation demo

功能说明

  • 并行采集 - 搜索 Tor 索引、粘贴站点、代码托管平台、安全信息源以及精选的 .onion 种子。
  • 实体提取 - 发现 IOC、钱包、凭据、账号、漏洞、行为体、恶意软件、人物和组织。
  • 多源富化 - 补充信誉、泄露、被动 DNS、沙箱、区块链和威胁情报上下文。
  • 行为体情报 - 持久化别名、基础设施、笔记、时间线和跨调查关系。
  • 关系图谱 - 构建共现图、社区、路径和基础设施集群。
  • 内容安全 - 在强制流水线关卡处过滤违禁查询、URL、内容和提取出的实体。
  • 结构化导出 - 生成 STIX 2.1、MISP、Sigma、YARA、Snort、Suricata、CSV、Markdown、JSON 和 IOC 包。
  • CLI 与 Web UI - 可使用 SQLite 在本地运行,或作为包含 PostgreSQL 和浏览器界面的 Docker Compose 栈运行。

流水线

阶段 操作
1 使用所选 LLM 优化调查查询
2 并行从 Tor 搜索、粘贴站点、代码托管平台、RSS 信息源和精选种子采集
3 过滤噪声或无关页面
4 从威胁情报源富化查询和早期指标
5 递归发现额外的 .onion 链接
6 从向量缓存中复用最近处理过的页面
7 通过 Tor 获取选定页面,并限制响应大小
8 持久化新采集的内容
9 合并采集到的和富化后的情报
10 使用正则表达式、NER 和可选的 LLM 分析提取实体
11 将实体与历史数据集和种子数据集进行交叉比对
12 构建关系、社区和基础设施集群
13 生成最终情报摘要和可导出的结果

完整流水线行为、超时、恢复和数据流记录在 Architecture 中。

实体类型

类别 示例
加密货币 Bitcoin、Ethereum、Monero、Litecoin、Zcash、Solana、Tron、ENS
网络指标 IPv4、IPv6、域名、URL、.onion 地址、MAC 地址、PGP 密钥
文件指标 MD5、SHA-1、SHA-256、恶意软件家族
凭据 云密钥、令牌、JWT、API 密钥、窃密日志、组合列表条目
即时通讯 Telegram、Discord、XMPP、Tox、Session、Matrix、Wire、ICQ、Wickr
漏洞 CVE、MITRE ATT&CK 技术和战术、Exploit-DB ID
检测内容 YARA 规则、Nuclei 模板、Snort 和 Suricata 指标
威胁情报 行为体账号、勒索软件组织、粘贴链接、人物、组织、地点

采集与富化

层 来源
暗网搜索 16+ 个 Tor 搜索引擎和精选的 .onion 种子
开放网络采集 Pastebin、dpaste、paste.ee、Rentry、GitHub、GitLab 和精选 RSS 信息源
威胁信息源 AlienVault OTX、abuse.ch、MalwareBazaar、ThreatFox、URLhaus、ransomware.live、CISA KEV
IP 和域名上下文 Shodan InternetDB、GreyNoise、AbuseIPDB、Feodo Tracker、C2IntelFeeds、crt.sh、URLScan.io、Wayback Machine、CIRCL PDNS、RDAP
文件和身份上下文 VirusTotal、Hybrid Analysis、Have I Been Pwned、EmailRep
区块链 BlockCypher 和 Etherscan

需要 API 密钥的来源在缺少密钥时会干净地跳过。完整的密钥和配置参考见 Architecture。

可选的向量嵌入

默认安装无需 PyTorch 即可运行。当嵌入组件不可用时,VoidAccess 会记录其正在使用确定性的 SHA-256 回退编码器。安装可选的 NLP 依赖项以启用完整的 sentence-transformer 向量嵌入:

pip install "voidaccess[nlp]"

LLM 提供商

提供商 典型模型 说明
OpenRouter DeepSeek、Llama、Claude 默认路由;提供免费模型
Groq Llama 快速托管推理,提供免费套餐
OpenAI GPT 模型 需要 API 密钥
Anthropic Claude Claude Haiku 为经过测试的默认模型
Google Gemini Gemini Flash 和 Pro 需要 Google AI Studio 密钥
Ollama 任意已安装的本地模型 本地运行,适合隔离网络部署

CLI 参考

命令 描述
voidaccess investigate "QUERY" 运行一次调查
voidaccess show 打开交互式实体浏览器
voidaccess export INVESTIGATION_ID --format FORMAT 导出为 STIX、MISP、Sigma、YARA、Snort、Suricata、package、CSV、Markdown 或 JSON
voidaccess package INVESTIGATION_ID 构建 IOC 包 ZIP
voidaccess enrich INVESTIGATION_ID 重新丰富已保存的调查
voidaccess list 列出已保存的调查
voidaccess status 显示配置、Tor、缓存、引擎和种子状态
voidaccess actors 列出持久化行为者档案
voidaccess actor HANDLE 显示行为者档案
voidaccess actor HANDLE --timeline 显示行为者活动时间线
voidaccess actor HANDLE --note "TEXT" 向行为者档案添加分析师备注
voidaccess timeline HANDLE 直接打开行为者时间线
voidaccess configure 运行设置向导
voidaccess configure llm 配置 LLM 提供商、模型和密钥
voidaccess configure keys 配置丰富 API 密钥
voidaccess configure tor 覆盖 Tor 代理主机和端口
voidaccess version 打印已安装版本

可选的明网请求可使用 ScrapingAnt,配合 --use-scraping-api 或 --use-proxies;Tor、.onion、GitHub 和 GitLab 流量不受影响。

自托管

使用 Docker Compose 运行完整的 PostgreSQL、Tor、FastAPI 和 Next.js 技术栈。自托管指南涵盖引导式设置、环境配置、运维和故障排除。

链接

自托管指南 Docker Compose、环境设置、运维和故障排除
架构 流水线内部机制、模块、模式、API、丰富、图谱和配置参考
贡献 开发设置、标准和拉取请求
安全 支持的版本和私密漏洞报告
使用政策 授权使用要求和禁止活动
PyPI 已发布的包和发布文件
GitHub 源代码、问题和发布

许可证

MIT。仅将 VoidAccess 用于授权的安全研究和威胁情报工作;请参阅使用政策。

来源:Hacker News · github.com