spiderfoot

Присоединяйтесь к нашему Telegram-каналу, чтобы первыми узнавать о новостях, трендах и уникальных материалах по кибербезопасности!

Spiderfoot — это мощный инструмент OSINT (Open Source Intelligence), используемый для автоматического сбора информации о целях из открытых источников.

Установка Spiderfoot

Убедитесь, что у вас установлен Python 3.x.
Клонируйте репозиторий:

git clone https://github.com/smicallef/spiderfoot.git cd spiderfoot

Установите зависимости:

pip install -r requirements.txt

Запустите Spiderfoot:

python3 sf.py -l 127.0.0.1:5001

По умолчанию интерфейс будет доступен по адресу http://127.0.0.1:5001.

Основные функции

OSINT-сканирование — автоматический сбор информации о целях: домены, IP, имена пользователей, электронные адреса и др.
Модульная структура — более 200 модулей для анализа данных.
Интеграция с API — поддержка внешних сервисов, таких как Shodan, VirusTotal, Have I Been Pwned и др.
Отчеты и визуализация — удобное представление собранной информации.

Примеры использования

Сканирование домена

python3 sf.py -s example.com -o output.html

-s — цель (домен, IP, ключевые слова и т.д.)
-o — формат выходных данных (html, csv, json).

Запуск с веб-интерфейсом

python3 sf.py -l 0.0.0.0:5001

Интерфейс доступен по локальному или указанному адресу.

Использование конкретных модулей

Укажите модули вручную:

python3 sf.py -s example.com -m sfp_dnsresolve,sfp_crt -o output.json

Основные модули Spiderfoot

Модуль	Описание
`sfp_dnsresolve`	Разрешение DNS-записей.
`sfp_crt`	Получение данных о сертификатах SSL/TLS.
`sfp_shodan`	Интеграция с Shodan для получения данных об IP.
`sfp_virustotal`	Проверка IP или домена в VirusTotal.
`sfp_haveibeenpwned`	Проверка утечки email-адресов через Have I Been Pwned.
`sfp_geolocate`	Геолокация IP-адресов.
`sfp_email`	Сбор email-адресов, связанных с целью.
`sfp_socialmedia`	Поиск упоминаний в социальных сетях.

Интеграция с API

Для использования API (например, Shodan, VirusTotal):

Зарегистрируйтесь на нужной платформе и получите API-ключ.
Добавьте ключ в настройки Spiderfoot через веб-интерфейс.
- Откройте раздел "API Settings".
- Вставьте API-ключ в соответствующее поле.
Сохраните настройки.

Полезные команды

Список всех модулей:

python3 sf.py -l modules

Сохранение результатов в JSON:

python3 sf.py -s example.com -o output.json

Детализация лога (для отладки):

python3 sf.py -s example.com -d

Примеры анализа

Поиск уязвимостей на сайте:
Используйте модули sfp_dnsresolve, sfp_shodan, sfp_virustotal, чтобы собрать данные о домене.
Анализ IP-адреса:
Подключите геолокацию (sfp_geolocate), Shodan (sfp_shodan) и проверки в черных списках (sfp_blacklist).
Сбор OSINT о человеке:
Используйте модули для социальных сетей (sfp_socialmedia), email (sfp_email) и утечек данных (sfp_haveibeenpwned).