Поиск

Продолжаем серию статей о OSINT. В этой статье будет рассмотрена схема по методам сбора информации о сайте, а также анализе материалов, размещенных на нем, эксперта по osint , Майкла Баззела. Он указал множество инструментов и онлайн-сервисов для анализа. О них сегодня и пойдёт речь. Итак, вот сама схема: Она интересна прежде всего обильным количеством всевозможных инструментов, необходимых для сборов информации. Т.к. схема предельна проста и понятна, не вижу смысл рассматривать ее принцип, поэтому остановимся только на инструментах и сервисах. Прежде всего хотелось бы остановиться на некоторых блоках таблицы - Веб-архив и кэш. Веб-архивы - это сервисы, которые с помощью своих роботов создают электронные копии сайтов преимущественно в автоматическом режиме. В результате, можно посмотреть, как сайт выглядел в определенные промежутки времени. Самый крупных из них - это archive.org, который насчитывает более 373 миллиарда электронных страниц. Также в русском домене присутствуют такие архивы, как web-arhive.ru и webarchiveorg.ru Кэш - некоторые поисковые системы вроде Yandex и Google кэшируют страницы на случай, если они станут недоступны. Однако с помощью кэша можно также посмотреть информацию, которая недавно была удалена с сайта. Чтобы просмотреть кэш страницы в гугле, нужно нажать на зеленую стрелку возле поисковой выдачи с сайтом. Ветка "Аналитика". SpyOnWeb- сервис, позволяющий находить сайты, которые располагаются на одном IP. Поиск осуществляет по pub Adsense, ua Google Analytics, доменному имени, IP адресу и DNS Servers. Может пригодиться, если необходимо найти всю сеть сайтов конкурента. DomainCrawler - репозиторий на питоне. Цель - сбор информации о сайтах . Возможноси: поиск домена, IP , тип веб-сервера, технического стека, электронной почты, страны-хостинга, MetaGenerator. AnalyzeID - аналог SpyOnWeb. Ищет сайты, которые связаны с Adsense , Google Analytics , партнеркой Amazon , электронной почтой. NeardyData - поисковая система, предназначенная специально для поиска исходного кода. Это позволяет искать программные ключевые слова, HTML, JavaScript или CSS код как есть. PubDB - основная информация о сайте + приблизительная его стоимость. Ветка "Инструменты OSINT". Ветка состоит в основном из инструментов, читающих информацию whois. Whois - это служба, которая предоставляет основную информацию о зарегистрированном домене, такую как контактная информация владельца домена, статус доступности домена и компания, в которой зарегистрирован домен (также называемый регистратором). Whois также предоставляет даты регистрации и окончания срока действия домена, а также серверов имен, используемых доменом. Правила ICANN требуют, чтобы все владельцы доменов сохраняли свои контактные данные действительными и актуальными, чтобы предотвратить мошенничество и кражу личных данных. Вкратце опишу только самые крупные сервисы. Whoisology - это обратная база данных whois / ownership, доступная для поиска, с более чем одним миллиардом отдельных записей доменных имен, которые регулярно обновляются. Реверсивный whois используется для расследования киберпреступности / InfoSec, корпоративной разведки, юридических исследований, развития бизнеса Who.is - предоставляет ценную информацию о домене, такую как регистратор домена, статус, срок действия и серверы имен DNS. Результаты сервиса также включают информацию о местонахождении IP и IP, информацию о веб-сервере, доступность соответствующего домена, списки доменов премиум-класса и многое другое. Whois.ru - русскоязычный сервис whois. Кроме основной информации о домене, показывает его описание, если оно есть. DNSTrails - Крупнейший в мире архив историй DNS. Предоставляются данные для компаний, занимающихся вопросами безопасности, исследователей и групп, которым необходимо выполнить детализацию, найти подозрительные изменения в записях DNS и предотвратить мошенническую или преступную деятельность в будущем. Backlinks - бэклинки или обратные ссылки. Любая ссылка, которая ссылается на другой ресурс - является backlinks. Существуют сервисы, позволяющие посмотреть информацию о том, какие сайты ссылаются на искомый ресурс. Один из самых крупных - ahrefs. В русскоязычном сегменте - megaindex, который имеет бесплатную пробную версию с ограничениями. Robots.txt - самый интересный блок в ветке. Файл Robots.txt располагается в корневой папке сайта и служит в первую очередь для поисковых роботов. В этом документе есть своя структура и директивы, этот документ выполняет функцию «фильтра». В Robots.txt владельцы сайта определяют, какой контент они хотят, чтобы поисковые системы сканировали, а какой не должен попасть в общий индекс. В статье про поиск по доркам я указывал пример нахождения нужной информации, которую индексируют сайты. При грамотно настроенном robots.txt эта информация не попала бы в интернет. Посмотреть его можно, дописав к сайту. Пример: https://www.gazprombank.ru/robots.txt. Данный запрос позволяет находить скрытый от поисковиков контент и использовать в своих целях. У нас осталось 2 инструмента - smallseo.tools и metagoofil. Оба этих инструмента интересны и заслуживают внимания. Smallseo.tools - исходя из названия в первую очередь интересен для специалистов поисковой оптимизации (SEO). Однако, на сервисе есть множество полезных инструментов. Анализатор ссылок - показывает открытые все ссылки домена + внешние ссылки на сайт. Google cash checker - показывает дату создания последней архивной копии сайта. Google index checker - показывает количество проиндексированных страниц. Кроме того: инструмент для интернет-пинга, определение IP-адреса определенного домена, анализ домена, определение своего ip и браузера и множество других полезных инструментов. Metagoofil - является инструментом для Kali Linux. А если он попал во встроенный инструментарий Kali, то в пользе этого инструмента не стоит сомневаться. Что же он делает? Он собирает все метаданные с сайта. Работает со следующими типами документов: pdf, doc, xls, ppt, docx, pptx, xlsx. Увы, с изображениями поработать не получится. Вот пример того, как программа собирает информацию о программном обеспечении:

Сегодня мы поговорим с тобой на тему OSINT. Сбор информации из открытых источников — первый этап любого пентеста, и пентеста веб-приложения тоже. Этот этап проводится еще до начала пентеста, чтобы проверить, действительно ли тестируемые объекты принадлежат объекту, или чтобы оценить примерный объем работ для оценки трудозатрат. В методологии этот этап в основном строится на использовании поисковых движков (причем разных, чтобы скомпенсировать ограничения одного преимуществами другого). Здесь тебе на помощь придут операторы поиска и Google Dorks! Google Dorks - мощный инструмент, при помощи которого можно скомпрометировать устройство без лишних телодвижений, используя Google и правильный запрос. Так как эта поисковая система умеет индексировать все, что подключено к интернету, можно найти файлы, оказавшиеся доступными случайно и содержащие конфиденциальную информацию. Google Dorking или дорки представляют собой продвинутые методы использования поисковых операторов и специальных строк для нахождения специфических уязвимых устройств. Если предположить, что Гугл проиндексировал большинство устройств, случайно подключенных к интернету, то мы можем использовать специальный текст со страниц авторизации или административных панелей для поиска этих девайсов. Какие устройства можно найти!? Вы удивитесь, но спектр потенциальных целей довольно широк, начиная от систем управления бассейном на яхте в океане и заканчивая конфигурационными интерфейсами критических систем. Все эти устройства и службы могут оказаться подключенными к интернету, исходя из лучших побуждений, хозяева которых даже не догадываются, что девайс оказался доступным всем и каждому. Как же подобное происходит? Представьте, что у вас появилась камера, доступная через телефон в любое время. После настройки и подключения по Wi-Fi вы скачали приложение для авторизации, и с этого момента у вас есть доступ к камере из любого места! На самом деле, все чуть сложнее. Камера подключается к серверу в Китае и транслирует видеопоток в режиме реального времени, а вы после авторизации можете просматривать видео прямо с телефона. Видеопоток может даже оказаться не защищен паролем и быть доступным всем, кто сформирует правильный запрос для поиска текста, который содержит страница для просмотра трансляции с камеры. К сожалению, Гугл безжалостно эффективен на поприще поиска любых устройств, подключенных к интернету, с запущенными HTTP и HTTPS серверами. Поскольку в большинстве устройств сервер используется для настройки, на всеобщее обозрение попадает многое, что попадать не должно. Какие дорки наиболее полезные? Безусловно, наиболее лакомый файл, который мы можем найти – содержащий учетные записи отдельных пользователей или ко всей службе сразу. Как правило, возможно два сценария. Первый – когда сервер или другая служба настроены некорректно, и административные логи доступны через интернет. В случае смены пароля или неудачи во время авторизации, через эти логи возможна утечка аккаунтов. Второй сценарий – когда становятся доступными конфигурационные файлы, содержащие ту же самую информацию. Предполагается, что эти файлы исключительно для внутреннего пользования, но часто конфиденциальная информация доступна в открытом виде. Оба этих сценария позволяют получить контроль над всей службой в случае, если злоумышленнику удастся найти файлы подобного рода. Мы будем использовать дорки в Гугл с целью поиска не только этих файлов, но и FTP серверов, которые могут содержать интересную информацию, списки электронных почт и доступные вебкамеры. Что понадобится. Вам потребуется браузер и подключение интернету. При использовании дорков для поиска уязвимых систем мы можем использовать инструменты, доступные практически каждому. Откройте браузер и зайдите в google.ru Теперь мы готовы начать. Шаг 1. Поиск FTP серверов и сайтов, работающих по протоколу HTTP Вначале воспользуемся дорком для поиска FTP серверов, опубликованных после 2018 года. Эти сервера позволяют найти файлы, предназначенные для внутреннего пользования, но по незнанию оказавшиеся в публичном доступе. Рисунок 1: Список найденных FTP серверов. Эти сервера становятся публичными, поскольку индексный файл FTP сервера очень любит сканировать Гугл, о чем часто забывают администраторы. После индексации все файлы сервера можно искать через Гугл. Если мы хотим найти небезопасные HTTP-страницы, немного модифицируем запрос выше, изменив «ftp» на «http». В результате поиска можно получить тысячи страниц, использующих HTTP, и готовых к компрометированию. Однако если мы ищем определенный тип сайта, как, например, форум, то модифицируем запрос следующим образом: Мы также можем добавить операторы наподобие AND inurl:"registration", чтобы сделать поиск более целенаправленным (например, небезопасных форм на страницах регистрации). Рисунок 2: Список небезопасных форумов, использующих протокол HTTP Шаг 2. Поиск логов с паролями! Следующий шаг – поиск файлов с расширением .LOG. Файлы подобного рода позволяют выяснить информацию об учетных записях обычных пользователей или администраторов. Для поиска будем использовать следующий дорк: Результаты с логами, доступными через интернет, получаем незамедлительно: Рисунок 3: Во время поиска найден доступный лог проекта OpenCast По логу на рисунке выше видно, что в системе используется стандартный пароль, а сам лог легко найти на сайте проекта OpenCast при помощи простого поискового запроса. В итоге мы, вероятно, обнаружили учетную запись системы без использования изощренных хакерских приемов. Шаг 3. Поиск конфигурационных файлов с паролями Конфигурационные файлы вообще никогда не должны быть доступными извне. Если, к примеру, найти файл с расширением .ENV, содержащий параметр DB_PASSWORD, то, можно сказать, что мы тут же нашли пароль к обнаруженной базе данных. Рисунок 4: Пример конфигурационного файла с паролем к базе данных Если из запроса удалить выражение after:2018, то в результатах появятся более старые конфигурационные файлы, также позволяющие получить доступ к службам через интернет. Шаг 4. Поиск список электронных почт! Сбор списков электронных ящиков – отличный способ поиска информации о различных организациях. Например, эти списки могут использоваться компаниями или школами с целью упорядочивания электронных адресов для своих членов, но часто попадают во всеобщий доступ. Списки электронных почт будем искать в электронных таблицах (файлы с расширением .XLS). В поисковом запросе внутри URL задаем имя файла «email.xls». Рисунок 5: Результаты поиска файлов email.xls Результаты поиска могут оказаться полезными, но следует быть осторожным, чтобы не нарваться на honeypot (горшочек с медом). Многие знают о подобных дорках и намеренно оставляют файлы, которые на первый взгляд кажутся уязвимыми, а на самом деле содержат вредоносы! Шаг 5: Поиск открытых камер Если вы думаете, что Shodan – единственный сервис для поиска открытых камер, то очень ошибаетесь. Обычно страницы авторизации и просмотра камер доступны через HTTP, и Гугл будет счастлив проиндексировать эти документы. Соответственно, найти подобного рода информацию также не составит труда при правильном поисковом запросе. Один из наиболее распространенных запросов содержит имя «top.htm» для поиска в URL вместе с текущем временем и датой. Используя нижеуказанный дорк, вы получите много результатов: Рисунок 6: Результаты поиска открытых камер Ландшафт, снимаемый первой камерой в результатах поиска, больше всего похож заставку в Windows XP и находится где-то в городе Белмаллет (Ирландия). Рисунок 7: Изображение одной из найденных камер Еще один дорк для поиска камер, позволяющий получить отличные результаты для страниц, хранимых на роутерах. При помощи этого дорка я смог найти нечто очень интересное, а конкретно – камеру, следящую за гнездом птиц (birdcam1): Рисунок 8: Одна из камер, найденная во время поиска страниц lvappl.htm Другие камеры не являются столь интересными, как birdcam1. Рисунок 9: Камера внутри коттеджного поселка Также можно найти камеры внутри фабрик и промзон: Рисунок 10: Камера внутри мастерской Все вышеуказанные камеры доступны без пароля. Однако многие дорки позволяют найти страницы авторизации камер, использующих стандартные пароли. Эта тактика хоть и является нелегитимной, но позволяет получить доступ ко многим камерам, которые не предназначены для широкой публики. Заключение. Поскольку Гугл индексирует практически все, что подключено к интернету и имеет веб-интерфейс, мы легко можем найти некорректно настроенные устройства и службы. Однако подключаться к этим девайсам лучше не надо, даже если пароль находится в открытом виде, поскольку могут возникнуть проблемы с правоохранительными органами. Если у вас есть служба, подключенная к интернету, стоит протестировать наиболее популярные дорки на ваших доменах. Вдруг вы случайно оставили нечто важное, что может привлечь внимание злоумышленника. Надеюсь вам понравилось это руководство, посвященное доркам для поиска уязвимых устройств и открытых паролей.