MENU

导入shodan导出的json数据到mongodb数据库

事情起因

年底冒泡,闲来瞎搞

上次有幸1美元搞到shodan的终身会员,一个月可以下载20次数据,每次10000条上限

无聊存一下shodan上能搜索到的phpmyadmin的数据

申明:本文所用到的数据均来自合法来源并且仅供测试使用,本人已于24小时内删除

shodan下载数据

shodan是比较老牌的网络空间安全引擎,主要功能是搜索网上公开的各种数据库和网站

可配合msf使用,但是个人觉得网业上左边的分类快捷跳转比较方便

可以看到中国在网络上能搜索到的phpmyadmin服务器大概有11000多台,刚好shodan1积分能下载10000条数据

我就下载了10000条数据

下载时选择格式,XML已经不建议被使用,于是我下载了json

打开下载完的数据看一眼,发现是按行排列的

尝试着用navicat的导入功能直接导入格式化过的json数据失败了,于是直接莽mongodb数据库

mongodb数据库导入

也尝试过了用navicat导入mongodb数据库,也是一样的显示json数据没有标准化

mongodb的安装在以前的文章介绍过了:《Win10 安装 mongodb》

安装后我们进入mongodb默认的路径:

C:\Program Files\MongoDB\Server\4.2\bin

在此处打开cmd,输入:

mongo.exe

打开mongodb命令行交互,创建一个数据库:

use shodan

exit退出使用mongoimport.exe导入json数据:

mongoimport.exe --db shodan_data --collection phpmyadmin_data --file E:\share\shodan-export.json\shodan_data.json

db是我们创建的数据库(其实不创建直接指定也可以),collection是集合名称,类似mysql中的表

file指定的是我们下载下来的shodanjson文件:

导入2,3秒就好了,用navicat打开看一眼:

嗯,数据已经导入完毕了,可以开始批量。。???我在说什么?

PS:navicat作为显示数据库的工具还是非常优秀的,但是导入数据这方面做的真心差

本文完。