教你如何搭建威胁情报库 老男孩网络安全周末班

    /    2019-09-09

一、前言

威胁情报是一种基于数据的,对组织即将面临的攻击进行预测的行动。预测(基于数据)将要来临的的攻击。威胁情报利用公开的可用资源,预测潜在的威胁,可以帮助你在防御方面做出更好的决策。 在企业或政府乃至国家,拥有一个高准确度,大数据量的威胁情报库是至关重要的。

二、简介

本文主要针对是初学者,刚起步的搭建自己的威胁情报库的企业,通过简单便捷的python脚本来搭建自己的恶意ip数据库。此恶意数据库的IP来源于国外较为权威的威胁情报。本文只是讲述其中的黑名单ip如何搜集,方向还可以拓展为恶意域名,恶意证书,可用类似方法。之所以要收录国外的开源情报威胁库,更大程度上是因为国内各个网络安全公司不会将自己的数据库分享,也是用与我一样的思路爬取国外信息为主。

三、黑名单IP(C&C,恶意软件,垃圾邮件,网络爬虫)

首先,代码将从国外权威平台的威胁情报源下载黑名单IP列表,其中包含(c2 服务器,垃圾邮件,网络爬虫,间谍软件和其他恶意软件)。并且在收集含有黑名单ip的文件同时,还需要聚合筛选数据,只提取重要可用的数据。

我们需要将下面的命令写入cron中,可用来每5分钟自动下载一次黑名单IP

"""
crontab -e
"""

在配置文件中添加下面三行

"""
*/5 * * * * cd && wget http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt
*/5 * * * * cd && wget reputation.alienvault.com/reputation.data
*/5 * * * * cd && wget https://myip.ms/files/blacklist/general/latest_blacklist.txt

在Home中,创建新py文件叫merge.py

"""
Filename: merge.py
Arthor:Mike
Date:2019.8.5
"""

打开文件

c2=open("c2-ipmasterlist.txt","r")
bl=open("latest_blacklist.txt","r")
reputation=open("reputation.data","a")

以行来分开下载的数据

for line in c2:
  ip = line.split(',')
  reputation.write(ip[0]+ ",c2\n")
for line in bl:
  ip = line.split()
  try:
    reputation.write(ip[0]+ "\n")
  except:
    pass

在执行代码之前,还需要添加一个命令在cron文件中,它会用下面的命令每5分钟导入黑名单IP列表:

打开cron的配置文件

crontab -e

添加运行每5分钟一次的merge.py文件,用于拓展黑名单数据量。

然后再重启cmikewhorontab服务:

service cron restart

这张截图显示merge.py所结合的恶意ip,域名的总文件

再次创建新py文件,检查IP是否被列入收录中的黑名单。

import mmap

打开IP收录文件,检测流量中的IP是否在黑名单中

file = open("reputation.data")
IP ='207.241.231.146'
s = mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ)
if s.find(IP) != -1:
  print "This "+IP+" is blacklisted"
  file.close()

四、总结

本文简单地描述如何利用开源威胁情报,帮助我们更好的防护网络不受到恶意的攻击。阅读者可以展开思维,通过爬虫技术去搜集各个情报源的C2数据库。

五、提示

经提示因为配置文件不同,可能造成一些同学无法启动crontab。这里为更详细的教程图解帮助大家配置威胁情报库。

开启crontab日志

crontab默认情况下是不执行开启日子的,所以一开始写完后,不能执行,想查看日志,却找不到。所以先开启定时任务的日志来查看

修改rsyslog服务,将 /etc/rsyslog.d/50-default.conf 文件中的 #cron.* 和#daedon.* 前的 # 删掉;

用以下命令重启rsyslog服务:

service rsyslog restart

然后再重启crontab服务:

service cron restart


*本文作者:mikewho,转载须注明来自FreeBuf.COM

(0)

分享至

香港马会资枓大全2019 梅河口市| 濉溪县| 宿松县| 黄浦区| 遵义市| 龙州县| 平泉县| 荃湾区| 旬阳县| 蓝田县| 惠水县| 临武县| 南投县| 常德市| 时尚| 炉霍县| 全椒县| 社旗县| 黔江区| 绥江县| 辉南县| 公安县| 枣阳市| 广宗县| 昌黎县| 绿春县| 忻城县| 克东县| 乳山市| 青海省| 台州市| 浦北县| 岑巩县| 行唐县| 台湾省| 玉树县| 正安县| 磴口县| 彰化县| 西畴县| 南阳市| 比如县| 临江市| 浠水县| 山丹县| 彰化县| 沙雅县| 沙湾县| 娄烦县| 集贤县| 广平县| 阿克陶县| 北票市| 公主岭市| 金坛市| 株洲县| 浪卡子县| 嘉鱼县| 海南省| 城市| 黄大仙区| 商南县| 舒城县| 海安县| 滦平县| 华坪县| 漳州市| 长岭县| 紫云| 藁城市| 高青县| 丹寨县| 佳木斯市| 正镶白旗| 卓尼县| 苏尼特左旗| 娄底市| 昭通市| 古蔺县| 德兴市| 科技| 定兴县| 安龙县| 承德县| 大名县| 樟树市| 日土县| 平凉市| 嘉义市| 鸡东县| 克东县| 晋城| 古蔺县| 余庆县| 淅川县| 昌平区| 常宁市| 孟连| 汉中市| 铜山县| 陆川县| 徐水县| 佛山市| 江油市| 蒙山县| 天门市| 南汇区| 黄梅县| 金塔县| 安丘市| 平遥县| 盐津县| 二连浩特市| 元朗区| 育儿| 金沙县| 吕梁市| 镇巴县| 康定县| 建水县| 海南省| 延津县| 克山县| 邢台县| 合山市| 睢宁县| 水富县| 彩票| 万宁市| 加查县| 阳泉市| 应用必备| 大埔县| 巫溪县| 五莲县| 延寿县| 方山县| 雅安市| 上饶市| 永年县| 天峨县| 襄汾县| 浠水县| 鲜城| 彭山县| 遵义县| 越西县| 金堂县| 西昌市| 平南县| 万山特区| 双鸭山市| 若羌县| 兰溪市| 沐川县| 乌兰浩特市| 石泉县| 商丘市| 琼海市| 扎兰屯市| 辽阳市| 衡山县| 高密市| 宜良县| 长垣县| 怀仁县| 金阳县| 湖北省| 崇信县| 竹山县| 错那县| 隆安县| 福海县| 开化县| 仙桃市| 中山市| 双流县| 华坪县| 炎陵县| 聊城市| 汕尾市| 温州市| 辛集市| 万宁市| 汨罗市| 图片| 隆化县| 象州县| 永清县| 莱西市| 峨眉山市| 会同县| 伊宁市| 长泰县| 浦北县| 万盛区| 萍乡市| 富锦市| 台南市| 汤阴县| 深州市| 公安县| 社会| 达日县| 松原市| 广饶县| 筠连县| 临沧市| 巫山县| 马山县| 临颍县| 正镶白旗| 开江县| 南城县| 南靖县| 定南县| 定边县| 抚顺市| 宽甸| 会理县| 右玉县| 滁州市| 南城县| 广东省| 东兴市| 信宜市| 西峡县| 微山县| 甘南县| 德清县| 辛集市| 安阳县| 镇巴县| 嘉祥县| 滦平县| 峡江县| 宁强县| 白水县| 隆德县| 博乐市| 朔州市| 和硕县| 闵行区| 托里县| 博白县| 武平县| 石景山区| 老河口市| 亚东县| 怀来县| 通江县| 宜兴市| 荆门市| 定结县| 原阳县| 汕尾市| 邹平县| 临朐县| 安康市| 桃源县| 义马市| 澎湖县| 浦东新区| 汉源县| 怀柔区| 赤峰市| 宜良县| 乐都县| 灌云县| 金湖县| 逊克县| 金溪县| 晋中市| 宝坻区| 长治市| 台北市| 麻栗坡县| 客服| 黑龙江省| 洪江市| 中西区| 南通市| 日喀则市| 东方市| 昭通市| 和平区| 五家渠市| 湘潭市| 徐州市| 山西省| 巩留县| 定南县| 张家川| 资兴市| 北宁市| 泗水县| 雅安市| 汽车| 名山县| 塔城市| 景东| 中牟县| 文登市| 嘉定区| 肃宁县| 越西县| 望奎县| 深水埗区| 泗洪县| 台南市| 海宁市| 邛崃市| 睢宁县| 利辛县| 曲阜市| 昆明市| 石首市| 江都市| 红桥区| 红原县| 宿州市| 山阳县| 巢湖市| 永福县| 南投县| 灵石县| 天全县| 长白| 富宁县| 达孜县| 巫溪县| 丰顺县| 武夷山市| 固原市| 雷州市| 鄂尔多斯市| 新巴尔虎左旗| 格尔木市| 岳阳县| 朝阳市| 汶上县| 城市| 濉溪县| 大田县| 高青县| 临泉县| 盐城市| 乌审旗| 元江| 邓州市| 曲沃县| 青海省| 厦门市| 蒲江县| 昌江| 河间市| 威信县| 新河县| 上饶县| 晴隆县| 库车县| 子长县| 哈巴河县| 汕头市| 茌平县| 灵寿县| 周口市| 静海县| 都江堰市| 曲阳县| 宁远县| 麻阳| 镇宁| 会理县| 黎城县| 乾安县| 宜春市| 茂名市| 咸丰县| 舞阳县| 东台市| 河曲县| 洪江市| 农安县| 富顺县| 榆社县| 兰西县| 枣庄市| 遵义市| 青海省| 临漳县| 江孜县| 那曲县| 汉川市| 苏州市| 乐东| 铁力市| 神池县| 湘阴县| 桃园县| 新干县| 洛南县| 勃利县| 漳州市| 潜江市| 新宁县| 东阿县| 屏南县| 郑州市| 宁国市| 福清市| 钟祥市| 宁化县| 黄骅市| 长阳| 当涂县| 鸡东县| 喜德县| 杨浦区| 郁南县| 当涂县| 五河县| 县级市| 旌德县| 太康县| 临武县| 大渡口区| 泽库县| 阳朔县| 泗阳县| 赤城县| 岳池县| 乾安县| 华蓥市| 太和县| 桂东县| 江源县| 民县| 昭觉县| 楚雄市| 道孚县| 田东县| 尤溪县| 三门县| 荥阳市| 时尚| 高唐县| 泰州市| 陕西省| 左云县| 阆中市| 普兰店市| 汶上县| 蓬安县| 丘北县| 龙陵县| 贵阳市| 筠连县| 寻乌县| 如皋市| 旅游| 潼南县| 呈贡县| 珠海市| 资溪县| 呼图壁县| 海南省| 陈巴尔虎旗| 若尔盖县| 社会| 柯坪县| 金坛市| 锡林郭勒盟| 惠安县| 延津县| 清流县| 十堰市| 宝清县| 盐山县| 新津县| 故城县| 黄石市| 静宁县| 馆陶县| 涟水县| 西贡区| 和林格尔县| 贺州市| 昌都县| 陆良县| 焉耆| 焦作市| 新邵县| 诸暨市| 潼关县| 武冈市| 廉江市| 游戏| 分宜县| 万山特区| 凤阳县| 会泽县| 西吉县| 新营市| 扬州市| 颍上县| 石门县| 原阳县| 庐江县| 兴安盟| http://www.gz1980benefitc.fun http://www.yqo8j0rl7v.fun http://m.gz1980puzpc.fun http://m.bo2020returns.fun http://m.yqo6j7rl8v.fun http://www.yqo3j3rl5v.fun http://www.gz1980chazberc.fun http://wap.gz1980treatc.fun http://wap.bo2020huzors.fun http://m.yqo7j5rl7v.fun http://www.gz1980poolc.fun http://wap.gz1980topc.fun http://wap.bo2020appeals.fun http://m.yqo4j7rl5v.fun http://wap.jvz1j5r2o.fun