使用 Suricata 设定预警规则，收集 pcap，导出流量文件，联动 lua 脚本

<h1 id="suricata-">Suricata 基础使用</h1>
<h2 id="heading">编译安装</h2>
<pre style="background-color:#fff">git clone https://github.com/OISF/suricata
cd suricata
git clone https://github.com/OISF/libhtp
./autogen.sh
./configure --prefix=/opt/suricata --enable-luajit
sudo make install-full
</pre>在<code>configure</code>步骤可能会存在一些安装依赖，如<code>libyaml</code>、<code>jansson</code>、<code>libhtp</code>
在这里，使用<code>--prefix</code>来设定安装前缀，也即 Suricata 只会操作<code>/opt/suricata</code>目录，这样可以确保干净安装、卸载。
Suricata 规则集
<ul>
<li><a href="https://github.com/suricata-rules/suricata-rules">suricata-rules/suricata-rules</a></li>
</ul>
<h2 id="ftp-">FTP 文件传输检测</h2>
假定场景如下：
<blockquote>
商业间谍希望将公司机密文件传输到外部 FTP 服务器。
</blockquote>
<h3 id="suricata--1">Suricata 配置</h3>
我们希望保存相应的文件及 PCAP 包，作为法律证据。因此需要用到文件截取的功能
<pre style="background-color:#fff">alert ftp-data any any -&gt; any any (msg:&#34;SPY!&#34;; filestore; sid:1; rev:1; ftpdata_command:stor;)
</pre>还需要配置如下部分
<pre style="background-color:#fff">- outputs:
 - eve-log: # 事件记录
 types:
 - files:
 force-magic: no
 force-hash: [md5,sha256]
 # 其他 eve log 配置
 - pcap-log: # pcap 记录
 enabled: yes
 filename: log.pcap
 # 其他 pcap 配置
 - file-store: # 文件存储记录
 version: 2
 enabled: yes
 force-filestore: yes
</pre>配置好后，运行如下命令
<pre style="background-color:#fff">/opt/suricata/bin/suricata \
 -i eth0 \
 -c /opt/suricata/etc/suricata/suricata.yaml \
 -s /opt/suricata/etc/suricata/rules/test.rules 
</pre>接下来，向服务器上传文件即可。
<h3 id="heading-1">检测结果</h3>
首先，在<code>fast.json</code>中，必然会存在相应的警告
<pre style="background-color:#fff">12/02/2020-17:39:48.021760 [**] [1:1:1] SPY! [**] [Classification: (null)] [Priority: 3] {TCP} 172.21.178.223:35552 -&gt; 119.45.6.103:21045
</pre>接着，需要在<code>eve.json</code>检查相应的触发事件（这里只提取出文件相关的事件）
<pre style="background-color:#fff">{
 &#34;timestamp&#34;: &#34;2020-12-02T17:39:48.021760+0800&#34;,
 &#34;flow_id&#34;: 1108348001034938,
 &#34;parent_id&#34;: 1458654122957134,
 &#34;in_iface&#34;: &#34;eth0&#34;,
 &#34;event_type&#34;: &#34;fileinfo&#34;,
 &#34;src_ip&#34;: &#34;172.21.178.223&#34;,
 &#34;src_port&#34;: 35552,
 &#34;dest_ip&#34;: &#34;119.45.6.103&#34;,
 &#34;dest_port&#34;: 21045,
 &#34;proto&#34;: &#34;TCP&#34;,
 &#34;app_proto&#34;: &#34;ftp-data&#34;,
 &#34;fileinfo&#34;: {
 &#34;filename&#34;: &#34;test&#34;,
 &#34;sid&#34;: [
 1
 ],
 &#34;magic&#34;: &#34;ASCII text&#34;,
 &#34;gaps&#34;: false,
 &#34;state&#34;: &#34;CLOSED&#34;,
 &#34;md5&#34;: &#34;020861c8c3fe177da19a7e9539a5dbac&#34;,
 &#34;sha256&#34;: &#34;06577bd4a35a3fb866f891567b5a9ff67223c2f4422fb7629836d0cadb603ed3&#34;,
 &#34;stored&#34;: true,
 &#34;file_id&#34;: 1,
 &#34;size&#34;: 8,
 &#34;tx_id&#34;: 0
 }
}
</pre>通常，文件传输事件前后往往存在大量其他事件，因此这里可以采用另一种思路来快速检索：直接查看 sha256 值。
<pre style="background-color:#fff">&gt; cat eve.json | jq | grep sha256

 &#34;sha256&#34;: &#34;06577bd4a35a3fb866f891567b5a9ff67223c2f4422fb7629836d0cadb603ed3&#34;,
 &#34;sha256&#34;: &#34;06577bd4a35a3fb866f891567b5a9ff67223c2f4422fb7629836d0cadb603ed3&#34;,
</pre>在这里，可以看到，被传输的文件的 sha256 值为<code>06577bd4a35a3fb866f891567b5a9ff67223c2f4422fb7629836d0cadb603ed3</code>。在日志目录下的<code>filestore</code>文件夹内，查看<code>06</code>文件夹即可
<pre style="background-color:#fff">&gt; cat filestore/06/06577bd4a35a3fb866f891567b5a9ff67223c2f4422fb7629836d0cadb603ed3
abcdefg
</pre>而之前用于测试的文件内容，正是<code>abcdefg</code>
<h2 id="lua-">Lua 脚本联动</h2>
如果在编译过程中添加了<code>--enable-luajit</code>参数，那么就可以在 Suricata 运行中通过 lua 脚本进行一些操作
如下面的脚本（假设位于<code>/etc/suricata/lua-script/test.lua</code>）
<pre style="background-color:#fff">function init (args)
 local needs = {}
 needs[&#39;type&#39;] = &#39;file&#39;
 print (&#34;init()&#34;)
 return needs
end

function setup (args)
 print (&#34;setup()&#34;)
end

function log(args)
 http_host = HttpGetRequestHeader(&#39;Host&#39;)
 print (http_host)
end

function deinit (args)
 print(&#34;deinit()&#34;)
end
</pre>在<code>suricata.yaml</code>中按照如下配置
<pre style="background-color:#fff">output:
 - lua:
 enabled: yes
 scripts-dir: /etc/suricata/lua-script
 scripts:
 - test.lua
</pre>在执行命令后，有：
<pre style="background-color:#fff">&gt; sudo /opt/suricata/bin/suricata \
 -i eth0 \
 -c /opt/suricata/etc/suricata/suricata.yaml

[21399] 2/12/2020 -- 20:19:25 - (suricata.c:1065) &lt;Notice&gt; (LogVersion) -- This is Suricata version 6.0.1-dev (75c0f9bd0 2020-11-19) running in SYSTEM mode
init()
setup()
[21399] 2/12/2020 -- 20:19:25 - (util-ioctl.c:322) &lt;Warning&gt; (SetEthtoolValue) -- [ERRCODE: SC_ERR_SYSCALL(50)] - Failure when trying to set feature via ioctl for &#39;eth0&#39;: Operation not supported (95)
[21400] 2/12/2020 -- 20:19:25 - (log-pcap.c:902) &lt;Notice&gt; (PcapLogInitRingBuffer) -- Ring buffer initialized with 9 files.
[21399] 2/12/2020 -- 20:19:25 - (tm-threads.c:1964) &lt;Notice&gt; (TmThreadWaitOnThreadInit) -- all 4 packet processing threads, 4 management threads initialized, engine started.
www.oyohyee.com
</pre>可以看到，在各个部分，都可以触发 lua 脚本，实现更为精细的操作。