CENTO OS上的网络安全工具（十七）搭建Cascade的Docker开发环境

这一篇，我们继续在Docker上折腾。之前我们已经展示了如何在容器上搭建安全产品的部署环境，这里我们需要更进一步，讨论如何在容器上搭建开发与调试环境。这是学习安全产品并且自己构建安全产品的基础步骤。 

鉴于前期我们一直在VSCODE环境中讨论编程与调试的问题。所以在Docker中构建开发环境，我们在IDE上仍然首选VSCODE。但在这之前，我们还需要构建起一个可承载调试环境的镜像。

我们选择从centos:centos7（7.9.2009）官方镜像中构造开发环境。三点考虑：一是这个系统我们一直再用比较熟悉；二是centos-stream-8正在商用化，官方无镜像，且第三方可用的镜像较大，centos8已结束支持；三是centos7版本比较成熟，掉坑可能性要小很多。

然后安装我们常用的三种编程环境：C/C++、Java、Python：

首先需要安装的是C/C++的开发调试环境，在centos:centos7镜像中并没有默认安装，但在后期安装诸如Python环境的时候，需要基于源代码进行编译，所以需要先行一步。在镜像源正常情况下，安装相对简单，之前文章也有涉及，不赘述：

再次提及一下，C++的安装包名字为gcc-c++，但是命令是g++。……

实际上centos:centos7镜像中已经提供了python 2.7.5：

但是现在大多数应用都需要python3来开发。另外，VSCODE的python extension插件现在已经不支持低于3.7.0版本的python，所以我们还需要安装好python3的环境

另一层考虑在于我们需要开发或这调试的对象及其支撑环境。比如前篇提及的cascade，在python 3.11下会发生版本支持问题，我们在3.6.8中测试成功。所以为了尽量满足多方，我们选择3.7版本进行安装。

首先到Python官方站的源码下载页面Python Source Releases | Python.org，网页上搜索3.7.0，复制链接后在centos中下载：

 centos:centos7中curl可用，若使用wget需要另行安装：

另外，需要提前准备好zlib解压缩工具

 否则会有如下错误：

[root@aea73297ce7c Python-3.7.0]# make&&make install

………………………………

zipimport.ZipImportError: can't decompress data; zlib not available

make: *** [install] Error 1

还需要准备好openssl-devel和libffi-devel开发包：

[root@aea73297ce7c Python-3.7.0]# yum install -y openssl-devel libffi-devel

否则会有“pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.”及如下错误：

[root@aea73297ce7c Python-3.7.0]# make&&make install

………………………………

    from _ctypes import Union, Structure, Array

ModuleNotFoundError: No module named '_ctypes'

make: *** [install] Error 1

配置编译程序，使用—prefix指定安装位置，避免安装后出现在系统中多个地方，并设置—enable-optimizations，对python进行优化，提升运行速度。其它配置选项可使用./configure –help查看。

[root@aea73297ce7c Python-3.7.0]# make&&make install

………………………………

我不知道真是情况下需要多久，总之我在R9000P上都折腾了将近10分钟。也许是选择了优化选项的缘故。

因为我们使用—prefix选项指定了安装位置，所以需要将其软连接到/usr/bin下面

相对于将其直接链接到python而导致2.7不能用，我还是更习惯于将其链接到pythone3上。

如果是在Ubuntu系统下，这些需要预先安装的软件包的名称是：dist-upgrade build-essential python-dev python-setuptools python-pip python-smbus libncursesw5-dev libgdbm-dev libc6-dev libsqlite3-dev tk-de libssl-dev openssl libffi-dev

我没尝试。有兴趣可参考Python安装报错：”ModuleNotFoundError:No module named _ctypes“ 的解决方案_六指黑侠i的博客-CSDN博客

JDK的安装要相对简单很多，前面的文章也多有涉及，不赘述。经验来看，JDK 11这个版本支持的场景多，相对也稳定，就它了。centos:centos7镜像没有自带JDK，所以直接安装就好。

最终构建开发环境镜像有2种方法。一种是构建Dockerfile，将上面的步骤一一执行一遍；另一种是直接从上面已经安装好的容器里直接导出并转换。

出于后面设置VSCODE时还会用到的原因，我们打算两种都试一下。

直接从当前已经安装好的容器，使用export方法导出文件系统，然后再使用import方法导入成镜像即可。作为镜像来说，1.53GB相当不小了。

将上面的步骤挨个写到如下的Dockerfile中。一般来说，一个RUN命令Docker会构建一个层，所以应该尽量使用&&来连接命令，并且将属于同一个任务的命令统筹到一个RUN当中去。

FROM centos:centos7

WORKDIR /opt

#更换镜像源

RUN sed  -e 's|^mirrorlist=|#mirrorlist=|g' \

         -e 's|^#baseurl=http://mirror.centos.org|baseurl=https://mirrors.tuna.tsinghua.edu.cn|g' \

         -i.bak \

         /etc/yum.repos.d/CentOS-*.repo

#C/C++环境

RUN yum install -y gcc gdb gcc-c++ make

#Python环境

RUN curl -o python-src-3.7.0.tgz https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz \

    && tar -zxvf python-src-3.7.0.tgz \

    && cd Python-3.7.0 \

    && yum install -y zlib-devel openssl-devel libffi-devel \

    && ./configure --enable-optimizations --prefix=/usr/local/python3 \

    && make \

    && make install \

    && ln -s /usr/local/python3/bin/python3 /usr/bin/python3 \

    && ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

#Java环境

RUN yum install java-11-openjdk* -y

CMD /bin/bash

然后在windows下建立一个空目录，将Dockerfile扔进去，比如在我建立的空目录的名称是dockerbuild。从CMD进入到该目录下执行docker build命令即可：

看看构建镜像所需要耗费的时间~~~，早知道先给centos:centos7换个镜像源，也许还能快一点。不过好在docker是按照RUN分层构建得，前4步都成功的情况下，掐断了更改一下5、6步也可以“断点续建”。当然，如果是从头开始的话，还是应该在一开始就更换源——如上面蓝色字体部分所示。

现在我们得到又一个开发环境镜像，由于我们没删掉下载的python源码包，这个镜像有点儿大：

当然，还有一个办法。之前我们采用导入导出方式的时候，导出容器的那个tar包，其实里面已经包含了我们之前下载过的python源码包，可以借用一下，放在dockerbuild目录中，只不过Dockerfile下载那句得改成COPY了（用ADD还能再简洁一点，docker会直接解压）。

 两种方式的对比如下：

​接下来，就是载入之前我们构建的镜像得到容器开发环境，然后在其基础上建立VSCODE的开发调试环境。和之前构建VSCODE相关的环境类似，我们主要需要做的事情，还是安装各种扩展。

VSCODE的插件安装方法在CENTOS上的网络安全工具（五）CODE来打个酱油_lhyzws的博客-CSDN博客提及，此处不赘述。

在VSCODE中依托容器进行开发，需要安装Dev Containers插件（Dev Containers - Visual Studio Marketplace）。

或者直接在VSCODE中搜索：

安装即可。

之前提到过，VSCODE的启动方式挺特别。不同于VS Studio是新建工程时自动创建文件夹，VSCODE是先建立文件夹，然后从文件夹启动工程。所以我们需要首先准备好开发环境的文件夹——比如新建一个名为testcontainer的文件夹。

然后，重要的一步，就是把我们前面构建开发环境的那个Dockerfile拷贝进来。如果是通过import得到的镜像，或者网上pull来的其它镜像，可以直接写一个类似下面的简单Dockerfile（当然，如果已经像上面那样构建完成了，最好直接用镜像，否则又会构建一遍以及漫长的等待）：

FROM 镜像名

CMD /bin/bash

接下来CMD打开这个文件夹，运行'code .'

左下角远程连接的位置，鼠标左键点击：

弹出窗口选择Open in Container:

然后选择“From ‘Dockerfile’”。

紧接着这一步，可以选择安装一些附加功能。这里面甚至还有python、es等等，没试过安装。如果不需要，可以直接确定。

 稍等一会（前提是不需要当场build，否则就多等一会），成功载入后，左下角图标应该会发生变化。

 同时，在终端窗口里能够感觉到我们已经进入到容器的工作环境里面了。

至于为什么还是在testcontainer文件夹下，敲一个pwd就知道了：实际是将主机的文件夹映射到了/workspace下的同名子目录。检查一下我们在/opt下释放的那个python源代码，还在，确认确实实在我们构建的容器里面了。

可以看到，VSCODE代我们建立了容器，并做了工作空间的映射。实际上，官网上也是这么说的：

进入容器后，打开extension，会发现我们现在只有中文语言包，这是因为使用VSCODE进行容器开发，实际也是远程开发的一种，相关的extension也需要在容器内安装。所以，剩下的步骤可以完全参考CENTOS上的网络安全工具（六）CODE之酱油打到底_lhyzws的博客-CSDN博客_centos 网络工具进行安装。

 搜索并安装C/C++ Extension Pack，即可在工作环境下新建cpp文件，并启动调试

搜索并安装 Python Extension Pack

创建test.py并调试。

由于我们安装了两种版本的python，所以到这里右下角可能会弹出对话框要求指定python环境，点击select python interpreter，选择3.7.0即可。

 搜索并安装Extension Pack for Java。然后新建一个test.java文件封装test类。当然，如果是比较复杂的、需要导入依赖包的Java项目，需要借助maven创建，可以参考CENTOS上的网络安全工具（十）走向Hadoop（2） MapReduce调试环境构建_lhyzws的博客-CSDN博客

 如是这般，如果真的不想去碰Linux系统又想在Linux上开发调试程序，直接装个Docker Desktop，然后把Dockerfile往目录下一扔就可以干活了，也甚是方便的呢。

事实上，Dev Container Extension也支持使用Docker-compose下的开发调试。我们可以采取2种方法来构造环境。

使用常规打开工作目录的方法，无非就是将项目相关的源代码、Dockerfile和Docker-compose.yml等文件放在预先准备的工作目录下，然后如上述构建开发环境方法一样操作即可。

例如我们构建的目录在d:lhyprogram\cascadedev。则打开后如下图所示：

这个就不多说了，和前面一样。由于cascade使用python编写，所以python extension pack是少不了的。

使用常规构建工作目录的方式，好处就在于docker-compose.yml、Dockerfile都受我们控制，我们可以按照程序调试的需要来改造。

（1）下载cascade

为此，首先我们需要下载cascade的zip版本，解压到我们准备好的工作目录。下载地址在https://github.com/mitre/cascade-server/archive/refs/heads/master.zip

 （2）调整python版本及更改镜像源

在CENTOS上的网络安全工具（十五）cascade的部署_lhyzws的博客-CSDN博客中，我们提到，cascade在python 3.6.8上可以顺滑部署。但是VSCODE的python extension目前不支持低于3.7.0的python版本。保险起见，我们压边儿选择3.7.0的镜像进行安装：

如此，还需要修改Dockerfile中的FROM镜像为python:3.7.0

不幸的是，即使是3.7.0版本，在执行pip install requirements.txt时仍然出错。跟踪分析，错误主要发生在gevent-websock和gevent这2个包附近。由于requirements.txt中gevent-websock== 0.10.1在官网gevent-websocket · PyPI上查询其所对应的就是最新版本，所以应该不是3.7版本高的问题。

实际上，问题主要是2方面： 

一是python和pip的版本不匹配的问题。所以在安装requirements.txt前，需要执行pip install –upgrade pip进行升级；结合前面说的版本问题，一并改了。

Dockerfile

FROM python:3.7.0

RUN mkdir -p /opt/cascade-server

WORKDIR /opt/cascade-server

COPY requirements.txt .

RUN pip install –upgrade pip \

&& pip install -r requirements.txt

COPY . .

COPY docker_defaults.yml conf/defaults.yml

CMD /bin/bash docker_start.sh

二是cascade在requirements.txt中的第一行指定的默认镜像源实在时太慢了，经常发生连接无响应错误，这个随机发生，所以会把人搞得很疯。我们需要替换镜像源来解决。以更换到清华镜像源为例：

requirements.txt

-i https://pypi.tuna.tsinghua.edu.cn/simple

antlr4-python3-runtime==4.9.1

certifi==2020.12.5

cffi==1.14.5

chardet==4.0.0

click==7.1.2

或者把requirements.txt的第一行删掉，在Dockerfile中修改安装命令为：

pip install -r requirements.txt -I https://pypi.tuna.tsinghua.edu.cn/simple

亦可。

（3）更改docker-compose.yml

由于我们主要想调试的是cascade.py所在的主线程，而这个线程最后会被Dockerfile的最后一句 CMD /bin/bash docker_start.h中的cascade.py -vv执行起来。而cascade.py -vv执行起来后就作为daemon了。并且，按照docker 的PID=1进程的管理方法，这个CMD执行完了docker也就退出了。所以，为了调试cascade.py，我们只能将这句删掉，先执行/bin/bash，然后再手工启动cascade.py。

同样，有关splunk和es的cascade_job服务我们并不关心，且因其依赖cascade_web服务，可能会因为我们的调整加载失败，所以干脆删掉：

docker-compose.yml

---

version: '2'

volumes:

  mongo_data: {}

  cascade_conf: {}

services:

  mongodb:

    image: mongo:4.0

    ports:

      - "127.0.0.1:27017:27017"

    volumes:

      - mongo_data:/data

  cascade_web:

    build:

      context: .

      args:

        - "http_proxy:${http_proxy}"

        - "https_proxy:${https_proxy}"

        - "no_proxy:${no_proxy}"

    image: "cascade:latest"

    volumes:

      - cascade_conf:/opt/cascade-server/conf

    depends_on:

      - mongodb

    ports:

      - "5000:5000"

  cascade_jobs:

    image: "cascade:latest"

    volumes:

      - cascade_conf:/opt/cascade-server/conf

    depends_on:

      - cascade_web

      - mongodb

    command: python cascade.py -vv --jobs

一切准备好后，仍然左下角点击远程连接图标，然后Open Folder in Caintainer：

弹出对话窗口需要检查一下，是否确实在预计中的目录，一般都是，直接确认。与之前不同的是，在下一页需要选择From 'docker-compose.yml'。

dev container extension会检测docker-compose.yml种列举的服务，选择我们关注的那个，即cascade.web：

dev container extension会根据docker-compose.yml和Dockerfile构建、拉取镜像并依次启动容器，不出意外的话，应该就可顺利进入环境了。

PS：不过我这里总是会在最后发生“打不开工作目录的错误”，不知是否普遍现象。

 好在这不是多严重的问题，报错的时候按照提示重新选择工作目录就好。之所以找不到工作目录，是因为这次VSCODE并没有直接将cascadedev目录放到workspaces目录下，而是把我的整个D盘映射过来了——不知为何。

好在成功装载后，VSCODE生成了3个服务所对应的容器。所以如果发生这种情况，可以使用docker exec 进入容器看一眼，VSCODE到底把哪个目录映射到工作空间了。重新选择即可。

由于我们进入容器的时候执行的是/bin/bash，cascade尚未初始化和启动。我们尚需要首先手工执行初始化操作，也就是被删掉的那句CMD /bin/bash docker_start.sh。实际上脚本中执行的是cascade.py --setup_with_defaults

需要注意的是必须到Dockerfile指定的那个工作目录（/opt/cascade-server）下去执行，否则mongodb会拒绝连接。

初始化后，安装好python extension pack就可以开始启动cascade.py进行调试了。当然，还可以通过编辑launch.json的方式，添加命令行参数“-vv”。

现在，可以下断点并一路跟踪到server.py了。

主要是利用我们前篇已经在vmware中安装过的cascade镜像来进行导出

在windows下导入镜像

然后执行docker-compose up。这样虽然还是在我们的cascade下载目录下，但因为镜像已经存在，cascade不会重新再构筑一遍了，要快不少。

运行起来以后，可以看到3个正在运行的容器

然后在VSCODE中，直接点击远程连接图标，在弹出对话中选择attach container，

从列举出的容器中选择需要attach的容器就行。

这里仍然有个工作路径的问题。一般来说attach上后VSCODE会询问工作路径，默认情况下在Dockerfile指定的工作目录，或者用户目录（\~）下——这个时候在根目录下是没有workspaces子目录的。我们也可以通过点击远程连接图标选择open Container Configuration File来配置workspaceFolder进行调整

最后，还有一件事需要多说几句。在windows上的dockers desktop上工作，由于其docker engine实际是安装在wsl上的，也就是说wsl上的ubuntu才是宿主机。这种情况下，如果需要配置网络代理，就没有再vmware的交互式界面上那么方便了。我们可以参考WSL2（Windows下的Linux子系统）代理设置_fsociety_的博客-CSDN博客_wsl2设置proxy 进行设置，在~目录下：

[root@pig ~]# vi .bashrc

[root@pig ~]# export https_proxy="http://windows主机的IP：1080";

[root@pig ~]# export http_proxy=" http://windows主机的IP：108";

[root@pig ~]# source ~/.bashrc

这样再看docker-compose.yml里cascade_web的那几个参数，是不是就明白是干什么的了？

这件事实在不值当单独写一篇的，所以在这凑合了。大意就是微软又一款不错的抓包分析软件，名曰nmcap，可在Download Microsoft Network Monitor 3.4 (archive) from Official Microsoft Download Center下载

 而且，这个软件有个不错的不间断抓包功能，使用如下命令可对所有网卡（如果对指定网卡，可以先用displaynetwork命令查出网卡序号进行指定）抓包，并根据指定大小将文件编号存储在给定的路径下：

PS C:\Users\lhyzw> nmcap /DisplayNetwork

Network Monitor Command Line Capture (nmcap) 3.4.2350.0

0. vEthernet (WSL) (Hyper-V Virtual Ethernet Adapter)

1. WLAN (MediaTek Wi-Fi 6 MT7921 Wireless LAN Card)

2. * 3 (Microsoft Wi-Fi Direct Virtual Adapter #3)

3. * 4 (Microsoft Wi-Fi Direct Virtual Adapter #4)

4.  (Realtek PCIe GbE Family Controller)

PS C:\Users\lhyzw> nmcap /Network * /Capture /File d:\downlaod\test.chn:2MB

Network Monitor Command Line Capture (nmcap) 3.4.2350.0

Saving info to: d:\downlaod\test.cap - using chain captures of size 2.00 MB.

ATTENTION: Conversations Disabled: Some filters require conversations and will not work correctly (see Help for details)

ATTENTION: Process Tracking Disabled: Use /CaptureProcesses to enable (see Help for details)

Note: Process Filtering Disabled.

Exit by Ctrl+C

Capturing   | Received: 16165 Pending: 0 Saved: 16165 Dropped: 0 | Time: 57 seconds.