在Windows10中使用Kafka采集数据保存到Redis数据库中

作者：厦门大学计算机系林子雨副教授 说明：本博客是与林子雨编著《数据采集与预处理》教材配套的教学资料。 版权声明：本博客内容，未经同意，禁止转载。 操作系统：Windows10 Redis:7.0.8

Redis是一个键值（key-value）存储系统，即键值对非关系型数据库，和Memcached类似，目前正在被越来越多的互联网公司采用。Redis作为一个高性能的键值数据库，不仅在很大程度上弥补了memcached这类键值存储的不足，而且在部分场合下可以对关系数据库起到很好的补充作用。Redis提供了Python、Ruby、Erlang、PHP客户端，使用很方便。 　　Redis支持存储的值（value）类型包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove以及取交集、并集和差集等丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。与memcached一样，为了保证效率，Redis中的数据都是缓存在内存中的，它会周期性地把更新的数据写入磁盘，或者把修改操作写入追加的记录文件；此外，Redis还实现了主从（master-slave）同步。

到github网站下载Redis for Windows安装文件Redis-7.0.8-Windows-x64.tar.gz（下载地址：https://github.com/redis-windows/redis-windows/releases/tag/7.0.8 ），解压缩到指定目录，比如解压缩到C盘根目录下（如图1所示）。 图1 Redis安装目录 打开一个cmd窗口，输入如下命令：

执行上述命令以后，会出现如图1所示结果。这个cmd窗口不能关闭，如果关闭，Redis服务就停止了。 图2 Redis启动界面 新建一个cmd窗口，输入如下命令启动Redis客户端：

启动以后的效果如图3所示。客户端连上服务器之后，会显示“127.0.0.1:6379>”的命令提示符信息，表示服务器的IP地址为127.0.0.1，端口为6379。 图3 Redis客户端启动后的效果

假设有三个表，即Student、Course和SC，三个表的字段（列）和数据如图4所示。 （a）Student表 （b）Course表 （c）SC表 图4 三个表的字段和数据 Redis数据库是以的形式存储数据，把三个表的数据存入Redis数据库时，key和value的确定方法如下：

例如，把每个表的第一行记录保存到Redis数据中，需要执行的命令和执行结果如图5所示。 图5 向Redis中插入数据 可以执行类似的命令，把三个表所有数据都插入到Redis数据库中，完整命令如下：

然后，针对这些已经录入的数据，下面将简单演示如何进行增删改查操作。Redis支持5种数据类型，不同数据类型，增删改查可能不同，这里用最简单的数据类型字符串作为演示。

向Redis插入一条数据，只需要先设计好key和value，然后用set命令插入数据即可。例如，在Course表中插入一门新的课程“算法”，4学分，操作命令和结果如图6所示。 图6 插入数据

Redis并没有修改数据的命令，所以，如果在Redis中修改一条数据，只能采用一种变通的方式，即在使用set命令时，使用同样的key，然后用新的value值来覆盖旧的数据。例如，把刚才新添加的“算法”课程名称修改为“编译原理”，操作命令和结果如图7所示。 图7 修改数据

从图7可以看出，当存入中文时，查询结果是一个编码，并不是中文。此时， 新建一个cmd窗口，使用如下命令把值存储到一个文本文件1.txt中，则在1.txt中又可以看到中文的“编译原理”：

Redis有专门删除数据的命令——del命令，命令格式为“del 键”。所以，如果要删除之前新增的课程“编译原理”，只需输入命令“del Course:8:Cname” ，如图8所示，当输入“del Course:8:Cname” 时，返回“1”，说明成功删除一条数据，当再次输入get命令时，输出为空，说明删除成功。 图8 删除数据

Redis最简单的查询方式是使用get命令，上面几个操作中都已经使用过get命令，这里不再赘述。

要使用python 操作Redis ，需要先安装python的redis组件，安装命令如下：

打开IDLE，在命令提示符后面执行如下语句操作Redis：

也可以编写代码文件操作Redis，具体代码如下：

在“C:\Python38\mycode”目录下有一个student.txt文件，里面包含如下两行内容：

现在需要编写程序，使用Kafka采集student.txt中的数据，并对数据进行解析，然后保存到Redis数据库中。

要使用python 操作Redis ，需要先安装python的redis组件，安装命令如下：

在“C:\Python38\mycode”目录下新建一个代码文件kafka-redis-producer.py，其内容如下：

在“C:\Python38\mycode”目录下新建一个代码文件Kafka-redis-consumer.py，其内容如下：

首先要确保Redis数据库服务已经启动。 在Windows系统中打开第1个cmd窗口，执行如下命令启动Zookeeper服务：

打开第2个cmd窗口，然后执行下面命令启动Kafka服务：

打开第3个cmd窗口，执行如下命令运行kafka-redis-consumer.py：

打开IDLE，执行代码文件kafka-redis-producer.py，让生产者产生数据（如图9所示）。需要注意的是，运行kafka-redis-producer.py时，会自动创建redisTopic，不需要手动创建。这时，在消费者窗口，会打印出接收到的数据和程序执行情况（如图10所示）。 图9 生成数据 图10 消费者窗口 打开第4个cmd窗口，输入如下命令启动Redis客户端：

在Redis数据库中执行get命令查询数据，如图11所示，数据已经成功更新到Redis数据库中。 图11 查询Redis数据库中的数据