将word、pdf、excel上的表格搬运至mysql数据库中

2024-02-13 19:36| 来源: 网络整理| 查看: 265

问题描述：有一批pdf和word文件，想把里面所有的表格取出放置在excel中，并最终将这些表格放置在mysql数据库中。

刚开始的时候，就是纯手动操作，实在让人太难受了，首先把PDF文件在word中打开，然后手动复制表格到excel中，原表格中存在多级标题栏，因为要入库，所以还要把标题栏修改成一栏，至于上传到数据库，就更麻烦了，刚开始使用导入向导，效率相当低下，后来实在太慢无趣就想到编程解决问题。

首先是将word里的表格提取至excel（PDF可以转化为docx），这里使用python，本来在网上查到的资料大部分是VB的，结果我发现使用python更加简单，又感叹了一声万能的python。使用python 安装docx和openpyxl两个库，一个操作word文档，一个操作excel，都非常简单易用，直接上代码吧。

import docx import openpyxl name = 'xxx' doc = docx.Document(name + ".docx") #打开word文档 wb = openpyxl.Workbook() #新建一个excel工作簿（注意区分工作簿和工作表） for index, table in enumerate(doc.tables, start =1): ws = wb.create_sheet('sheet{}'.format(index)) #对每一个表格新建一个工作表 for row in table.rows: values = list(map(lambda cell:cell.text, row.cells)) ws.append(values) #把表格里的值复制到这个工作表里 wb.save(name +".xlsx") #保存工作簿

这样就把所有的表格放到了excel中，但是对一些合并的单元格还是有问题，这个并不好用代码解决，需要人去判断标题该如何修改，这一步就只能人工操作了。另外就是每一个工作表还需要人工命名。

好了，下一步，入库。这一步存在的问题就是首先数据库虽然支持中文，但是毕竟大家约定俗称的用英文，因此那就用英文吧，一个个手动打拼音或者英文？NoNoNo，那是在是个折磨人的事，好在万能的python又来了，python不仅能把中文变成拼音，还能访问百度翻译等API来进行英文翻译，我这就直接上拼音了。这里安装xpinyin这个库，他能有效的将中文转化为英文，具体用法在这。

>>> from xpinyin import Pinyin >>> p = Pinyin() >>> p.get_pinyin(u"上海") 'shang-hai' >>> p.get_pinyin(u"上海", tone_marks='marks') 'shàng-hǎi' >>> p.get_pinyin(u"上海", tone_marks='numbers') 'shang4-hai3' >>> p.get_pinyin(u"上海", '') 'shanghai' >>> p.get_pinyin(u"上海", ' ') 'shang hai' >>> p.get_initial(u"上") 'S' >>> p.get_initials(u"上海") 'S-H' >>> p.get_initials(u"上海", u'') 'SH' >>> p.get_initials(u"上海", u' ') 'S H'

OK，拼音的问题解决了，接下来就是入库了，好在万能的python还能操作数据库，使用pymysql就好啦。具体库的用法请自行百度吧。首先连接数据库

def connectdb(): # 这个函数用来连接数据库 print('连接数据库中...') condb = pymysql.connect(host="", user="", passwd="", db='', charset='utf8', port=) print('已连接!') return condb

在对应的位置上填入合适的参数就可以啦，之后调用这个函数就可以访问数据库。然后就是打开excel，准备把数据写到数据库里。

xlxsfile='xx.xlsx' transp = xpinyin.Pinyin() condb = connectdb() cursor = condb.cursor() book = openpyxl.load_workbook(xlxsfile) names = book.sheetnames

后面就是读取每个excel中的工作表，然后在mysql中新建一张表，再把表中的数据导入就好啦。

for i in range(1,len(names)): namevar = 0 sheet = book.worksheets[i] rows = sheet.max_row #获取行数 cols = sheet.max_column #获取列数 nametem = names[i] engnametem = transp.get_initials(nametem, '') #转拼音 insertcol = '' #这个在后面插入值语句要用到的 ctsql = "CREATE TABLE IF NOT EXISTS `{}`(".format(ruku + str(i) + '_' + engnametem) for col in range(0, cols): cell = str(sheet.cell(row=1,column=col+1).value) engcell = transp.get_initials(cell, '') #字段名称也要转拼音 colname = engcell + '_' + str(namevar) namevar += 1 insertcol = insertcol + colname + ', '#插入数据时使用列的名称 ctsql += colname + " VARCHAR(500) COMMENT '{}', ".format(cell) ctsql =ctsql[:-2] + ')' + "COMMENT = '{}';".format(xlxsfile[:-5] + '_' + nametem) insertcol = insertcol[:-2] #print(ctsql) cursor.execute(ctsql)#新建表 #后面就是把数据插入表中了 for row in range(1,rows): insertsql = "INSERT INTO `{}`({}) VALUES (".format(ruku + str(i) + '_' + engnametem, insertcol) for col in range(0, cols): cell = str(sheet.cell(row+1,col+1).value) insertsql = insertsql + "'" + cell + "'" + ',' insertsql = insertsql[:-1] + ')' #print(insertsql) cursor.execute(insertsql) condb.commit() print('done:{}/{}'.format(i,len(names)-1)) book.save(xlxsfile[:-5] + '完善.xlsx') condb.close()

很简单就完成了修改英文加插入数据库的操作。但是有一点要注意的就是sql语句中有很多符号不支持，所以要检查表格的规范性，这次就到这啦！

【本文地址】

公司简介

联系我们