基于AidLux的工业视觉少样本缺陷检测实战

2024-07-16 15:36| 来源: 网络整理| 查看: 265

1.引言

工业视觉缺陷检测系统是一种利用计算机视觉技术，通过分析生产过程中的图像和视频数据，来检测工业产品是否存在缺陷或质量问题的系统。有幸参加Aidlux的11月份的训练营，在这个过程中我收获到了很多之前没有接触到的算法和实践。本次课程利用Unet模型进行目标分割，并基于AidLux平台完成本地终端部署推理，以满足工业生产中对产品质量控制的需求。

2. 项目实战

在本项目中，AidLux提供了一套完整的模型部署代码，该代码包括了多个关键步骤，如模型加载、图像预处理、推理过程、后处理和结果保存等。这些代码以Python为基础，并借助相关的第三方库，旨在支持各种工业应用场景中的模型部署需求。具体而言，给出的部署代码具有以下特点：

模型加载：部署代码能够轻松加载TFLite模型，确保在不同平台上实现无缝的模型部署。

图像预处理：部署代码包括图像预处理步骤，以确保输入图像与模型的期望输入格式一致。这有助于提高模型的准确性和稳定性。

推理过程：同时我们的代码实现了高效的推理过程，能够在实时性要求下完成缺陷检测任务。这对于工业应用中的快速响应至关重要。

后处理：模型输出需要进行后处理，以解析检测结果并执行进一步的操作。我们的代码包括了这一关键步骤，以确保输出结果的准确性。

结果保存：最终，我们的代码能够将检测结果保存到指定位置，以便后续分析和记录。

此外，我们的模型部署系统非常小巧，易于迁移，并具有出色的环境耐受性。这意味着我们的系统可以适应各种工业环境，无论是在车间、生产线还是其他现场场景中，都能够可靠运行。

2.1. 模型转换

在成功将pt模型文件导出为onnx模型文件后，接下来的关键步骤是使用Aidlux平台自带的AI Model Optimizer平台将onnx模型转换为TFLite（TensorFlow Lite）和DLC（Deep Learning Container）模型，以便在不同的平台上进行部署和推理。通过这些模型转换步骤，我们能够确保我们的模型在不同的部署环境中都能够顺利运行，并且能够高效地完成工业视觉缺陷检测任务。这也为我们提供了更多的灵活性，以适应不同的应用需求。

AIMO网站： http://aimo.aidlux.com/ 试用账号和密码：账号：AIMOTC001 ，密码：AIMOTC001

2.2. 模型代码部署

tflite_inference.py

# -*- coding: UTF-8 -*- import aidlite_gpu import cv2 import os import time import numpy as np from PIL import Image import matplotlib.pyplot as plt def mask_to_image(mask: np.ndarray): if mask.ndim == 2: return Image.fromarray((mask * 255).astype(np.uint8)) elif mask.ndim == 3: return Image.fromarray((np.argmax(mask, axis=0) * 255 / mask.shape[0]).astype(np.uint8)) def aidlux_tflite_infer(model_path, img_path, save_path): # step1: 初始化aidlite类并创建aidlite对象 aidlite = aidlite_gpu.aidlite() print('model initial success!!') # step2: 加载模型 inp_shape = [256*256*1*4] out_shape = [256*256*2*4] value = aidlite.ANNModel(model_path, inp_shape, out_shape, 4, 0) # step3: 传入模型输入数据 img = cv2.imread(img_path, 0) img = cv2.resize(img, (256, 256)) img = img[np.newaxis, ...] img = img / 255.0 img = np.expand_dims(img, axis=0) img = img.astype(dtype=np.float32) print("image shape is ", img.shape) aidlite.setInput_Float32(img) # step4: 执行推理 start = time.time() aidlite.invoke() end = time.time() print("infer time(ms):{0}", 1000 * (end - start)) # step5: 获取输出 pred = aidlite.getOutput_Float32(0) # step6: 后处理 pred = np.array(pred) pred = np.reshape(pred,(2,256,256)) mask_img = mask_to_image(pred) mask_img.save(save_path) # mask_img = np.array(mask_img) # cv2.imshow('mask_img', mask_img) # cv2.waitKey(0) # cv2.destroyAllWindows() if __name__ == '__main__': model_path = "/home/zhongtai/dataset2aidlux/unetmodel_fp32.tflite" img_path = "/home/zhongtai/dataset2aidlux/test_imgs/0587.PNG" save_path = '/home/zhongtai/dataset2aidlux/test_imgs/result_0587.png' aidlux_tflite_infer(model_path, img_path, save_path) 2.3.实验和验证

模型部署在安装了AidLux应用的Andriod手机上，进行了一系列实验和验证，以验证系统在实际工业生产中的性能和准确性。这些实验包括模型格式的转换、VSCode的SSH远程连接AidLux、对test文件夹内的照片进行预测，并保存预测结果的照片。

工业视觉少样本缺陷检测实战应用

【本文地址】

公司简介

联系我们