嵌入式AI开发全流程：从Keil5工程到集成Janus-Pro-7B轻量化模型

嵌入式AI开发全流程从Keil5工程到集成Janus-Pro-7B轻量化模型1. 引言如果你是一名嵌入式开发者看着现在各种AI应用火得不行是不是也心痒痒想在自己的STM32板子上跑个模型试试但一搜教程要么是讲云端大模型的要么就是复杂的Python框架跟咱们熟悉的Keil、C语言环境完全不搭边。感觉门槛太高无从下手别急这篇文章就是为你准备的。咱们不搞那些虚的就踏踏实实手把手带你走一遍完整的流程从在Keil5里新建一个STM32工程开始一步步写驱动、搭通信最后把一个经过“瘦身”处理的Janus-Pro-7B Tiny模型集成进去在板子上实现一个简单的图像分类功能。整个过程就像你平时开发一个串口通信或者点灯项目一样只不过这次“点”的是AI模型这盏灯。我会尽量用大白话把每一步都讲清楚确保你跟着做就能跑起来。我们的目标很简单让你亲手在资源有限的嵌入式设备上点亮AI的第一盏灯。2. 环境准备与工程搭建工欲善其事必先利其器。咱们第一步就是把开发环境给准备好创建一个干干净净的工程。2.1 Keil5 MDK安装与芯片支持首先你得有Keil MDK5。如果你还没有可以去官网下载安装包。安装过程就是一路“Next”记得选择安装路径时别用中文。安装完成后打开Keil它会提示你安装芯片支持包Device Family Pack。对于STM32开发你需要在“Pack Installer”里找到并安装你所用芯片对应的DFP。比如如果你用的是STM32F4系列就搜索并安装“Keil::STM32F4xx_DFP”。这一步确保了编译器认识你的芯片能生成正确的代码。2.2 创建你的第一个STM32工程打开Keil5点击“Project - New uVision Project”。给你的工程起个名字比如“STM32_AI_Demo”然后选择一个文件夹存放。接下来会弹出设备选择窗口。在这里找到并选中你实际使用的STM32型号比如“STM32F407VE”。点击“OK”后会弹出一个管理运行时环境Manage Run-Time Environment的窗口。这个窗口很重要它让你以勾选的方式添加软件组件。对于基础工程我们至少需要CMSIS核心确保勾选CORE和Device下的Startup。Device勾选你芯片型号对应的StdPeriph Drivers标准外设驱动或者HAL Drivers如果你用HAL库。这里为了简单直观我们以标准库为例。如果需要用到中间件比如文件系统或网络可以在这里添加但咱们第一个Demo先不用。勾选好后点击“OK”Keil就会自动帮你生成工程框架包含启动文件、基础驱动等。你会在左侧的Project窗口看到一个结构清晰的目录树。3. 基础驱动与通信框架编写模型跑起来需要跟外界交换数据。我们得先给板子“装上耳朵和嘴巴”也就是实现数据输入输出的功能。3.1 串口通信配置数据通道我们选择最通用、最简单的串口UART作为PC和STM32之间的通信桥梁用来发送图片数据、接收识别结果。在main.c或者你专门的外设初始化文件里添加串口初始化代码。这里以USART1为例使用PA9TX、PA10RX引脚。#include stm32f4xx.h #include stm32f4xx_usart.h #include stm32f4xx_gpio.h #include stm32f4xx_rcc.h #include stdio.h // 用于printf重定向 void USART1_Init(void) { GPIO_InitTypeDef GPIO_InitStructure; USART_InitTypeDef USART_InitStructure; // 使能时钟 RCC_AHB1PeriphClockCmd(RCC_AHB1Periph_GPIOA, ENABLE); RCC_APB2PeriphClockCmd(RCC_APB2Periph_USART1, ENABLE); // 配置PA9, PA10为复用功能 GPIO_InitStructure.GPIO_Pin GPIO_Pin_9 | GPIO_Pin_10; GPIO_InitStructure.GPIO_Mode GPIO_Mode_AF; GPIO_InitStructure.GPIO_Speed GPIO_Speed_50MHz; GPIO_InitStructure.GPIO_OType GPIO_OType_PP; GPIO_InitStructure.GPIO_PuPd GPIO_PuPd_UP; GPIO_Init(GPIOA, GPIO_InitStructure); // 将PA9, PA10引脚连接到USART1 GPIO_PinAFConfig(GPIOA, GPIO_PinSource9, GPIO_AF_USART1); GPIO_PinAFConfig(GPIOA, GPIO_PinSource10, GPIO_AF_USART1); // 配置USART1参数115200波特率8位数据无校验1位停止位 USART_InitStructure.USART_BaudRate 115200; USART_InitStructure.USART_WordLength USART_WordLength_8b; USART_InitStructure.USART_StopBits USART_StopBits_1; USART_InitStructure.USART_Parity USART_Parity_No; USART_InitStructure.USART_Mode USART_Mode_Rx | USART_Mode_Tx; USART_InitStructure.USART_HardwareFlowControl USART_HardwareFlowControl_None; USART_Init(USART1, USART_InitStructure); // 使能USART1 USART_Cmd(USART1, ENABLE); } // 重定向printf到串口方便调试打印 int fputc(int ch, FILE *f) { while (USART_GetFlagStatus(USART1, USART_FLAG_TXE) RESET); USART_SendData(USART1, (uint8_t)ch); return ch; }初始化好后你就可以用printf来打印调试信息用USART_ReceiveData来接收PC发送过来的图像数据了。3.2 定时器与系统时钟为推理计时为了评估模型在板子上跑一次要花多长时间我们需要一个精确的计时器。SysTick定时器系统滴答定时器是个好选择它通常用于操作系统的心跳我们拿来做个高精度计时。#include core_cm4.h // 包含SysTick寄存器的定义 volatile uint32_t sysTickUptimeMs 0; // 系统运行时间毫秒 void SysTick_Init(void) { // 配置SysTick每1ms中断一次假设系统时钟为168MHz if (SysTick_Config(SystemCoreClock / 1000)) { while (1); // 初始化失败死循环 } } // SysTick中断服务函数在stm32f4xx_it.c中 void SysTick_Handler(void) { sysTickUptimeMs; } // 获取当前系统时间毫秒 uint32_t millis(void) { return sysTickUptimeMs; } // 计算时间间隔的函数 uint32_t calculate_time_cost(uint32_t start, uint32_t end) { if (end start) { return end - start; } else { // 处理计数器回绕的情况 return (0xFFFFFFFF - start end 1); } }这样在模型推理前后分别调用millis()就能算出耗时。3.3 简单的图像数据接收缓冲区STM32内存有限我们不可能一次性接收一张很大的图片。我们需要设计一个简单的缓冲区管理机制以数据块chunk的形式接收PC端发来的、已经预处理好的图像数据比如28x28灰度图的784个字节。#define IMG_BUFFER_SIZE 784 // 假设我们的Janus-Pro-7B Tiny模型输入是28x28784 uint8_t image_buffer[IMG_BUFFER_SIZE]; uint16_t img_buffer_index 0; // 在串口中断服务函数中接收数据简化示例 void USART1_IRQHandler(void) { if(USART_GetITStatus(USART1, USART_IT_RXNE) ! RESET) { uint8_t received_byte USART_ReceiveData(USART1); if(img_buffer_index IMG_BUFFER_SIZE) { image_buffer[img_buffer_index] received_byte; } // 可以在这里添加帧结束判断比如收到特定结束符 // if(received_byte 0xFF) { ... 开始推理 ... } } }在实际项目中你可能需要更复杂的协议如添加帧头、帧尾、校验和来保证数据完整。4. Janus-Pro-7B Tiny模型集成这是最核心的一步。我们不是要在STM32上训练模型而是把已经训练好并优化过的模型“放”进去。4.1 理解“轻量化”模型原始的Janus-Pro-7B模型参数巨大根本不可能放进STM32。所谓的“Tiny”版本是经过了一系列“瘦身”手术的剪枝Pruning像给树修剪枝叶去掉模型中不重要的连接权重。量化Quantization把模型参数从高精度如32位浮点数转换成低精度如8位整数。好比把高清图片转成小尺寸虽然细节有损失但大小骤减在嵌入式设备上跑起来快多了。知识蒸馏Knowledge Distillation让一个大模型老师教一个小模型学生让学生模仿老师的行为用小模型的体量达到接近大模型的效果。我们拿到的janus_pro_7b_tiny_model.c和.h文件就是这个“瘦身”后模型的C语言化身。它里面主要包含两样东西模型参数那些经过量化的权重和偏置通常被存成一个巨大的常量数组。推理函数一系列按照模型结构编排的C函数负责执行矩阵乘、加偏置、激活函数等操作。4.2 将模型文件加入工程把你得到的janus_pro_7b_tiny_model.c和janus_pro_7b_tiny_model.h文件复制到你的Keil工程目录下比如放在一个叫Model的文件夹里。在Keil的Project窗口中右键点击你的工程文件夹或某个分组选择“Add Existing Files to Group...”把这两个文件加进去。在需要使用模型的主文件如main.c中包含头文件#include janus_pro_7b_tiny_model.h4.3 编写模型调用接口模型提供方通常会给出一个简单的调用接口。假设这个接口函数叫做int janus_tiny_infer(const uint8_t* input, float* output)它接收一个uint8_t数组作为输入我们的图像数据输出一个float数组每个元素代表对应类别的概率。我们在main.c中这样调用它// 假设我们的任务是10分类如识别0-9的手写数字 #define NUM_CLASSES 10 void run_ai_inference(void) { float output_scores[NUM_CLASSES] {0}; int predicted_class -1; uint32_t start_time, end_time, cost_time; printf([AI] Starting inference...\r\n); start_time millis(); // 调用模型推理函数这是最激动人心的一行代码 predicted_class janus_tiny_infer(image_buffer, output_scores); end_time millis(); cost_time calculate_time_cost(start_time, end_time); if(predicted_class 0) { printf([AI] Inference done! Cost: %lu ms\r\n, cost_time); printf([AI] Predicted class: %d\r\n, predicted_class); // 可以打印所有类别的分数看看 for(int i0; iNUM_CLASSES; i) { printf( Class %d: %.4f\r\n, i, output_scores[i]); } } else { printf([AI] Inference failed!\r\n); } // 推理完成清空缓冲区准备下一次 img_buffer_index 0; memset(image_buffer, 0, IMG_BUFFER_SIZE); }当串口接收完一幅图像的数据后例如收到结束标志我们就可以调用run_ai_inference()函数来触发一次识别。5. 端到端流程测试与调试所有代码就位后我们来串起整个流程看看它到底能不能工作。5.1 编写主循环逻辑在main函数中我们把初始化工作和主循环搭好。int main(void) { // 1. 系统基础初始化时钟等通常由Keil生成的代码处理 SystemInit(); // 2. 初始化我们自己的模块 USART1_Init(); // 串口 SysTick_Init(); // 定时器 printf(System Initialized.\r\n); // 3. 主循环 while(1) { // 检查是否收到完整的一帧图像数据 // 这里用一个简单的标志位模拟实际应用根据你的通信协议来 if(image_reception_complete_flag) { run_ai_inference(); image_reception_complete_flag 0; // 清除标志 } // 这里可以添加其他任务如LED闪烁指示系统存活 // ... } }5.2 PC端数据发送脚本你需要在电脑上用Python或其他语言写一个小脚本负责把一张图片比如手写数字的png预处理成模型需要的格式28x28灰度归一化然后通过串口发送给STM32。import serial import cv2 import numpy as np import time # 预处理函数将图片调整为28x28灰度化归一化到0-255并转为uint8 def preprocess_image(img_path): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) # 以灰度图读取 img cv2.resize(img, (28, 28)) # 缩放到28x28 # 归一化到0-255并转换为uint8假设模型输入是0-255的uint8 img_normalized (img / 255.0 * 255).astype(np.uint8) return img_normalized.flatten() # 展平成一维数组 784个字节 # 主程序 def main(): # 配置串口端口号和波特率根据实际情况修改 ser serial.Serial(COM3, 115200, timeout1) time.sleep(2) # 等待串口稳定 print(Serial port opened.) # 预处理图片 image_data preprocess_image(digit_7.png) # 替换成你的图片路径 print(fImage data prepared, length: {len(image_data)} bytes) # 发送数据 ser.write(image_data.tobytes()) # 可以发送一个结束符方便STM32识别帧结束 ser.write(b\xFF) print(Image data sent.) ser.close() if __name__ __main__: main()5.3 联调与问题排查编译与下载在Keil中编译工程确保0错误0警告。然后通过ST-Link或J-Link将程序下载到STM32开发板。上电观察打开串口调试助手如Putty、SecureCRT设置好波特率115200。给板子上电你应该能看到“System Initialized.”的打印信息。发送数据运行PC端的Python脚本。在串口助手这边你应该能看到类似[AI] Starting inference...和推理结果、耗时的输出。常见问题没反应检查串口线是否接对TX-RX交叉波特率是否一致代码里串口初始化是否正确。数据错乱检查PC端发送的数据格式和长度是否与STM32端预期完全一致。可以在STM32端将接收到的原始数据打印出来对比。推理结果不对首先确认PC端预处理逻辑和模型训练时的预处理方式是否一致。其次检查模型集成是否正确输入数据指针有没有传错。内存不足如果编译时提示内存不足需要优化代码减少全局变量或者检查模型本身是否还是太大考虑使用更轻量的模型或进一步的量化。6. 总结走完这一整套流程你应该已经成功在STM32上跑起来一个轻量化的AI模型了。回头看看其实关键步骤就那几个搭环境、写驱动、集成模型、联调测试。它和你开发一个普通的嵌入式项目在思路上并没有本质区别只是最后的“业务逻辑”从控制电机、解析协议变成了调用一个模型推理函数。这次我们集成的是一个现成的、高度优化后的Tiny模型。这只是一个起点。当你熟悉了这个流程后可以尝试去了解更底层的AI推理引擎比如TinyML、TensorFlow Lite for Microcontrollers学习如何将自己训练的模型转换成C数组实现更大的灵活性。也可以去优化你的数据流、尝试更复杂的模型结构当然是在资源允许范围内、或者将这个图像分类功能嵌入到一个更大的实际应用中。嵌入式AI的世界很大资源受限从来不是停止探索的理由反而是激发创意的动力。希望这个从Keil工程到AI模型的完整案例能成为你探索这个有趣领域的第一块坚实的垫脚石。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。