framework: update intelligent framework doc
* delete camera sensor for no camera support currently * update intelligent framework with tflite examples
This commit is contained in:
parent
1b78625f92
commit
e5a2ec7a2e
Binary file not shown.
Before Width: | Height: | Size: 199 KiB After Width: | Height: | Size: 54 KiB |
|
@ -10,9 +10,9 @@
|
|||
|
||||
![智能框架架构](./imagesrc/framework-ai-arch.png)
|
||||
|
||||
图中 **端侧智能框架** 是我们提供的在节点端进行智能计算的框架,而 边缘/云端智能框架 是进行进一步复杂智能计算的框架。其中,模型库是我们提供的一些训练好的AI模型,比如仪表读数识别模型、人物检测模型等。
|
||||
图中 **端侧智能框架** 是我们提供的在节点端进行智能计算的框架,能够提供在端侧进行初步的智能运算。
|
||||
|
||||
端侧智能框架 目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller,在勘智K210 上支持 KPU Model,CV算子目前暂不支持。后续工作中,我们会将 TF Lite for MCU 和 KPU Model 融合以及提供一些通用的 CV 算子。
|
||||
端侧智能框架 目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller,在勘智K210 上支持 KPU Model,CV算子目前暂不支持。后续工作中,我们尝试将智能框架进行融合并提供部分 CV 支持。
|
||||
|
||||
## 端侧 Framework 的使用说明
|
||||
|
||||
|
@ -21,3 +21,5 @@
|
|||
在 STM32 平台,本系统提供 TensorFlow Lite for Microcontroller 框架,关于 TF Lite for MCU 的使用,可以参照 [TF Lite for MCU 官方教程](https://tensorflow.google.cn/lite/microcontrollers) ,详细说明后续补充。
|
||||
|
||||
在 勘智 K210 平台,本系统提供 KPU Model 的框架,详细使用可以参考 [勘智官方说明](https://s3.cn-north-1.amazonaws.com.cn/dl.kendryte.com/documents/kendryte_standalone_programming_guide_v0.3.0.pdf) 的 “神经网络处理器(KPU)”章节,详细说明后续补充。
|
||||
|
||||
针对 TF Lite for MCU 的使用,可以参考 XiUOS 代码中的 applications 下面的 tflite_mnist、tflite_sin 应用。
|
||||
|
|
|
@ -17,6 +17,3 @@
|
|||
- [压强传感器](./pressure_sensor.md)
|
||||
|
||||
- [声音传感器](./voice_sensor.md)
|
||||
|
||||
- [图像传感器](./image_sensor.md)
|
||||
|
||||
|
|
|
@ -1,41 +0,0 @@
|
|||
# 图像传感器
|
||||
|
||||
## 传感器介绍
|
||||
|
||||
| 传感器信号 | 传感器说明 | 驱动支持 | 传感器外形 |
|
||||
| --- | --- | --- | --- |
|
||||
| OV7670 | 最大支持 40x480,30万像素,不支持 JPEG 输出,不支持自动对焦 | 已支持 | ![ov7670](./imagesrc/sensor-ov7670.png) |
|
||||
| OV2640 | 最大支持 1600x1200,200万像素,支持 JPEG 输出,不支持自动对焦 | 待支持 | ![ov7670](./imagesrc/sensor-ov2640.png) |
|
||||
|
||||
## 使用说明
|
||||
|
||||
本系统支持 dev fs,camera 设备会在 /dev 下面注册。
|
||||
|
||||
相关数据结构:
|
||||
|
||||
```c
|
||||
enum CameraOutputFormat {
|
||||
RGB565,
|
||||
JPEG,
|
||||
};
|
||||
struct CameraInfo {
|
||||
int width;
|
||||
int height;
|
||||
CameraOutputFormat format;
|
||||
};
|
||||
```
|
||||
|
||||
基本使用说明:
|
||||
|
||||
```c
|
||||
// open camera device
|
||||
int fd = open(“/dev/cam1”);
|
||||
|
||||
// get camera info
|
||||
struct CameraInfo cam_info;
|
||||
int ret = ioctl(fd, GET_INFO, &cam_info);
|
||||
|
||||
// read camera data to buf
|
||||
void *buf = malloc(cam_info.width * cam_info.height * 2); // assume the format is RGB565
|
||||
int ret = read(fd, buf, size);
|
||||
```
|
Binary file not shown.
Before Width: | Height: | Size: 490 KiB |
Binary file not shown.
Before Width: | Height: | Size: 487 KiB |
Loading…
Reference in New Issue