framework: update intelligent framework doc

* delete camera sensor for no camera support currently
* update intelligent framework with tflite examples
This commit is contained in:
Bao Li 2021-04-29 17:56:38 +08:00
parent 1b78625f92
commit e5a2ec7a2e
6 changed files with 4 additions and 46 deletions

Binary file not shown.

Before

Width:  |  Height:  |  Size: 199 KiB

After

Width:  |  Height:  |  Size: 54 KiB

View File

@ -10,9 +10,9 @@
![智能框架架构](./imagesrc/framework-ai-arch.png) ![智能框架架构](./imagesrc/framework-ai-arch.png)
图中 **端侧智能框架** 是我们提供的在节点端进行智能计算的框架,而 边缘/云端智能框架 是进行进一步复杂智能计算的框架。其中模型库是我们提供的一些训练好的AI模型比如仪表读数识别模型、人物检测模型等 图中 **端侧智能框架** 是我们提供的在节点端进行智能计算的框架,能够提供在端侧进行初步的智能运算
端侧智能框架 目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller在勘智K210 上支持 KPU ModelCV算子目前暂不支持。后续工作中我们会将 TF Lite for MCU 和 KPU Model 融合以及提供一些通用的 CV 算子 端侧智能框架 目前在 STM32 平台上支持 TensorFlow Lite for Microcontroller在勘智K210 上支持 KPU ModelCV算子目前暂不支持。后续工作中我们尝试将智能框架进行融合并提供部分 CV 支持
## 端侧 Framework 的使用说明 ## 端侧 Framework 的使用说明
@ -21,3 +21,5 @@
在 STM32 平台,本系统提供 TensorFlow Lite for Microcontroller 框架,关于 TF Lite for MCU 的使用,可以参照 [TF Lite for MCU 官方教程](https://tensorflow.google.cn/lite/microcontrollers) ,详细说明后续补充。 在 STM32 平台,本系统提供 TensorFlow Lite for Microcontroller 框架,关于 TF Lite for MCU 的使用,可以参照 [TF Lite for MCU 官方教程](https://tensorflow.google.cn/lite/microcontrollers) ,详细说明后续补充。
在 勘智 K210 平台,本系统提供 KPU Model 的框架,详细使用可以参考 [勘智官方说明](https://s3.cn-north-1.amazonaws.com.cn/dl.kendryte.com/documents/kendryte_standalone_programming_guide_v0.3.0.pdf) 的 “神经网络处理器KPU”章节详细说明后续补充。 在 勘智 K210 平台,本系统提供 KPU Model 的框架,详细使用可以参考 [勘智官方说明](https://s3.cn-north-1.amazonaws.com.cn/dl.kendryte.com/documents/kendryte_standalone_programming_guide_v0.3.0.pdf) 的 “神经网络处理器KPU”章节详细说明后续补充。
针对 TF Lite for MCU 的使用,可以参考 XiUOS 代码中的 applications 下面的 tflite_mnist、tflite_sin 应用。

View File

@ -17,6 +17,3 @@
- [压强传感器](./pressure_sensor.md) - [压强传感器](./pressure_sensor.md)
- [声音传感器](./voice_sensor.md) - [声音传感器](./voice_sensor.md)
- [图像传感器](./image_sensor.md)

View File

@ -1,41 +0,0 @@
# 图像传感器
## 传感器介绍
| 传感器信号 | 传感器说明 | 驱动支持 | 传感器外形 |
| --- | --- | --- | --- |
| OV7670 | 最大支持 40x48030万像素不支持 JPEG 输出,不支持自动对焦 | 已支持 | ![ov7670](./imagesrc/sensor-ov7670.png) |
| OV2640 | 最大支持 1600x1200200万像素支持 JPEG 输出,不支持自动对焦 | 待支持 | ![ov7670](./imagesrc/sensor-ov2640.png) |
## 使用说明
本系统支持 dev fscamera 设备会在 /dev 下面注册。
相关数据结构:
```c
enum CameraOutputFormat {
RGB565,
JPEG,
};
struct CameraInfo {
int width;
int height;
CameraOutputFormat format;
};
```
基本使用说明:
```c
// open camera device
int fd = open(“/dev/cam1”);
// get camera info
struct CameraInfo cam_info;
int ret = ioctl(fd, GET_INFO, &cam_info);
// read camera data to buf
void *buf = malloc(cam_info.width * cam_info.height * 2); // assume the format is RGB565
int ret = read(fd, buf, size);
```

Binary file not shown.

Before

Width:  |  Height:  |  Size: 490 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 487 KiB