基于orangPi Zero 2的智能家居项目

需求及项目准备

• 语音接入控制各类家电，如客厅灯、卧室灯、风扇
• 回顾二阶段的Socket编程，实现Sockect发送指令远程控制各类家电
• 烟雾警报监测， 实时检查是否存在煤气泄漏或者火灾警情，当存在警情时及时触发蜂鸣器报警及语 音播报
• 控制人脸识别打开房门功能，并语音播报识别成功或者失败
• 局域网实时视频监控
• OLED屏实话显示当前主板温度、警情信息及控制指令信息

人脸识别使用阿里SDK支持Python和Java接口，目的是复习巩固智能分类时引入C语言的Python调用。

此接口是人工智能接口，阿里云识别模型是通过训练后的模型，精准度取决于训练程度，人工智能范畴 在常规嵌入式设备负责执行居多。

说白的嵌入式设备负责数据采集，然后转发给人工智能识别后，拿到结果进行执行器动作。

系统框图

硬件接线

硬件

USB充电头（当前实测可用：5V/2.5A)x1、USB转TYPE-Cx1、SU-03Tx1、烟雾报警模块x1、4路继 电器x1、 OLEDx1、 电磁锁x1（5V吸合开锁）、 蜂鸣器x1、小风扇+电机x1(需要自行购买)、面包 板x1、 5号1.5V电池x6 、 2节电池盒x1、4节电池盒x1、带3路led灯小房子（3.3V可驱动， 需自行 购买搭建）

接线

语音模块配置

阿里云人脸识别方案

在之前树莓派的人脸识别方案采用了翔云平台的方案去1V1上传比对两张人脸比对，这种方案是可行，可 以继续采用。但为了接触更多了云平台方案，在Orange Pi Zero2里， 讲采用人脸搜索1:N方案，通过提 前在阿里云人脸数据库里存储人脸照片后，输入单张已授权人脸图像，与人脸库中人脸图片进行对比， 最终获取比对结果。

开通完后， 在”工作台->开发能力->人脸人体->人脸数据库管理 ” 添加人脸照片样本 ：

• 数据库默认名字db_name/DbName：default
• EntityId/实体Id

上传数据库后，安装阿里云人脸识别SDK：

pip install alibabacloud_facebody20191230

导入ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET环境变量：

vi ~/.bashrc #最后的结尾添加， 在垃圾分类的项目里如果已经添加过就不需要添加了
export ALIBABA_CLOUD_ACCESS_KEY_ID="你的KEY_ID"
export ALIBABA_CLOUD_ACCESS_KEY_SECRET="你的KEY_SECRECT"

可以拿同一人的照片和不同人的照片用官方python代码进行对比：

# -*- coding: utf-8 -*-
# 引入依赖包
# pip install alibabacloud_facebody20191230
import os
import io
from urllib.request import urlopen
from alibabacloud_facebody20191230.client import Client
from alibabacloud_facebody20191230.models import SearchFaceAdvanceRequest
from alibabacloud_tea_openapi.models import Config
from alibabacloud_tea_util.models import RuntimeOptions
config = Config(
# 创建AccessKey ID和AccessKey Secret，请参考http://help.aliyun.com/document_detail/175144.html。
# 如果您用的是RAM用户的AccessKey，还需要为RAM用户授予权限AliyunVIAPIFullAccess，请参考http://help.aliyun.com/document_detail/145025.html。
# 从环境变量读取配置的AccessKey ID和AccessKey Secret。运行代码示例前必须先配置环境变量。
access_key_id=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID'),
access_key_secret=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
# 访问的域名
endpoint='facebody.cn-shanghai.aliyuncs.com',
# 访问的域名对应的region
region_id='cn-shanghai'
)
search_face_request = SearchFaceAdvanceRequest()
#场景一：文件在本地
def alicloud_Search_Face():
stream0 = open(r'/home/orangepi/smarthouse/face.jpg', 'rb')
search_face_request.image_url_object = stream0
#场景二：使用任意可访问的url
#url = 'http://viapi-test-bj.oss-cn-beijing.aliyuncs.com/viapi-3.0domepic/facebody/SearchFace1.png'
#img = urlopen(url).read()
#search_face_request.image_url_object = io.BytesIO(img)
search_face_request.db_name = 'default' #数据库默认名字db_name/DbName : default
search_face_request.limit = 5
runtime_option = RuntimeOptions()
try:
# 初始化Client
client = Client(config)
response = client.search_face_advance(search_face_request, runtime_option)
# 获取整体结果
print(response.body)
if 'MatchList' in response.body.to_map()['Data']:
message = response.body.to_map()['Data']['MatchList']
scores = []
for match in message:
for item in match.get('FaceItems', []):
score = item.get('Score')
if score is not None:  # 确保分数不为 None
scores.append(score)
if scores:  # 确保至少有一个分数
max_score = max(scores)
value = round(max_score, 2)
print(f"The max score = {value}")
return value
else:
print("No scores found.")
else:
print("No matches found.")
except Exception as error:
# 获取整体报错信息
print(error)
# 获取单个字段
print(error.code)
# tips: 可通过error.__dict__查看属性名称
if __name__ == "__main__":
alicloud_Search_Face()
#关闭流
#stream0.close()

一般比对成功的Python字典数据里的score会有大于0.6的值，而比对失败score普遍低于0.1。

例如下面是比对成功的数据：

orangepi@orangepizero2:~/smarthouse$ python3.10 face_test.py
{'Data': {'MatchList': [{'FaceItems': [{'Confidence': 85.15245, 'DbName': 'default', 'EntityId': 'liuyifei', 'FaceId': '150447260', 'Score': 0.814702570438385}, {'Confidence': 84.88723, 'DbName': 'default', 'EntityId': 'liuyifei', 'FaceId': '150447272', 'Score': 0.8113926649093628}, {'Confidence': 7.232084, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443939', 'Score': 0.041851237416267395}, {'Confidence': 4.7650957, 'DbName': 'default', 'EntityId': 'Pakho', 'FaceId': '150437504', 'Score': 0.027575060725212097}, {'Confidence': 0.0, 'DbName': 'default', 'EntityId': 'Zillion', 'FaceId': '156036363', 'Score': -0.005117176100611687}], 'Location': {'Height': 162, 'Width': 120, 'X': 220, 'Y': 205}, 'QualitieScore': 99.81394}]}, 'RequestId': '13B42F67-CDAF-5DEF-A3A4-B2ECFCB84679'}
The max score = 0.81

比对失败的数据则如下所示：

orangepi@orangepizero2:~/smarthouse$ python3.10 face_test.py
{'Data': {'MatchList': [{'FaceItems': [{'Confidence': 14.181928, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443939', 'Score': 0.08206918835639954}, {'Confidence': 9.166144, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443926', 'Score': 0.0530434250831604}, {'Confidence': 7.3621774, 'DbName': 'default', 'EntityId': 'liuyifei', 'FaceId': '150447272', 'Score': 0.042604073882102966}, {'Confidence': 4.4048343, 'DbName': 'default', 'EntityId': 'Pakho', 'FaceId': '150435069', 'Score': 0.02549027092754841}, {'Confidence': 3.6446795, 'DbName': 'default', 'EntityId': 'Pakho', 'FaceId': '150437504', 'Score': 0.021091341972351074}], 'Location': {'Height': 200, 'Width': 157, 'X': 97, 'Y': 134}, 'QualitieScore': 98.50028}, {'FaceItems': [{'Confidence': 5.9368124, 'DbName': 'default', 'EntityId': 'Zillion', 'FaceId': '156036363', 'Score': 0.03435565158724785}, {'Confidence': 4.0936313, 'DbName': 'default', 'EntityId': 'Pakho', 'FaceId': '150435069', 'Score': 0.023689374327659607}, {'Confidence': 2.6310804, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443939', 'Score': 0.015225759707391262}, {'Confidence': 2.4909613, 'DbName': 'default', 'EntityId': 'liuyifei', 'FaceId': '150447260', 'Score': 0.01441490650177002}, {'Confidence': 1.2927439, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443926', 'Score': 0.007480960339307785}], 'Location': {'Height': 119, 'Width': 135, 'X': 369, 'Y': 531}, 'QualitieScore': 51.177025}]}, 'RequestId': '62CA237A-CC70-5486-9909-22108C853CD1'}
The max score = 0.08

因此，就可以利用获取的最大score的值判断是否大于0.6来判断是否比对成功。

返回数据的说明：

Data：这是一个对象，其中包含了匹配列表的信息。
MatchList：这是一个数组，其中包含了匹配的结果。每个元素都是一个对象，代表一个匹配项。
FaceItems：这是一个数组，其中包含了匹配项中所有人脸的信息。每个元素都是一个对象，包含了一些关于该人脸的信息，如自信度（Confidence）、数据库名（DbName）、实体ID（EntityId）、面部ID（FaceId）和分数（Score）。
Location：这是一个对象，包含了人脸在原始图像中的位置信息，包括宽度（Width）、高度（Height）、左上角的x坐标（X）和y坐标（Y）。
QualitieScore：这是一个浮点数，表示了整个匹配过程的质量得分。

C语言调用阿里云人脸识别接口

face.c

#include 
#include 
#include 
#include 
void face_Init(void)
{
Py_Initialize();
PyObject *sys = PyImport_ImportModule("sys");
PyObject *path = PyObject_GetAttrString(sys, "path");
PyList_Append(path, PyUnicode_FromString("."));
}
void face_Finalize(void)
{
Py_Finalize();
}
double alicloud_Search_Face(void)
{
PyObject *pModule = PyImport_ImportModule("face");
if (!pModule)
{
PyErr_Print();
printf("Error: failed to load face.py
");
goto FAILED_MODULE;
}
PyObject *pFunc = PyObject_GetAttrString(pModule, "alicloud_Search_Face");
if (!pFunc)
{
PyErr_Print();
printf("Error: failed to load alicloud_Search_Face
");
goto FAILED_FUNC;
}
PyObject *pValue = PyObject_CallObject(pFunc, NULL);
if (!pValue)
{
PyErr_Print();
printf("Error: function call failed
");
goto FAILED_VALUE;
}
double result = 0.00;
if(!PyArg_Parse(pValue, "d", &result))
{
PyErr_Print();
printf("Error: parse failed
");
goto FAILED_RESULT;
}
printf("result = %lf
", result);
FAILED_RESULT:
Py_DECREF(pValue);
FAILED_VALUE:
Py_DECREF(pFunc);
FAILED_FUNC:
Py_DECREF(pModule);
FAILED_MODULE:
return result;
}

main.c

#include 
#include 
#include "face.h"
int main()
{
double face = 0.00;
face_Init();
face  = alicloud_Search_Face();
printf("face = %f
", face);
face_Finalize();
return 0;
}

face.py

# -*- coding: utf-8 -*-
# 引入依赖包
# pip install alibabacloud_facebody20191230
import os
import io
from urllib.request import urlopen
from alibabacloud_facebody20191230.client import Client
from alibabacloud_facebody20191230.models import SearchFaceAdvanceRequest
from alibabacloud_tea_openapi.models import Config
from alibabacloud_tea_util.models import RuntimeOptions
config = Config(
# 创建AccessKey ID和AccessKey Secret，请参考http://help.aliyun.com/document_detail/175144.html。
# 如果您用的是RAM用户的AccessKey，还需要为RAM用户授予权限AliyunVIAPIFullAccess，请参考http://help.aliyun.com/document_detail/145025.html。
# 从环境变量读取配置的AccessKey ID和AccessKey Secret。运行代码示例前必须先配置环境变量。
access_key_id=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID'),
access_key_secret=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
# 访问的域名
endpoint='facebody.cn-shanghai.aliyuncs.com',
# 访问的域名对应的region
region_id='cn-shanghai'
)
search_face_request = SearchFaceAdvanceRequest()
#场景一：文件在本地
def alicloud_Search_Face():
stream0 = open(r'/home/orangepi/smarthouse/liuyifei_test.jpg', 'rb')
search_face_request.image_url_object = stream0
#场景二：使用任意可访问的url
#url = 'http://viapi-test-bj.oss-cn-beijing.aliyuncs.com/viapi-3.0domepic/facebody/SearchFace1.png'
#img = urlopen(url).read()
#search_face_request.image_url_object = io.BytesIO(img)
search_face_request.db_name = 'default' #数据库默认名字db_name/DbName : default
search_face_request.limit = 5
runtime_option = RuntimeOptions()
try:
# 初始化Client
client = Client(config)
response = client.search_face_advance(search_face_request, runtime_option)
# 获取整体结果
print(response.body)
if 'MatchList' in response.body.to_map()['Data']:
message = response.body.to_map()['Data']['MatchList']
scores = []
for match in message:
for item in match.get('FaceItems', []):
score = item.get('Score')
if score is not None:  # 确保分数不为 None
scores.append(score)
if scores:  # 确保至少有一个分数
max_score = max(scores)
value = round(max_score, 2)
print(f"The max score = {value}")
return value
else:
print("No scores found.")
else:
print("No matches found.")
except Exception as error:
# 获取整体报错信息
print(error)
# 获取单个字段
print(error.code)
# tips: 可通过error.__dict__查看属性名称
if __name__ == "__main__":
alicloud_Search_Face()
#关闭流
#stream0.close()

智能家居项目的软件实现

软件框架

#mermaid-svg-RZvbraliXV0tkZvY {font-family:”trebuchet ms”,verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-RZvbraliXV0tkZvY .error-icon{fill:#552222;}#mermaid-svg-RZvbraliXV0tkZvY .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-RZvbraliXV0tkZvY .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-RZvbraliXV0tkZvY .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-RZvbraliXV0tkZvY .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-RZvbraliXV0tkZvY .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-RZvbraliXV0tkZvY .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-RZvbraliXV0tkZvY .marker{fill:#333333;stroke:#333333;}#mermaid-svg-RZvbraliXV0tkZvY .marker.cross{stroke:#333333;}#mermaid-svg-RZvbraliXV0tkZvY svg{font-family:”trebuchet ms”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-RZvbraliXV0tkZvY .label{font-family:”trebuchet ms”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-RZvbraliXV0tkZvY .cluster-label text{fill:#333;}#mermaid-svg-RZvbraliXV0tkZvY .cluster-label span{color:#333;}#mermaid-svg-RZvbraliXV0tkZvY .label text,#mermaid-svg-RZvbraliXV0tkZvY span{fill:#333;color:#333;}#mermaid-svg-RZvbraliXV0tkZvY .node rect,#mermaid-svg-RZvbraliXV0tkZvY .node circle,#mermaid-svg-RZvbraliXV0tkZvY .node ellipse,#mermaid-svg-RZvbraliXV0tkZvY .node polygon,#mermaid-svg-RZvbraliXV0tkZvY .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-RZvbraliXV0tkZvY .node .label{text-align:center;}#mermaid-svg-RZvbraliXV0tkZvY .node.clickable{cursor:pointer;}#mermaid-svg-RZvbraliXV0tkZvY .arrowheadPath{fill:#333333;}#mermaid-svg-RZvbraliXV0tkZvY .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-RZvbraliXV0tkZvY .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-RZvbraliXV0tkZvY .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-RZvbraliXV0tkZvY .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-RZvbraliXV0tkZvY .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-RZvbraliXV0tkZvY .cluster text{fill:#333;}#mermaid-svg-RZvbraliXV0tkZvY .cluster span{color:#333;}#mermaid-svg-RZvbraliXV0tkZvY div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:”trebuchet ms”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-RZvbraliXV0tkZvY :root{–mermaid-font-family:”trebuchet ms”,verdana,arial,sans-serif;}

语音监听线程

消息队列

网络监听线程

火灾监测线程

消息接收处理线程

GPIO引脚状态配置

OLED对指令状态的实时显示

语音播报线程

人脸识别

开关卧室灯

开关客厅灯

开关风扇

开门

整个项目开启4个监听线程， 分别是：

1. 语音监听线程:用于监听语音指令， 当有语音指令过来后， 通过消息队列的方式给消息处理线程发 送指令。
2. 网络监听线程：用于监听网络指令，当有网络指令过来后， 通过消息队列的方式给消息处理线程发 送指令。
3. 火灾检测线程：当存在煤气泄漏或者火灾闲情时， 发送警报指令给消息处理线程。
4. 消息监听线程： 用于处理以上3个线程发过来的指令，并根据指令要求配置GPIO引脚状态，OLED 屏显示、语音播报，还有人脸识别开门。

上述四个线程采用统一个对外接口接口，同时添加到监听链表中。

代码实现

之前讲过智能分类的项目，因为会用到语音模块、OLED显示、网络模块、这些代码都可以从智能分类的 项目中直接拷贝过来使用，另外添加之前准备好的人脸识别的代码 。 另外根据软件框架。再定义gdevice.h和control.h的头文件。

control.h

#ifndef _CONTROL_H_
#define _CONTROL_H_
#include 
#include 
struct control
{
char control_name[128]; //监听模块名称 
int (*init)(void); //初始化函数
void (*final)(void);//结束释放函数
void *(*get)(void *arg);//监听函数，如语音监听
void *(*set)(void *arg); //设置函数，如语音播报
struct control *next;
};
struct control *add_control_to_ctrl_list(struct control *phead, struct control *device);
#endif

control.c

#include "control.h"
struct control *add_control_to_ctrl_list(struct control *phead, struct control *ctrl_interface)
{
//    struct control *p = phead;
if (phead == NULL)
{
phead = ctrl_interface;
printf("%s|%s|%d:
", __FILE__, __FUNCTION__, __LINE__);
return phead;
}
else
{
ctrl_interface->next = phead;
phead = ctrl_interface;
printf("%s|%s|%d:
", __FILE__, __FUNCTION__, __LINE__);
return phead;
}
return phead;
}

device.h

#ifndef _DEVICE_H_
#define _DEVICE_H_
#include 
#include 
#include 
struct gdevice
{
char dev_name[128]; //设备名称
int key; //key值，用于匹配控制指令的值
int gpio_pin; //控制的gpio引脚
int gpio_mode; //输入输出模式
int gpio_status; //高低电平状态
int check_face_status; //是否进行人脸检测状态
int voice_set_status; //是否语音语音播报
struct gdevice *next;
};
struct gdevice *add_device_to_gdevice_list(struct gdevice *phead, struct gdevice *device);
struct gdevice *find_gdevice_by_key(struct gdevice *pdev, unsigned char key);
int set_gpio_gdevice_status(struct gdevice *pdev);
#endif

device.c

#include "device.h"
struct gdevice *add_device_to_gdevice_list(struct gdevice *phead, struct gdevice *device)
{
struct gdevice *p = phead;
printf("%s|%s|%d:%p
", __FILE__, __FUNCTION__, __LINE__, p);
if(p == NULL)
{
phead = device;
printf("%s|%s|%d:
", __FILE__, __FUNCTION__, __LINE__);
return phead;
}
else
{
device->next = phead;
phead = device;
printf("%s|%s|%d:
", __FILE__, __FUNCTION__, __LINE__);
return phead;
}
return phead;
}
struct gdevice *find_gdevice_by_key(struct gdevice *pdev, unsigned char key)
{
struct gdevice *p = pdev;
printf("%s|%s|%d:
", __FILE__, __FUNCTION__, __LINE__);
if(p == NULL)
{
printf("%s|%s|%d:
", __FILE__, __FUNCTION__, __LINE__);
return NULL;
}
while(p != NULL)
{
if(p->key == key)
{
printf("%s|%s|%d:
", __FILE__, __FUNCTION__, __LINE__);
return p;
}
p = p->next;
if(p == NULL)
{
p = pdev;
}
}
return NULL;
}
#if 0
struct gdevice
{
char dev_name[128]; //设备名称
int key; //key值，用于匹配控制指令的值
int gpio_pin; //控制的gpio引脚
int gpio_mode; //输入输出模式
int gpio_status; //高低电平状态
int check_face_status; //是否进行人脸检测状态
int voice_set_status; //是否语音语音播报
struct gdevice *next;
};
#endif
int set_gpio_gdevice_status(struct gdevice *pdev)
{
//    printf("\033[41;30m%s|%s|%d:pdev->gpio_status = %d\033[0m
", __FILE__, __FUNCTION__, __LINE__, pdev->gpio_status);
if (pdev != NULL)
{
printf("%s|%s|%d:pdev->gpio_status = %d
", __FILE__, __FUNCTION__, __LINE__, pdev->gpio_status);
if (pdev->gpio_pin != -1)
{
pinMode(pdev->gpio_pin, pdev->gpio_mode);
printf("\033[45;30m%s|%s|%d:gpio_pin = %d, gpio_mode = %d\033[0m
", __FILE__, __FUNCTION__, __LINE__, pdev->gpio_pin, pdev->gpio_mode);
}
if(pdev->gpio_status != -1)
{
digitalWrite(pdev->gpio_pin, pdev->gpio_status);
printf("%s|%s|%d:pdev->gpio_status = %d
", __FILE__, __FUNCTION__, __LINE__, pdev->gpio_status);
}
return 0;
}
else
{
//        printf("%s|%s|%d: \033[41;36m something here \033[0m
", __FILE__, __FUNCTION__, __LINE__);
return -1;
}
}

剩余工程代码放在Github上

因为 .c 文件已经多达17个了，虽然是CV但是也很麻烦，干脆直接把整个工程放在 Github 上了。

http://github.com/Zillion6/orangePi_smart_house.git

git clone http://github.com/Zillion6/orangePi_smart_house.git

内置有两个版本的智能家居项目，一个是仅用结构体配置链表，另一个则是用 .inih 轻量级的C库构成链表。