Wiznet makers

📌 Overview

Hawk is a machine-learning system that recognizes when low-power appliances turn ON or OFF by observing the current waveform at a building's main power line. Its data-acquisition board combines a 24-bit ADS131M08 ADC, a dual-core ESP32, and W5500 Ethernet. The recognition pipeline then uses SsDiff signal processing, FFT features, and an XGBoost classifier to identify appliance events.

Hawk was published as an academic research paper. Researchers from the Institute of Computing Technology, Chinese Academy of Sciences, the University of Chinese Academy of Sciences, and Great Bay University presented it at ACM SenSys 2024. SenSys is the ACM Conference on Embedded Networked Sensor Systems, an international research venue covering sensors, embedded systems, networking, and IoT. The Hawk paper appeared in its Applications and Deployments program and received the conference's Best Artifact Evaluation Award.

Hawk in one line: ADS131M08 measures the waveform, ESP32 organizes and synchronizes the samples, W5500 sends acquisition data over Ethernet, and FFT-XGBoost recognizes the appliance event.

Source: Wang et al., Hawk, Figure 8, arXiv:2410.16293v1, CC BY 4.0.

What Is NALM, and Why Are Low-Power Appliances Difficult?

NALM stands for Non-Intrusive Appliance Load Monitoring. During recognition, instead of attaching a permanent sensor to every appliance, a NALM system measures the combined electrical load at one main-meter point and estimates which appliance changed state. It is similar to listening to several instruments playing together and identifying which one has just started or stopped. Hawk temporarily measures individual appliance currents while building labeled training data, then uses the aggregate main-meter stream for deployed recognition.

Low-power devices are difficult because their changes can be small compared with refrigerators, air conditioners, and other background loads. Hawk therefore looks beyond a single average-power value. It captures detailed current waveforms and learns the electrical pattern associated with each target appliance's ON and OFF events.

The project has two connected stages. First, it builds a balanced, labeled waveform dataset called HawkDATA. Second, it trains and evaluates a model that recognizes appliance events from the aggregate main-meter current.

Inside the ESP32 and W5500 Acquisition Board

The ADS131M08 can sample up to eight analog channels simultaneously at 16 kHz with 24-bit resolution. In a 50 Hz power system, one AC cycle lasts 20 ms, so Hawk records 320 waveform points per voltage cycle. This detail helps expose harmonic patterns that may be difficult to see in average power readings.

The ESP32 divides the acquisition work between its two cores. Core1 responds to ADC interrupts, reads samples, and packages them by voltage cycle. Core0 checks packet status and moves each completed cycle toward the logging path. The board then uses its two network interfaces for different tasks:

• ESP32 Wi-Fi reads the router's TSF time information. Hawk uses the AC voltage cycle observed by every board as shared perceptible time, while TSF, or Time Synchronization Function, helps identify the cycle ID.
• W5500 Ethernet carries the packaged measurement data through the router to the logging PC during HawkDATA construction. The system uses MQTT between the acquisition environment and the host.

Source: Wang et al., Hawk, Figure 7, arXiv:2410.16293v1, CC BY 4.0.

Figure 7 shows the role split directly: Wi-Fi participates in the timing path, while W5500 provides the wired measurement-data path. This lets the ESP32 concentrate on sampling and cycle packaging while the logger receives the waveform records used to build the dataset.

From Labeled Waveforms to HawkDATA

Machine learning needs examples in which the waveform and the correct appliance event are paired. Hawk creates those labels with a balanced Gray-code schedule. Only one target appliance changes state at each step, producing a clear event such as "humidifier ON" or "monitor OFF." Randomized appliance groups and starting states expose the model to many background-load combinations.

The laboratory setup used 22 appliances: 18 programmable target appliances and four background devices. The full raw dataset contains 32.2 hours of measurements, 5,796,650 voltage cycles, 4,558 unique appliance-state combinations, and 127.8 GB of data.

Hawk also introduces shared perceptible time to match measurements from different nodes. Every node can observe the same AC voltage cycle, and the TSF value helps identify that cycle consistently. The paper reports a maximum synchronization error of 61.80 microseconds, which is below the 62.5-microsecond interval between samples at 16 kHz.

Source: Wang et al., Hawk, Figure 10, arXiv:2410.16293v1, CC BY 4.0.

How SsDiff, FFT, and XGBoost Recognize an Event

Hawk's selected recognition path can be read as four steps:

1. SsDiff highlights the change. Steady-state Differential current subtracts a waveform from one captured 30 AC cycles earlier. Loads that remain unchanged largely cancel out, while the device that switched leaves a clearer difference.
2. FFT creates a compact electrical fingerprint. FFT means Fast Fourier Transform. It converts a waveform changing over time into its frequency components. Hawk keeps the real part, imaginary part, and magnitude of the first ten harmonics, reducing a 320-point waveform to 30 features.
3. XGBoost classifies the fingerprint. XGBoost is a gradient-boosting model that builds decision trees in sequence, with later trees learning to correct earlier errors. The classifier selects among 37 states: ON and OFF for 18 target appliances, plus IDLE.
4. A 30-cycle vote confirms the event. Hawk checks whether the same prediction appears often enough across a short window, reducing isolated false detections.

Source: Wang et al., Hawk, Figure 6, arXiv:2410.16293v1, CC BY 4.0.

Training and inference happen in different places. The model learns from labeled HawkDATA offline. In the field system, a C inference program runs on a Jetson Orin NX 16GB and subscribes to the aggregate-current stream over MQTT. The paper reports 4.07 ms average inference latency and 40.19 MB memory usage on that platform. The ESP32 and W5500 are the collection and communication front end; the Jetson runs the trained recognition model.

Results in the Dataset and in Real Spaces

Hawk reports F1 score, a metric that balances precision and recall. In plain language, it rewards a system for finding real appliance events while avoiding false reports. The paper presents each result for a specific evaluation:

• 92.71% average event-recognition F1 on HawkDATA
• about 93.94% state-recognition F1 on HawkDATA
• 97.07% event-classification F1 on the separate BLUED dataset
• 96.02% and 94.76% event F1 in residential and office deployments, respectively

The field study covered a 103 m² residence and a 25 m² graduate-student office with unknown background appliances. The floor plans below show where the main-meter sensors and evaluated appliances were placed.

Source: Wang et al., Hawk, Figure 9, arXiv:2410.16293v1, CC BY 4.0.

⚙️ Why the W5500 Role Matters

Hawk is a useful example of W5500 supporting an ML system without being the ML processor. During dataset construction, the Ethernet controller moves cycle-packaged, high-resolution measurements from the ESP32 acquisition board to the logging PC. Those records become the labeled data used to develop and evaluate the appliance-recognition model.

The component roles form a clear chain:

• ADS131M08 converts analog current and voltage signals into synchronized digital samples.
• ESP32 handles acquisition, voltage-cycle packaging, and timing queries.
• W5500 supplies the wired Ethernet path for the measurement data.
• The logging environment stores and organizes HawkDATA.
• Jetson Orin NX executes real-time inference from the main-meter stream.

For WIZnet developers, the reusable design idea is the boundary between embedded sensing and machine learning. A network controller can connect a high-rate acquisition device to the host where datasets are built and models are run.

Public Research Artifacts

The authors provide the Hawk paper, the SenSys24-Hawk artifact repository, and the HawkDATA evaluation package. The repository includes evaluation scripts, XGBoost models, BLUED event data, synchronization analysis, and a short field video. SenSys 2024 recognized this research package with its Best Artifact Evaluation Award.

These materials are well suited to studying the dataset, synchronization method, model evaluation, and deployment results. The embedded acquisition board would require additional engineering work because its firmware, schematic, PCB, BOM, and broker configuration are not part of the artifact release.

Related WIZnet Maker Reading Path

For another multi-channel acquisition system that hands data to an AI workflow, see How Does W5500 Stream 8-Channel RF Data for Drone Detection?. It uses STM32 and AD7606 for RF sensing, while Hawk uses ESP32 and ADS131M08 for power waveforms.

TheBreeze: W5500 Ethernet DDP Receiver for WLED shows a similar wired/wireless role split in an LED system: W5500 handles the main pixel stream while Wi-Fi supports lighter control.

For a more practical energy gateway, ESP32 JSY Energy Meter Gateway with W5500 Support sends processed meter telemetry rather than Hawk's high-resolution training waveforms. Together, the two projects show the difference between an installable energy gateway and an academic ML data pipeline.

Source-Backed Summary

Hawk connects embedded measurement to appliance-recognition ML in a traceable sequence: capture with ADS131M08, organize and synchronize with ESP32, transport with W5500, extract harmonic features with FFT, classify with XGBoost, and confirm with 30-cycle voting. Its paper, dataset, award-winning artifact repository, and field evaluation make it a detailed academic reference for Ethernet-connected AIoT data acquisition.

❓ FAQ

Q. What does NALM mean? NALM is Non-Intrusive Appliance Load Monitoring. It estimates individual appliance activity from an aggregate main-meter measurement instead of placing a sensor on every appliance.

Q. What do FFT and XGBoost each do? FFT converts the current waveform into harmonic features. XGBoost uses those features to classify which appliance switched ON or OFF.

Q. What are the separate roles of Wi-Fi and W5500? ESP32 Wi-Fi reads TSF timing information for synchronization. W5500 sends packaged acquisition data over wired Ethernet to the logging PC during dataset construction.

Q. Where do training and real-time inference run? Training uses labeled HawkDATA offline. The deployed C inference program runs on a Jetson Orin NX 16GB and reads the main-meter stream over MQTT.

Q. Can the complete acquisition board be rebuilt from the artifact repository? The repository supports study of the algorithms and evaluations. A full hardware rebuild also needs acquisition firmware and board-design details that are not included in the release.

한국어 (Korean)

📌 개요

Hawk(호크)는 건물의 메인 전력선에서 측정한 전류 파형을 보고 저전력 가전이 언제 켜지고 꺼졌는지 인식하는 머신러닝 시스템입니다. 데이터 수집 보드는 24-bit ADS131M08 ADC, 듀얼코어 ESP32, W5500 Ethernet으로 구성됩니다. 이후 SsDiff 신호 처리, FFT 특징 추출, XGBoost 분류를 거쳐 가전의 ON/OFF 이벤트를 찾아냅니다.

Hawk는 학술 연구 논문으로 발표된 시스템입니다. 중국과학원 컴퓨팅기술연구소, 중국과학원대학, Great Bay University 연구진이 개발해 ACM SenSys 2024에서 발표했습니다. SenSys는 ACM Conference on Embedded Networked Sensor Systems의 약자로, 센서, 임베디드 시스템, 네트워크, IoT 연구를 다루는 국제 학술대회입니다. Hawk 논문은 실제 시스템의 응용과 배포를 다루는 프로그램에 포함됐고, Best Artifact Evaluation Award를 받았습니다.

한 문장으로 보는 Hawk: ADS131M08이 파형을 측정하고, ESP32가 샘플을 정리하고 동기화하며, W5500이 수집 데이터를 Ethernet으로 전송하고, FFT-XGBoost가 가전 이벤트를 인식합니다.

출처: Wang et al., Hawk, Figure 8, arXiv:2410.16293v1, CC BY 4.0.

NALM이란 무엇이며 저전력 가전은 왜 어려운가?

NALM은 Non-Intrusive Appliance Load Monitoring, 우리말로 비침입식 가전 부하 모니터링입니다. 실제 인식 단계에서는 가전마다 센서를 계속 설치하지 않고, 분전반이나 메인 미터 한 곳에서 합쳐진 전기 부하를 측정해 어떤 가전의 상태가 바뀌었는지 추정합니다. 여러 악기가 함께 연주되는 소리에서 어떤 악기가 막 연주를 시작하거나 멈췄는지 구분하는 것과 비슷합니다. Hawk는 학습용 라벨을 만들 때만 개별 가전 전류를 함께 측정하고, 현장 인식에서는 메인 미터의 합산 전류 스트림을 사용합니다.

저전력 기기의 변화는 냉장고, 에어컨 같은 큰 배경 부하에 묻히기 쉽습니다. Hawk는 하나의 평균 전력값만 보는 대신 세밀한 전류 파형을 수집하고, 각 가전의 ON/OFF 순간에 나타나는 전기적 패턴을 학습합니다.

프로젝트는 서로 이어지는 두 단계로 구성됩니다. 먼저 균형 있게 라벨링된 파형 데이터셋인 HawkDATA를 만들고, 그다음 메인 미터의 합산 전류에서 가전 이벤트를 인식하는 모델을 학습하고 평가합니다.

ESP32와 W5500 데이터 수집 보드의 구조

ADS131M08은 최대 8개 아날로그 채널을 16 kHz, 24-bit 해상도로 동시에 샘플링할 수 있습니다. 50 Hz 전력 환경에서 교류 한 주기는 20 ms이므로 Hawk는 전압 한 주기마다 320개의 파형 점을 기록합니다. 이렇게 촘촘하게 측정하면 평균 전력값만으로는 보기 어려운 고조파 패턴을 살펴볼 수 있습니다.

ESP32는 두 코어에 수집 작업을 나눕니다. Core1은 ADC 인터럽트에 반응해 샘플을 읽고 전압 주기 단위로 묶습니다. Core0는 패킷 상태를 확인하고 완성된 각 주기의 데이터를 로깅 경로로 보냅니다. 보드의 두 네트워크 인터페이스도 서로 다른 일을 맡습니다.

• ESP32 Wi-Fi는 라우터의 TSF 시간 정보를 읽습니다. Hawk는 모든 보드가 함께 관측하는 교류 전압 주기를 shared perceptible time으로 사용하고, TSF, 즉 Time Synchronization Function 값으로 각 주기의 ID를 확인합니다.
• W5500 Ethernet은 HawkDATA를 만드는 동안 패키징된 계측 데이터를 라우터를 거쳐 로깅 PC로 전달합니다. 수집 환경과 호스트 사이에는 MQTT가 사용됩니다.

출처: Wang et al., Hawk, Figure 7, arXiv:2410.16293v1, CC BY 4.0.

Figure 7에서 이 역할 분리를 바로 확인할 수 있습니다. Wi-Fi는 시간 동기화 경로에 참여하고, W5500은 계측 데이터를 옮기는 유선 경로를 제공합니다. ESP32가 샘플링과 주기 단위 패키징을 담당하는 동안 로거는 데이터셋을 만들 파형 기록을 전달받습니다.

라벨이 붙은 파형에서 HawkDATA까지

머신러닝 학습에는 파형과 정답 가전 이벤트가 서로 맞는 예제가 필요합니다. Hawk는 균형 Gray-code 스케줄을 이용해 라벨을 만듭니다. 한 단계마다 목표 가전 하나만 상태를 바꾸기 때문에 '가습기 ON'이나 '모니터 OFF'처럼 명확한 이벤트가 생깁니다. 가전 그룹과 시작 상태를 무작위로 바꿔 다양한 배경 부하 조합도 학습 데이터에 포함합니다.

실험실 구성에는 목표 가전 18개와 배경 기기 4개를 합친 22개 가전이 사용됐습니다. 전체 raw 데이터셋은 32.2시간, 5,796,650개 전압 주기, 4,558개 고유 가전 상태 조합, 127.8 GB의 데이터로 구성됩니다.

Hawk는 여러 노드의 측정값을 서로 맞추기 위해 shared perceptible time이라는 동기화 방법도 제시합니다. 모든 노드가 같은 교류 전압 주기를 관측하고, TSF 값으로 그 주기를 일관되게 식별합니다. 논문에 보고된 최대 동기화 오차는 61.80 microseconds로, 16 kHz에서 두 샘플 사이의 62.5 microseconds보다 작습니다.

출처: Wang et al., Hawk, Figure 10, arXiv:2410.16293v1, CC BY 4.0.

SsDiff, FFT, XGBoost는 어떻게 이벤트를 인식하나?

Hawk가 선택한 인식 과정은 네 단계로 이해할 수 있습니다.

1. SsDiff가 변화를 강조합니다. SsDiff는 Steady-state Differential current의 약자입니다. 현재 파형에서 30개 교류 주기 전의 파형을 뺍니다. 계속 켜져 있던 배경 부하는 대부분 상쇄되고, 그사이 켜지거나 꺼진 가전의 변화가 더 분명하게 남습니다.
2. FFT가 전기적 지문을 만듭니다. FFT는 Fast Fourier Transform, 고속 푸리에 변환입니다. 시간에 따라 변하는 파형을 어떤 주파수 성분이 들어 있는지 보여주는 형태로 바꿉니다. Hawk는 첫 10개 고조파의 실수부, 허수부, 크기를 사용해 320개 파형 점을 30개 특징으로 요약합니다.
3. XGBoost가 지문을 분류합니다. XGBoost는 앞선 결정 트리의 오류를 뒤의 트리가 보완하도록 여러 트리를 순차적으로 만드는 gradient boosting 모델입니다. Hawk는 목표 가전 18개의 ON/OFF 36개와 IDLE 1개를 합친 37개 상태 중 하나를 선택합니다.
4. 30주기 투표가 이벤트를 확인합니다. 짧은 구간에서 같은 예측이 충분히 반복됐는지 확인해 한 번만 나타나는 잘못된 감지를 줄입니다.

출처: Wang et al., Hawk, Figure 6, arXiv:2410.16293v1, CC BY 4.0.

학습과 추론은 서로 다른 곳에서 진행됩니다. 모델은 라벨이 붙은 HawkDATA를 사용해 오프라인에서 학습합니다. 현장 시스템에서는 C로 작성된 추론 프로그램이 Jetson Orin NX 16GB에서 실행되고, MQTT로 메인 미터의 합산 전류 스트림을 구독합니다. 논문은 이 환경에서 평균 추론 지연 4.07 ms와 메모리 사용량 40.19 MB를 보고합니다. ESP32와 W5500은 수집과 통신을 담당하는 앞단이고, Jetson이 학습된 인식 모델을 실행합니다.

데이터셋과 실제 공간에서 얻은 결과

Hawk는 F1 점수로 결과를 보고합니다. F1은 정밀도와 재현율을 함께 보는 지표입니다. 쉽게 말해 실제 가전 이벤트를 잘 찾으면서 잘못된 이벤트 보고는 줄여야 높아집니다. 논문은 평가 대상별 결과를 다음과 같이 제시합니다.

• HawkDATA 이벤트 인식 평균 F1 92.71%
• HawkDATA 상태 인식 F1 약 93.94%
• 별도 BLUED 데이터셋 이벤트 분류 F1 97.07%
• 주거 공간과 사무실 현장 평가 이벤트 F1 각각 96.02%, 94.76%

현장 평가는 103 m² 주거 공간과 25 m² 대학원생 사무실에서 진행됐으며, 알 수 없는 배경 가전도 함께 동작했습니다. 아래 평면도는 메인 미터 센서와 평가 대상 가전이 어디에 배치됐는지 보여줍니다.

출처: Wang et al., Hawk, Figure 9, arXiv:2410.16293v1, CC BY 4.0.

⚙️ W5500의 역할이 중요한 이유

Hawk는 W5500이 머신러닝 연산을 직접 수행하지 않더라도 ML 시스템을 어떻게 뒷받침할 수 있는지 보여주는 사례입니다. 데이터셋 구축 단계에서 W5500은 전압 주기 단위로 패키징된 고해상도 계측 데이터를 ESP32 수집 보드에서 로깅 PC까지 전달합니다. 이렇게 모인 기록이 가전 인식 모델을 개발하고 평가하는 라벨 데이터가 됩니다.

구성 요소별 역할은 하나의 연결된 흐름을 만듭니다.

• ADS131M08은 아날로그 전류와 전압 신호를 동기화된 디지털 샘플로 바꿉니다.
• ESP32는 수집, 전압 주기 단위 패키징, 시간 정보 조회를 담당합니다.
• W5500은 계측 데이터의 유선 Ethernet 경로를 제공합니다.
• 로깅 환경은 HawkDATA를 저장하고 정리합니다.
• Jetson Orin NX는 메인 미터 스트림에서 실시간 추론을 실행합니다.

WIZnet 개발자 관점에서 재사용할 만한 설계 포인트는 임베디드 센싱과 머신러닝 사이의 연결입니다. 네트워크 컨트롤러가 고속 데이터 수집 장치와 데이터셋을 만들고 모델을 실행하는 호스트를 이어줄 수 있습니다.

공개된 연구 자료

연구팀은 Hawk 논문, SenSys24-Hawk artifact 저장소, HawkDATA 평가 패키지를 공개했습니다. 저장소에는 평가 스크립트, XGBoost 모델, BLUED 이벤트 데이터, 동기화 분석, 짧은 현장 영상이 포함됩니다. SenSys 2024는 이 연구 자료에 Best Artifact Evaluation Award를 수여했습니다.

이 자료로 데이터셋, 동기화 방식, 모델 평가, 현장 결과를 살펴볼 수 있습니다. 임베디드 수집 보드를 실제로 제작하려면 artifact release에 포함되지 않은 수집 펌웨어, 회로도, PCB, BOM, broker 설정을 별도로 설계해야 합니다.

관련 WIZnet Maker 읽을거리

여러 채널의 데이터를 AI 워크플로로 넘기는 또 다른 사례로 How Does W5500 Stream 8-Channel RF Data for Drone Detection?를 볼 수 있습니다. 이 프로젝트는 RF 감지를 위해 STM32와 AD7606을 사용하고, Hawk는 전력 파형을 위해 ESP32와 ADS131M08을 사용한다는 차이가 있습니다.

TheBreeze: W5500 Ethernet DDP Receiver for WLED는 LED 시스템에서 비슷한 유무선 역할 분리를 보여줍니다. W5500은 주된 pixel stream을 처리하고 Wi-Fi는 더 가벼운 제어에 사용됩니다.

보다 실용적인 에너지 gateway 사례는 ESP32 JSY Energy Meter Gateway with W5500 Support입니다. 이 장치는 Hawk의 고해상도 학습 파형 대신 가공된 전력계 telemetry를 전송합니다. 두 프로젝트를 함께 보면 설치형 에너지 gateway와 학술 ML 데이터 파이프라인의 차이를 확인할 수 있습니다.

출처 기반 요약

Hawk는 임베디드 계측과 가전 인식 머신러닝을 분명한 순서로 연결합니다. ADS131M08로 수집하고, ESP32로 정리하고 동기화하며, W5500으로 전송하고, FFT로 고조파 특징을 추출하고, XGBoost로 분류한 뒤, 30주기 투표로 이벤트를 확정합니다. 논문, 데이터셋, Best Artifact Evaluation Award를 받은 연구 자료, 현장 평가가 함께 공개된 Ethernet 기반 AIoT 데이터 수집 연구 사례입니다.

❓ FAQ

Q. NALM은 무슨 뜻인가요? NALM은 Non-Intrusive Appliance Load Monitoring, 비침입식 가전 부하 모니터링입니다. 가전마다 센서를 달지 않고 메인 미터의 합산 측정값으로 개별 가전의 동작을 추정합니다.

Q. FFT와 XGBoost는 각각 무엇을 하나요? FFT는 전류 파형을 고조파 특징으로 바꾸고, XGBoost는 그 특징을 보고 어떤 가전이 켜지거나 꺼졌는지 분류합니다.

Q. Wi-Fi와 W5500은 각각 어떤 역할인가요? ESP32 Wi-Fi는 동기화를 위한 TSF 시간 정보를 읽습니다. W5500은 데이터셋 구축 단계에서 패키징된 수집 데이터를 유선 Ethernet으로 로깅 PC에 전달합니다.

Q. 학습과 실시간 추론은 어디에서 진행되나요? 학습은 라벨이 붙은 HawkDATA로 오프라인에서 진행됩니다. 배포된 C 추론 프로그램은 Jetson Orin NX 16GB에서 실행되며 MQTT로 메인 미터 스트림을 읽습니다.

Q. artifact 저장소만으로 수집 보드 전체를 제작할 수 있나요? 저장소를 통해 알고리즘과 평가 과정을 살펴볼 수 있습니다. 전체 하드웨어 제작에는 release에 포함되지 않은 수집 펌웨어와 보드 설계 자료가 추가로 필요합니다.