Tối ưu hoá tác vụ TinyML trên thiết bị năng lượng hạn chế

Phân tích chiến lược inference siêu nhẹ và lập lịch RTOS để kéo dài chu kỳ ngủ

1️⃣ Bối cảnh và vấn đề cốt lõi

Trong kỷ nguyên AI/HPC siêu mật độ, các trung tâm dữ liệu đang đẩy mạnh peta‑throughput và pico‑second latency bằng cách tích hợp hàng ngàn chip GPU/ASIC/FPGA trong các mô-đun siêu cao tần. Đồng thời, xu hướng IoT‑edge đòi hỏi đưa các mô hình học máy TinyML (dưới 1 MB, vài MB FLOPs) lên các nút cảm biến, thiết bị đeo, hoặc các hệ thống nhúng có công suất nguồn hạn chế (từ vài mW đến một vài chục mW).

Hai rào cản vật lý nổi bật:

Do đó, tối ưu hoá TinyML không chỉ là “cắt giảm tham số mô hình”, mà còn là điều chỉnh toàn bộ chuỗi năng lượng‑nhiệt‑độ trễ từ transistor tới hệ thống RTOS.

2️⃣ Định nghĩa chuẩn kỹ thuật

3️⃣ Kiến trúc phần cứng & luồng tín hiệu

3.1 Hệ thống cơ bản

[Sensor] → [ADC] → [DMA] → [L1 SRAM] → [NPU / DSP] → [L2 SRAM] → [Peripheral / Actuator]

• Sensor → ADC: Điện áp cảm biến được chuyển đổi thành tín hiệu số. Độ nhiễu (ENOB) phụ thuộc vào thermal noise √(4kTRΔf).
• DMA → L1 SRAM: Truyền dữ liệu không qua CPU, giảm bus contention và IR drop.
• NPU / DSP: Tốc độ tính toán quyết định latency pico‑second; kiến trúc systolic array giảm data movement energy.
• L2 SRAM: Lưu trữ trọng số đã quantized; leakage current tăng khi nhiệt độ > 85 °C.

3.2 Các điểm lỗi vật lý

3.3 Trade‑off quan trọng

4️⃣ Công thức tính năng lượng & nhiệt (cần thiết)

4.1 Công thức tính trung bình năng lượng tiêu thụ (tiếng Việt)

Tỷ lệ tiêu thụ năng lượng trung bình (E_avg) được tính như sau:

[
E_{\text{avg}} = \frac{\sum_{i=1}^{N} P_i \times t_i}{T_{\text{total}}}
]

Trong đó:

• (P_i) – công suất (W) trong giai đoạn i (Run, Sleep, Wake‑up).
• (t_i) – thời gian (s) của giai đoạn i.
• (T_{\text{total}}) – tổng thời gian chu kỳ (s).

Công thức này cho phép budget năng lượng cho mỗi vòng tính toán TinyML, từ đó điều chỉnh t_sleep tối đa mà không vi phạm giới hạn năng lượng (ví dụ 10 mJ/batch).

4.2 Công thức tính kháng nhiệt (LaTeX)

• (R_{\text{th}}) (°C/W): Kháng nhiệt tổng thể từ junction (T_j) tới môi trường ambient (T_a).
• (P_{\text{d}}) (W): Công suất tiêu thụ thực tế của chip (bao gồm cả leakage).

Khi R_th > 0.5 °C/W và (P_{\text{d}}) > 150 mW, nhiệt độ nút có thể vượt 85 °C, gây thermal throttling và giảm độ bền HBM/LPDDR.

5️⃣ Chiến lược lập lịch RTOS để tối đa hoá chu kỳ ngủ

5.1 Kiến trúc thời gian thực

5.2 Thuật toán “Energy‑Aware Rate Monotonic” (EARM)

1. Xác định period (T_i) và thời gian thực thi tối đa (C_i) cho mỗi task (Inference, SensorRead, Communication).
2. Tính slack:

[
\text{Slack}i = T_i – C_i – \text{Overhead}{\text{ctx}}
]

1. Phân bố slack cho DVFS và voltage scaling: giảm tần số trong phần slack, sau đó vào trạng thái Deep‑Sleep.

Kết quả: t_sleep được mở rộng mà không làm trễ deadline, đồng thời E_avg giảm tới 30 %.

5.3 Tối ưu hoá wake‑up latency

• Context save/restore: Lưu trạng thái chỉ các register cần thiết (≈ 12 bytes) → giảm overhead < 10 µs.
• Low‑power oscillator (RC‑oscillator 32 kHz) thay cho PLL khi ở chế độ Sleep → giảm tiêu thụ từ 1 mW xuống 0.1 mW.

6️⃣ Kiểm soát nhiệt và quản lý năng lượng ở cấp hệ thống

6.1 Giám sát nhiệt độ on‑chip

• Thermal sensor ADC (precision ±0.5 °C) được đọc mỗi 1 ms bằng DMA.
• Khi (T_j) > 80 °C → throttle tần số 20 % và kích hoạt active cooling (mini‑fan hoặc micro‑fluidic).

6.2 Đánh giá PUE & WUE cho Edge Node

• PUE (Power Usage Effectiveness):

[
\text{PUE} = \frac{P_{\text{total}}}{P_{\text{IT}}}
]

Với Edge Node, (P_{\text{IT}}) bao gồm MCU + sensor, còn (P_{\text{total}}) còn thêm power‑regulation loss (≈ 5 %).
* WUE (Water Usage Effectiveness): Đối với các node dùng liquid cooling, WUE = Litre water / kWh. Đảm bảo < 0.5 L/kWh để đáp ứng tiêu chuẩn xanh.

7️⃣ Kiến nghị vận hành – chiến lược thực tiễn

8️⃣ Kết luận

Việc tối ưu hoá TinyML trên các thiết bị năng lượng hạn chế không thể tách rời khỏi nguyên lý vật lý và quản lý năng lượng‑nhiệt ở mức silicon. Bằng cách:

1. Thiết kế mô hình siêu nhẹ (pruned, quantized, distilled) để giảm FLOPs và kích thước trọng số.
2. Áp dụng kiến trúc NPU/DSP với systolic array và DMA‑driven data path để giảm chuyển dữ liệu và IR drop.
3. Triển khai RTOS tickless, energy‑aware scheduling và dynamic voltage/frequency scaling dựa trên slack để kéo dài sleep cycle.
4. Giám sát nhiệt độ on‑chip và điều chỉnh thermal throttling để giữ (R_{\text{th}}) và (T_{\text{j}}) trong ngưỡng an toàn.

Ta đạt được giảm năng lượng trung bình > 30 %, tăng thời gian ngủ lên tới 90 % chu kỳ, đồng thời duy trì latency pico‑second và độ chính xác ≥ 80 %.

Với các khuyến nghị trên, các nhà thiết kế hạ tầng AI/HPC có thể mở rộng quy mô edge AI mà không gây tải quá mức cho nguồn năng lượng hay hệ thống làm mát, đồng thời nâng cao độ tin cậy và tuổi thọ của các node TinyML.