¶ 1. Песочница и разрешения ОС Аврора 5
Каждое приложение запускается в изолированном окружении: по умолчанию ему недоступны ни данные пользователя, ни большинство аппаратных ресурсов.
Доступ выдаётся явно — списком разрешений в .desktop-файле приложения, секция [X-Application]:
[X-Application]
Permissions=Camera;Pictures
OrganizationName=ru.template
ApplicationName=ImageLab
Разрешения перечисляются через точку с запятой. Основные разрешения:
| Разрешение | Доступ |
|---|---|
Audio |
воспроизведение и запись аудио |
Bluetooth |
Bluetooth-устройства |
Camera |
съёмка фото и видео |
DeviceInfo |
сведения об устройстве |
Documents |
каталог «Документы» (~/Documents) |
Downloads |
каталог «Загрузки» (~/Downloads) |
Internet |
сетевые подключения |
Location |
геопозиция |
Microphone |
запись с микрофона |
Music |
каталог «Музыка» (~/Music) |
NFC |
устройства NFC |
Pictures |
каталог «Изображения» (~/Pictures) |
Videos |
каталог «Видео» (~/Videos) |
UserDirs |
все пользовательские каталоги сразу |
Несколько советов:
- запрашивайте минимально необходимый набор: если нужны только изображения, указывайте
Pictures, а неUserDirs; - пользователь видит запрошенные разрешения при установке — избыточный список снижает доверие;
- помните, что собственные каталоги приложения (настройки, данные, кэш) доступны всегда и разрешений не требуют.
Соответствие каталогов, констант QStandardPaths и разрешений:
| Каталог | QStandardPaths | Разрешение |
|---|---|---|
~/Documents |
DocumentsLocation |
Documents или UserDirs |
~/Downloads |
DownloadLocation |
Downloads или UserDirs |
~/Pictures |
PicturesLocation |
Pictures или UserDirs |
~/Music |
MusicLocation |
Music или UserDirs |
| данные приложения | AppDataLocation |
не требуется |
| кэш приложения | CacheLocation |
не требуется |
Пример забытого разрешения при загрузке картинки: файл существует, путь верный, но
QImage::load()возвращаетfalse, а в галерее картинка видна. ПроверьтеPermissionsв.desktop.
¶ 2. Выбор контента: Sailfish.Pickers
Чтобы пользователь выбрал изображение (документ, файл), используется модуль Sailfish.Pickers — публичный API ОС Аврора:
import QtQuick 2.0
import Sailfish.Silica 1.0
import Sailfish.Pickers 1.0
Page {
id: page
property string selectedPath: ""
Button {
anchors.centerIn: parent
text: qsTr("Выбрать изображение")
onClicked: pageStack.push(imagePickerComponent)
}
Component {
id: imagePickerComponent
ImagePickerPage {
onSelectedContentPropertiesChanged: {
page.selectedPath = selectedContentProperties.filePath
}
}
}
}
selectedContentProperties содержит filePath (полный путь), url, fileName,
mimeType. Помимо ImagePickerPage доступны FilePickerPage (с фильтрами имён),
DocumentPickerPage, MusicPickerPage, ContentPickerPage.
Сам диалог выбора работает вне песочницы приложения, но чтобы открыть выбранный файл из ~/Pictures, приложению нужно разрешение Pictures.
¶ 3. Обработка изображений: QImage и QQuickImageProvider
¶ Растровое изображение в памяти
#include <QImage>
QImage image;
if (!image.load(filePath))
return;
// преобразование в 8-битные градации серого
QImage gray = image.convertToFormat(QImage::Format_Grayscale8);
// прямой доступ к пикселям
qint64 sum = 0;
for (int y = 0; y < gray.height(); ++y) {
const uchar *line = gray.constScanLine(y);
for (int x = 0; x < gray.width(); ++x)
sum += line[x];
}
const qreal meanBrightness = qreal(sum) / (qreal(gray.width()) * gray.height());
Полезные операции QImage, которые понадобятся и для нейронок:
scaled(w, h, Qt::IgnoreAspectRatio, Qt::SmoothTransformation)— изменение размера;convertToFormat(QImage::Format_RGB888)— приведение к 24-битному RGB.
¶ Как показать QImage в QML (не из файла)
Элемент Image в QML загружает картинки по URL. Чтобы отдать изображение, сформированное в C++, регистрируется ImageProvider:
class ResultImageProvider : public QQuickImageProvider
{
public:
ResultImageProvider() : QQuickImageProvider(QQuickImageProvider::Image) {}
QImage requestImage(const QString &id, QSize *size,
const QSize &requestedSize) override;
void setImage(const QImage &image);
private:
QMutex m_mutex;
QImage m_image;
};
#include "resultimageprovider.h"
QImage ResultImageProvider::requestImage(const QString &id,
QSize *size,
const QSize &requestedSize)
{
QMutexLocker lock(&m_mutex);
QImage result = m_image;
if (size)
*size = result.size();
if (!requestedSize.isEmpty())
return result.scaled(requestedSize,
Qt::KeepAspectRatio,
Qt::SmoothTransformation);
return result;
}
void ResultImageProvider::setImage(const QImage &image)
{
QMutexLocker lock(&m_mutex);
m_image = image;
}
// main.cpp: addImageProvider передаёт владение провайдером движку QML
view->engine()->addImageProvider(QStringLiteral("result"),
new ResultImageProvider);
Image {
cache: false // не кэшировать
source: imageProcessor.resultSource // "image://result/processed/3"
}
Регистрация провайдера:
addImageProvider("result", provider)— регистрирует провайдер под именем"result"в движке QML- Движок забирает владение объектом
- После регистрации любой URL вида
image://result/...будет маршрутизироваться в этот провайдер
Запрос из QML:
Image { source: "image://result/processed/3" }— QML видит схемуimage://и понимает, что это не файл, а провайдер- Движок извлекает имя провайдера (
result) и передаёт остаток (processed/3) как параметрid - Вызов
requestImage()происходит в отдельном потоке загрузки Qt, не в GUI-потоке — отсюда и мьютекс (чтобы предотвратить состояние гонки)
Поток данных внутри провайдера:
- C++-код (обработка изображения) вызывает
setImage(result)— кладётQImageподQMutexLocker - Движок QML вызывает
requestImage()— тоже берёт мьютекс, читаетm_image - Параметр
sizeзаполняется реальными размерами - Если
requestedSizeзадан (Image имеет фиксированныеwidth/height), провайдер масштабирует — это эффективнее, чем масштабирование в QML
Механизм обновления:
Image { cache: false }— отключает внутренний кэш QML по URL
Но этого недостаточно, посколько Image не перезагружает картинку, если source не изменился
Решением является менять сам URL: "image://result/processed/3" в "image://result/processed/4"
C++-объект imageProcessor экспортируется в QML через Q_PROPERTY; при смене m_version генерируется сигнал resultSourceChanged() — QML реагирует и перезапрашивает.
¶ 4. Многопоточность в Qt
¶ Правило GUI-потока
Весь интерфейс Qt живёт в одном потоке (главном). Если в этом потоке выполнить
долгую операцию — обработку фотографии, инференс нейросети, чтение большого файла —
интерфейс зависает, не реагирует на касания, не перерисовывается. Допустимый порог блокировки — миллисекунды.
Правило: всё долгое — в отдельный поток; весь UI — только из главного.
¶ Паттерн «worker-объект в QThread»
// worker.h — исполнитель, живёт в фоновом потоке
class ProcessingWorker : public QObject
{
Q_OBJECT
public slots:
void process(const QString &filePath); // долгая работа здесь
signals:
void finished(const QImage &result, qreal meanBrightness, int elapsedMs);
};
// imageprocessor.h
#include <QObject>
#include <QThread>
#include "processingworker.h"
class ImageProcessor : public QObject
{
Q_OBJECT
Q_PROPERTY(QString resultSource READ resultSource
NOTIFY resultSourceChanged)
public:
explicit ImageProcessor(QObject *parent = nullptr);
~ImageProcessor();
QString resultSource() const { return m_resultSource; }
signals:
void processRequested(const QString &filePath);
void resultSourceChanged();
private slots:
void handleFinished(const QImage &result, qreal meanBrightness, int elapsedMs);
private:
ProcessingWorker *m_worker;
QThread m_thread;
QString m_resultSource;
int m_version = 0;
};
// этот процессор живёт в главном потоке
ImageProcessor::ImageProcessor(QObject *parent) : QObject(parent)
{
// m_thread - приватный объект типа QThread в ImageProcessor
m_worker = new ProcessingWorker;
m_worker->moveToThread(&m_thread);
// удаление worker при остановке потока
connect(&m_thread, &QThread::finished, m_worker, &QObject::deleteLater);
// запрос туда: сигнал контроллера в слот worker (выполнится в фоне)
connect(this, &ImageProcessor::processRequested,
m_worker, &ProcessingWorker::process);
// результат обратно: сигнал worker в слот контроллера (в главном потоке)
connect(m_worker, &ProcessingWorker::finished,
this, &ImageProcessor::handleFinished);
m_thread.start();
}
ImageProcessor::~ImageProcessor()
{
m_thread.quit();
m_thread.wait();
}
Запрещено из фонового потока трогать QML-объекты и виджеты, вызывать методы объектов главного потока напрямую.
¶ 5. Граничные вычисления и инференс на устройстве
¶ Термины
- Граничные вычисления (edge computing) — обработка данных вблизи их источника (на устройстве или узле сети), а не в центральном облаке.
- Инференс (inference) — применение обученной модели машинного обучения к новым данным.
- Инференс на устройстве (on-device inference) — частный случай граничных вычислений, когда модель выполняется прямо на телефоне / планшете.
¶ Зачем выполнять модель на устройстве
| Критерий | Облако | Устройство |
|---|---|---|
| Конфиденциальность | данные покидают устройство | данные остаются локально |
| Работа офлайн | нет | да |
| Задержка | сеть + очередь сервера | миллисекунды–секунды, предсказуемо |
| Стоимость эксплуатации | растёт с числом пользователей | нулевая серверная стоимость |
| Доступные модели | любые | ограничены CPU/памятью устройства |
Для ОС Аврора, которая ориентирована на корпоративный сектор с повышенными требованиями к безопасности данных, локальный инференс часто является естественным выбором.
¶ Ограничения мобильного инференса
- процессор: на устройствах с ОС Аврора инференс выполняется на CPU (ARM); счёт идёт на сотни миллисекунд — секунды для компактных моделей;
- память: модель целиком загружается в ОЗУ; реалистичный размер до нескольких сотен МБ;
- энергопотребление: постоянный инференс разряжает батарею
Поэтому на устройствах используются компактные архитектуры (MobileNet, SqueezeNet, эффективные речевые модели) и квантование — преобразование весов из float32 в int16/int8/int4, уменьшающее размер модели несколько раз и ускоряющее инференс на CPU ценой небольшой (если повезёт) потери точности.
¶ От обучения к мобильному приложению
PyTorch / TensorFlow (обучение на сервере или готовая модель)
│ экспорт
▼
ONNX (.onnx — открытый формат обмена моделями)
│ (опционально) квантование
▼
ONNX Runtime (C++ библиотека инференса)
│
▼
Приложение C++/QML на ОС Аврора
ONNX (Open Neural Network Exchange) — открытый формат представления моделей: граф операций + веса. Экспорт из PyTorch реализуется просто:
import torch
import torchvision
model = torchvision.models.mobilenet_v2(weights="IMAGENET1K_V1").eval()
example_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(model, example_input, "mobilenet_v2.onnx",
input_names=["input"], output_names=["output"],
opset_version=12)
ONNX Runtime — кроссплатформенная библиотека инференса ONNX-моделей, которую ОМП использует в своих официальных примерах. Для ОС Аврора она подключается через пакетный менеджер Conan (про него в следующий раз).
¶ Практическое задание 3. Обработка изображений в фоновом потоке
Построить скелет приложения граничных вычислений: выбор изображения из галереи, длительная обработка в фоновом потоке (QThread + worker-объект), отображение результата из C++ через QQuickImageProvider.
¶ Постановка задачи
- Пользователь выбирает фотографию из галереи;
- Приложение показывает оригинал;
- По нажатию кнопки фотография обрабатывается в фоновом потоке: перевод в градации серого + вычисление средней яркости;
- Результат (обработанное изображение, средняя яркость, время обработки
в миллисекундах) отображается на странице; - Во время обработки интерфейс не блокируется, показывается индикатор того, что процесс идёт.
¶ Требования
¶ 1. Разрешения и выбор файла
- В
.desktopуказано разрешениеPictures(и только оно); - выбор изображения —
ImagePickerPageизSailfish.Pickers; - выбранный файл показывается элементом
Image.
¶ 2. Фоновая обработка
- Класс-исполнитель
ProcessingWorker(наследникQObject):- слот
process(const QString &filePath); - загружает
QImage, преобразует вFormat_Grayscale8, считает среднюю яркость по пикселям (черезconstScanLine); - замеряет время
QElapsedTimer; - испускает сигнал
finished(QImage, qreal, int);
- слот
- класс-контроллер
ImageProcessor(живёт в главном потоке):- создаёт
QThread, перемещает в него worker (moveToThread), корректно останавливает поток в деструкторе (quit()+wait()); - свойства для QML (
Q_PROPERTY+NOTIFY):busy,meanBrightness,elapsedMs,resultSource; - метод
Q_INVOKABLE void process(const QString &filePath); - запрос к worker — только через сигнал (очередное соединение), никаких прямых вызовов методов worker из главного потока;
- создаёт
- повторное нажатие кнопки во время обработки игнорируется (проверка
busy).
¶ 3. Отображение результата
QQuickImageProviderзарегистрирован в движке QML под именемresult;- контроллер кладёт обработанный
QImageв провайдер и обновляетresultSourceс меняющимся суффиксом-версией; - у элемента
Imageрезультата выключен кэш (cache: false).
¶ 4. Интерфейс
- Кнопки «Выбрать изображение» и «Обработать» (вторая активна только при выбранном файле и
!imageProcessor.busy); BusyIndicatorво время обработки;- средняя яркость (0–255, один знак после запятой) и время в мс;
- страница прокручивается (
SilicaFlickable).
¶ 5. Ограничения
- обработка изображения в главном потоке запрещена;
- доступ к UI из worker-потока запрещён.
¶ Подсказки
- В эмуляторе галерея пуста
; QElapsedTimer timer; timer.start(); ...; int ms = timer.elapsed();- провайдер должен защищать
QImageмьютексом:requestImageвызывается из потока рендеринга; - если
Imageне обновляется после второй обработки, то, возможно, вы забыли помеменять суффикс URL или выключитьcache; - если приложение падает при закрытии — поток не остановлен:
quit()+wait()в деструкторе процессора.
¶ Полезные материалы
- Документация ОС Аврора: файл .desktop и список разрешений;
- Документация ОС Аврора: данные пользователя и каталоги;
- Документация ОС Аврора: публичные API (
Sailfish.Pickersи др.); - QImage (Qt 5), QQuickImageProvider (Qt 5);
- Многопоточность в Qt (Qt 5), QThread (Qt 5);
- Спецификация ONNX, экспорт моделей PyTorch в ONNX;
- Официальные ML-примеры ОМП: Onnx Runner, SpeechToText (самый сок).