Пример TensorFlow Lite C ++ API для вывода

Я пытаюсь запустить пример TensorFlow Lite на машине с процессором ARM Cortex-A72. К сожалению, мне не удалось развернуть тестовую модель из-за отсутствия примеров использования C ++ API. Я постараюсь объяснить, чего я добился до сих пор.

Создайте модель tflite

Я создал простую модель линейной регрессии и преобразовал ее, которая должна приближаться к функции f(x) = 2x - 1. Я получил этот фрагмент кода из какого-то учебника, но я больше не могу его найти.

import tensorflow as tf
import numpy as np
from tensorflow import keras
from tensorflow.contrib import lite

model = keras.Sequential([keras.layers.Dense(units=1, input_shape=[1])])
model.compile(optimizer='sgd', loss='mean_squared_error')

xs = np.array([ -1.0, 0.0, 1.0, 2.0, 3.0, 4.0], dtype=float)
ys = np.array([ -3.0, -1.0, 1.0, 3.0, 5.0, 7.0], dtype=float)

model.fit(xs, ys, epochs=500)

print(model.predict([10.0]))

keras_file = 'linear.h5'
keras.models.save_model(model, keras_file)

converter = lite.TocoConverter.from_keras_model_file(keras_file)
tflite_model = converter.convert()
open('linear.tflite', 'wb').write(tflite_model)

Это создает двоичный файл с именем linear.tflite, который я могу загрузить.

Скомпилировать TensorFlow Lite для моей машины

TensorFlow Lite поставляется со сценарием для компиляции на машинах с архитектурой aarch64. Я следовал руководству здесь, чтобы сделать это, хотя мне пришлось немного изменить Makefile. Обратите внимание, что я скомпилировал это изначально в своей целевой системе. Это создало статическую библиотеку под названием libtensorflow-lite.a.

Проблема: вывод

Я попытался следовать руководству на сайте здесь и просто вставил фрагменты кода из загрузка и запуск модели вместе, например

class FlatBufferModel {
  // Build a model based on a file. Return a nullptr in case of failure.
  static std::unique_ptr<FlatBufferModel> BuildFromFile(
      const char* filename,
      ErrorReporter* error_reporter);

  // Build a model based on a pre-loaded flatbuffer. The caller retains
  // ownership of the buffer and should keep it alive until the returned object
  // is destroyed. Return a nullptr in case of failure.
  static std::unique_ptr<FlatBufferModel> BuildFromBuffer(
      const char* buffer,
      size_t buffer_size,
      ErrorReporter* error_reporter);
};

tflite::FlatBufferModel model("./linear.tflite");

tflite::ops::builtin::BuiltinOpResolver resolver;
std::unique_ptr<tflite::Interpreter> interpreter;
tflite::InterpreterBuilder(*model, resolver)(&interpreter);

// Resize input tensors, if desired.
interpreter->AllocateTensors();

float* input = interpreter->typed_input_tensor<float>(0);
// Fill `input`.

interpreter->Invoke();

float* output = interpreter->typed_output_tensor<float>(0);

При попытке скомпилировать это через

g++ demo.cpp libtensorflow-lite.a

Я получаю кучу ошибок. Бревно:

root@localhost:/inference# g++ demo.cpp libtensorflow-lite.a 
demo.cpp:3:15: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
   static std::unique_ptr<FlatBufferModel> BuildFromFile(
               ^~~~~~~~~~
demo.cpp:10:15: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
   static std::unique_ptr<FlatBufferModel> BuildFromBuffer(
               ^~~~~~~~~~
demo.cpp:16:1: error: ‘tflite’ does not name a type
 tflite::FlatBufferModel model("./linear.tflite");
 ^~~~~~
demo.cpp:18:1: error: ‘tflite’ does not name a type
 tflite::ops::builtin::BuiltinOpResolver resolver;
 ^~~~~~
demo.cpp:19:6: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
 std::unique_ptr<tflite::Interpreter> interpreter;
      ^~~~~~~~~~
demo.cpp:20:1: error: ‘tflite’ does not name a type
 tflite::InterpreterBuilder(*model, resolver)(&interpreter);
 ^~~~~~
demo.cpp:23:1: error: ‘interpreter’ does not name a type
 interpreter->AllocateTensors();
 ^~~~~~~~~~~
demo.cpp:25:16: error: ‘interpreter’ was not declared in this scope
 float* input = interpreter->typed_input_tensor<float>(0);
                ^~~~~~~~~~~
demo.cpp:25:48: error: expected primary-expression before ‘float’
 float* input = interpreter->typed_input_tensor<float>(0);
                                                ^~~~~
demo.cpp:28:1: error: ‘interpreter’ does not name a type
 interpreter->Invoke();
 ^~~~~~~~~~~
demo.cpp:30:17: error: ‘interpreter’ was not declared in this scope
 float* output = interpreter->typed_output_tensor<float>(0);
                 ^~~~~~~~~~~
demo.cpp:30:50: error: expected primary-expression before ‘float’
 float* output = interpreter->typed_output_tensor<float>(0);

Я относительно новичок в C ++, поэтому я могу упустить что-то очевидное. Однако похоже, что у других людей также есть проблемы с C ++ API (см. эту проблему GitHub < / а>). Кто-нибудь тоже наткнулся на это и заставил его работать?

#include "tensorflow/lite/interpreter.h"
#include "tensorflow/lite/kernels/register.h"
#include "tensorflow/lite/model.h"
#include "tensorflow/lite/tools/gen_op_registration.h"

auto model = tflite::FlatBufferModel::BuildFromFile("linear.tflite");   //CHANGED

tflite::ops::builtin::BuiltinOpResolver resolver;
std::unique_ptr<tflite::Interpreter> interpreter;
tflite::InterpreterBuilder(*model, resolver)(&interpreter);

// Resize input tensors, if desired.
interpreter->AllocateTensors();

float* input = interpreter->typed_input_tensor<float>(0);
// Fill `input`.

interpreter->Invoke();

float* output = interpreter->typed_output_tensor<float>(0);

root@localhost:/inference# g++ demo.cpp -I/tensorflow
demo.cpp:10:34: error: expected ‘)’ before ‘,’ token
 tflite::InterpreterBuilder(*model, resolver)(&interpreter);
                                  ^
demo.cpp:10:44: error: expected initializer before ‘)’ token
 tflite::InterpreterBuilder(*model, resolver)(&interpreter);
                                            ^
demo.cpp:13:1: error: ‘interpreter’ does not name a type
 interpreter->AllocateTensors();
 ^~~~~~~~~~~
demo.cpp:18:1: error: ‘interpreter’ does not name a type
 interpreter->Invoke();
 ^~~~~~~~~~~