ClassFlowCNNGeneral.cpp 38 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002
  1. #include "ClassFlowCNNGeneral.h"
  2. #include <math.h>
  3. #include <iomanip>
  4. #include <sys/types.h>
  5. #include <sstream> // std::stringstream
  6. #include "CTfLiteClass.h"
  7. #include "ClassLogFile.h"
  8. static const char* TAG = "flow_analog";
  9. bool debugdetailgeneral = false;
  10. ClassFlowCNNGeneral::ClassFlowCNNGeneral(ClassFlowAlignment *_flowalign, t_CNNType _cnntype) : ClassFlowImage(NULL, TAG)
  11. {
  12. string cnnmodelfile = "";
  13. modelxsize = 1;
  14. modelysize = 1;
  15. CNNGoodThreshold = 0.0;
  16. ListFlowControll = NULL;
  17. previousElement = NULL;
  18. SaveAllFiles = false;
  19. disabled = false;
  20. isLogImageSelect = false;
  21. CNNType = AutoDetect;
  22. CNNType = _cnntype;
  23. flowpostalignment = _flowalign;
  24. }
  25. string ClassFlowCNNGeneral::getReadout(int _analog = 0, bool _extendedResolution, int prev)
  26. {
  27. string result = "";
  28. if (GENERAL[_analog]->ROI.size() == 0)
  29. return result;
  30. if (debugdetailgeneral) LogFile.WriteToFile("ClassFlowCNNGeneral::getReadout _analog=" + std::to_string(_analog) + ", _extendedResolution=" + std::to_string(_extendedResolution) + ", prev=" + std::to_string(prev));
  31. if (CNNType == Analogue || CNNType == Analogue100)
  32. {
  33. float zahl = GENERAL[_analog]->ROI[GENERAL[_analog]->ROI.size() - 1]->result_float;
  34. int ergebnis_nachkomma = ((int) floor(zahl * 10) + 10) % 10;
  35. prev = ZeigerEval(GENERAL[_analog]->ROI[GENERAL[_analog]->ROI.size() - 1]->result_float, prev);
  36. if (debugdetailgeneral) LogFile.WriteToFile("ClassFlowCNNGeneral::getReadout(analog) zahl=" + std::to_string(zahl) + ", ergebnis_nachkomma=" + std::to_string(ergebnis_nachkomma) + ", prev=" + std::to_string(prev));
  37. result = std::to_string(prev);
  38. if (_extendedResolution && (CNNType != Digital))
  39. result = result + std::to_string(ergebnis_nachkomma);
  40. for (int i = GENERAL[_analog]->ROI.size() - 2; i >= 0; --i)
  41. {
  42. prev = ZeigerEval(GENERAL[_analog]->ROI[i]->result_float, prev);
  43. result = std::to_string(prev) + result;
  44. }
  45. return result;
  46. }
  47. if (CNNType == Digital)
  48. {
  49. for (int i = 0; i < GENERAL[_analog]->ROI.size(); ++i)
  50. {
  51. if (GENERAL[_analog]->ROI[i]->result_klasse >= 10)
  52. result = result + "N";
  53. else
  54. result = result + std::to_string(GENERAL[_analog]->ROI[i]->result_klasse);
  55. }
  56. return result;
  57. }
  58. if ((CNNType == DoubleHyprid10) || (CNNType == Digital100))
  59. {
  60. float zahl = GENERAL[_analog]->ROI[GENERAL[_analog]->ROI.size() - 1]->result_float;
  61. if (zahl >= 0) // NaN?
  62. {
  63. if (_extendedResolution) // ist nur gesetzt, falls es die erste Ziffer ist (kein Analog vorher!)
  64. {
  65. int ergebnis_nachkomma = ((int) floor(zahl * 10)) % 10;
  66. int ergebnis_vorkomma = ((int) floor(zahl)) % 10;
  67. result = std::to_string(ergebnis_vorkomma) + std::to_string(ergebnis_nachkomma);
  68. prev = ergebnis_vorkomma;
  69. if (debugdetailgeneral) LogFile.WriteToFile("ClassFlowCNNGeneral::getReadout(dig100-ext) ergebnis_vorkomma=" + std::to_string(ergebnis_vorkomma) + ", ergebnis_nachkomma=" + std::to_string(ergebnis_nachkomma) + ", prev=" + std::to_string(prev));
  70. }
  71. else
  72. {
  73. // prev = ZeigerEval(GENERAL[_analog]->ROI[GENERAL[_analog]->ROI.size() - 1]->result_float, prev);
  74. prev = ZeigerEvalHybrid(GENERAL[_analog]->ROI[GENERAL[_analog]->ROI.size() - 1]->result_float, prev, prev);
  75. result = std::to_string(prev);
  76. if (debugdetailgeneral) LogFile.WriteToFile("ClassFlowCNNGeneral::getReadout(dig100) prev=" + std::to_string(prev));
  77. }
  78. }
  79. else
  80. {
  81. result = "N";
  82. if (_extendedResolution && (CNNType != Digital))
  83. result = "NN";
  84. }
  85. for (int i = GENERAL[_analog]->ROI.size() - 2; i >= 0; --i)
  86. {
  87. if (GENERAL[_analog]->ROI[i]->result_float >= 0)
  88. {
  89. // Digital Modelle haben nur x.0 und benötigen eine andere Prüfung bei Nullübergang
  90. if (CNNType != Digital){
  91. prev = ZeigerEvalDigital(GENERAL[_analog]->ROI[i]->result_float, GENERAL[_analog]->ROI[i+1]->result_float, prev);
  92. } else {
  93. prev = ZeigerEvalHybrid(GENERAL[_analog]->ROI[i]->result_float, GENERAL[_analog]->ROI[i+1]->result_float, prev);
  94. }
  95. result = std::to_string(prev) + result;
  96. }
  97. else
  98. {
  99. prev = -1;
  100. result = "N" + result;
  101. if (debugdetailgeneral) LogFile.WriteToFile("ClassFlowCNNGeneral::getReadout(result_float<0 /'N') result_float=" + std::to_string(GENERAL[_analog]->ROI[i]->result_float));
  102. }
  103. }
  104. return result;
  105. }
  106. /*
  107. if (CNNType == Digital100)
  108. {
  109. int zif_akt = -1;
  110. float zahl = GENERAL[_analog]->ROI[GENERAL[_analog]->ROI.size() - 1]->result_float;
  111. if (zahl >= 0) // NaN?
  112. {
  113. if (_extendedResolution)
  114. {
  115. int ergebnis_nachkomma = ((int) floor(zahl * 10)) % 10;
  116. int ergebnis_vorkomma = ((int) floor(zahl)) % 10;
  117. result = std::to_string(ergebnis_vorkomma) + std::to_string(ergebnis_nachkomma);
  118. zif_akt = ergebnis_vorkomma;
  119. }
  120. else
  121. {
  122. zif_akt = ZeigerEvalHybrid(GENERAL[_analog]->ROI[GENERAL[_analog]->ROI.size() - 1]->result_float, -1, -1);
  123. result = std::to_string(zif_akt);
  124. }
  125. }
  126. else
  127. {
  128. result = "N";
  129. if (_extendedResolution && (CNNType != Digital))
  130. result = "NN";
  131. }
  132. for (int i = GENERAL[_analog]->ROI.size() - 2; i >= 0; --i)
  133. {
  134. if (GENERAL[_analog]->ROI[i]->result_float >= 0)
  135. {
  136. zif_akt = ZeigerEvalHybrid(GENERAL[_analog]->ROI[i]->result_float, GENERAL[_analog]->ROI[i+1]->result_float, zif_akt);
  137. result = std::to_string(zif_akt) + result;
  138. }
  139. else
  140. {
  141. zif_akt = -1;
  142. result = "N" + result;
  143. }
  144. }
  145. return result;
  146. }
  147. */
  148. return result;
  149. }
  150. int ClassFlowCNNGeneral::ZeigerEvalDigital(float zahl, float zahl_vorgaenger, int eval_vorgaenger)
  151. {
  152. int ergebnis_nachkomma = ((int) floor(zahl * 10)) % 10;
  153. if (zahl_vorgaenger < 0) // keine Vorzahl vorhanden !!! --> Runde die Zahl
  154. {
  155. if ((ergebnis_nachkomma <= 2) || (ergebnis_nachkomma >= 8)) // Band um die Ziffer --> Runden, da Ziffer im Rahmen Ungenauigkeit erreicht
  156. return ((int) round(zahl) + 10) % 10;
  157. else
  158. return ((int) trunc(zahl) + 10) % 10;
  159. }
  160. if (zahl_vorgaenger > 9.2) // Ziffernwechsel beginnt
  161. {
  162. if (eval_vorgaenger == 0) // Wechsel hat schon stattgefunden
  163. {
  164. return ((int) round(zahl) + 10) % 10; // Annahme, dass die neue Zahl schon in der Nähe des Ziels ist
  165. }
  166. else
  167. {
  168. if (zahl_vorgaenger <= 9.5) // Wechsel startet gerade, aber beginnt erst
  169. {
  170. if ((ergebnis_nachkomma <= 2) || (ergebnis_nachkomma >= 8)) // Band um die Ziffer --> Runden, da Ziffer im Rahmen Ungenauigkeit erreicht
  171. return ((int) round(zahl) + 10) % 10;
  172. else
  173. return ((int) trunc(zahl) + 10) % 10;
  174. }
  175. else
  176. {
  177. return ((int) trunc(zahl) + 10) % 10; // Wechsel schon weiter fortgeschritten, d.h. über 2 als Nachkomma
  178. }
  179. }
  180. }
  181. if ((ergebnis_nachkomma <= 2) || (ergebnis_nachkomma >= 8)) // Band um die Ziffer --> Runden, da Ziffer im Rahmen Ungenauigkeit erreicht
  182. return ((int) round(zahl) + 10) % 10;
  183. return ((int) trunc(zahl) + 10) % 10;
  184. }
  185. int ClassFlowCNNGeneral::ZeigerEvalHybrid(float zahl, float zahl_vorgaenger, int eval_vorgaenger)
  186. {
  187. int ergebnis_nachkomma = ((int) floor(zahl * 10)) % 10;
  188. int ergebnis_vorkomma = ((int) floor(zahl) + 10) % 10;
  189. if (eval_vorgaenger < 0) // keine Vorzahl vorhanden !!! --> Runde die Zahl
  190. {
  191. if ((ergebnis_nachkomma <= 2) || (ergebnis_nachkomma >= 8)) // Band um die Ziffer --> Runden, da Ziffer im Rahmen Ungenauigkeit erreicht
  192. return ((int) round(zahl) + 10) % 10;
  193. else
  194. return ((int) trunc(zahl) + 10) % 10;
  195. }
  196. if ((zahl_vorgaenger >= 0.5 ) && (zahl_vorgaenger < 9.5))
  197. {
  198. // kein Ziffernwechsel, da Vorkomma weit genug weg ist (0+/-0.5) --> zahl wird gerundet
  199. return ((int) round(zahl) + 10) % 10;
  200. }
  201. else
  202. {
  203. if (eval_vorgaenger <= 1) // Nulldurchgang hat stattgefunden (!Bewertung über Prev_value und nicht Zahl!) --> hier aufrunden (2.8 --> 3, aber auch 3.1 --> 3)
  204. {
  205. if (ergebnis_nachkomma > 5)
  206. return (ergebnis_vorkomma + 1) % 10;
  207. else
  208. return ergebnis_vorkomma;
  209. }
  210. else // bleibt nur >= 9.5 --> noch kein Nulldurchgang --> 2.8 --> 2, und 3.1 --> 2
  211. {
  212. // hier auf 4 reduziert, da erst ab Vorgänder 9 anfängt umzustellen. Bei 9.5 Vorgänger kann die aktuelle
  213. // Zahl noch x.4 - x.5 sein.
  214. if (ergebnis_nachkomma >= 4)
  215. return ergebnis_vorkomma;
  216. else
  217. return (ergebnis_vorkomma - 1 + 10) % 10;
  218. }
  219. }
  220. if (debugdetailgeneral) LogFile.WriteToFile("ClassFlowCNNGeneral::ZeigerEvalHybrid(return -1) zahl=" + std::to_string(zahl)
  221. + ", zahl_vorgaenger=" + std::to_string(zahl_vorgaenger) + ", eval_vorgaenger=" + std::to_string(eval_vorgaenger));
  222. return -1;
  223. /*
  224. if (zahl_vorgaenger > 9.2) // Ziffernwechsel beginnt
  225. {
  226. if (eval_vorgaenger == 0) // Wechsel hat schon stattgefunden
  227. {
  228. return ((int) round(zahl) + 10) % 10; // Annahme, dass die neue Zahl schon in der Nähe des Ziels ist
  229. }
  230. else
  231. {
  232. if (zahl_vorgaenger <= 9.5) // Wechsel startet gerade, aber beginnt erst
  233. {
  234. if ((ergebnis_nachkomma <= 2) || (ergebnis_nachkomma >= 8)) // Band um die Ziffer --> Runden, da Ziffer im Rahmen Ungenauigkeit erreicht
  235. return ((int) round(zahl) + 10) % 10;
  236. else
  237. return ((int) trunc(zahl) + 10) % 10;
  238. }
  239. else
  240. {
  241. return ((int) trunc(zahl) + 10) % 10; // Wechsel schon weiter fortgeschritten, d.h. über 2 als Nachkomma
  242. }
  243. }
  244. }
  245. if ((ergebnis_nachkomma <= 2) || (ergebnis_nachkomma >= 8)) // Band um die Ziffer --> Runden, da Ziffer im Rahmen Ungenauigkeit erreicht
  246. return ((int) round(zahl) + 10) % 10;
  247. return ((int) trunc(zahl) + 10) % 10;
  248. */
  249. }
  250. int ClassFlowCNNGeneral::ZeigerEval(float zahl, int ziffer_vorgaenger)
  251. {
  252. int ergebnis_nachkomma = ((int) floor(zahl * 10) + 10) % 10;
  253. int ergebnis_vorkomma = ((int) floor(zahl) + 10) % 10;
  254. int ergebnis;
  255. float ergebnis_rating;
  256. if (debugdetailgeneral) LogFile.WriteToFile("ClassFlowCNNGeneral::ZeigerEval erg_v=" + std::to_string(ergebnis_vorkomma) + ", erg_n=" + std::to_string(ergebnis_nachkomma) + ", ziff_v=" + std::to_string(ziffer_vorgaenger));
  257. if (ziffer_vorgaenger == -1)
  258. return ergebnis_vorkomma % 10;
  259. // Ist die aktuelle Stelle schon umgesprungen und die Vorstelle noch nicht?
  260. // Akt.: 2.1, Vorstelle = 0.9 => 1.9
  261. // Problem sind mehrere Rundungen
  262. // Bsp. zahl=4.5, Vorgänger= 9.6 (ziffer_vorgaenger=0)
  263. // Tritt nur auf bei Übergang von analog auf digit
  264. ergebnis_rating = ergebnis_nachkomma - ziffer_vorgaenger;
  265. if (ergebnis_nachkomma >= 5)
  266. ergebnis_rating-=5.1;
  267. else
  268. ergebnis_rating+=5;
  269. ergebnis = (int) round(zahl);
  270. if (ergebnis_rating < 0)
  271. ergebnis-=1;
  272. if (ergebnis == -1)
  273. ergebnis+=10;
  274. ergebnis = (ergebnis + 10) % 10;
  275. return ergebnis;
  276. }
  277. bool ClassFlowCNNGeneral::ReadParameter(FILE* pfile, string& aktparamgraph)
  278. {
  279. std::vector<string> zerlegt;
  280. aktparamgraph = trim(aktparamgraph);
  281. if (aktparamgraph.size() == 0)
  282. if (!this->GetNextParagraph(pfile, aktparamgraph))
  283. return false;
  284. if ((toUpper(aktparamgraph) != "[ANALOG]") && (toUpper(aktparamgraph) != ";[ANALOG]")
  285. && (toUpper(aktparamgraph) != "[DIGIT]") && (toUpper(aktparamgraph) != ";[DIGIT]")
  286. && (toUpper(aktparamgraph) != "[DIGITS]") && (toUpper(aktparamgraph) != ";[DIGITS]")
  287. ) // Paragraph passt nicht
  288. return false;
  289. if (aktparamgraph[0] == ';')
  290. {
  291. disabled = true;
  292. while (getNextLine(pfile, &aktparamgraph) && !isNewParagraph(aktparamgraph));
  293. printf("[Analog/Digit] is disabled !!!\n");
  294. return true;
  295. }
  296. while (this->getNextLine(pfile, &aktparamgraph) && !this->isNewParagraph(aktparamgraph))
  297. {
  298. zerlegt = this->ZerlegeZeile(aktparamgraph);
  299. if ((toUpper(zerlegt[0]) == "LOGIMAGELOCATION") && (zerlegt.size() > 1))
  300. {
  301. this->LogImageLocation = "/sdcard" + zerlegt[1];
  302. this->isLogImage = true;
  303. }
  304. if ((toUpper(zerlegt[0]) == "LOGIMAGESELECT") && (zerlegt.size() > 1))
  305. {
  306. LogImageSelect = zerlegt[1];
  307. isLogImageSelect = true;
  308. }
  309. if ((toUpper(zerlegt[0]) == "LOGFILERETENTIONINDAYS") && (zerlegt.size() > 1))
  310. {
  311. this->logfileRetentionInDays = std::stoi(zerlegt[1]);
  312. }
  313. // if ((toUpper(zerlegt[0]) == "MODELTYPE") && (zerlegt.size() > 1))
  314. // {
  315. // if (toUpper(zerlegt[1]) == "DIGITHYPRID")
  316. // CNNType = DigitalHyprid;
  317. // }
  318. if ((toUpper(zerlegt[0]) == "MODEL") && (zerlegt.size() > 1))
  319. {
  320. this->cnnmodelfile = zerlegt[1];
  321. }
  322. if ((toUpper(zerlegt[0]) == "CNNGOODTHRESHOLD") && (zerlegt.size() > 1))
  323. {
  324. CNNGoodThreshold = std::stof(zerlegt[1]);
  325. }
  326. if (zerlegt.size() >= 5)
  327. {
  328. general* _analog = GetGENERAL(zerlegt[0], true);
  329. roi* neuroi = _analog->ROI[_analog->ROI.size()-1];
  330. neuroi->posx = std::stoi(zerlegt[1]);
  331. neuroi->posy = std::stoi(zerlegt[2]);
  332. neuroi->deltax = std::stoi(zerlegt[3]);
  333. neuroi->deltay = std::stoi(zerlegt[4]);
  334. neuroi->result_float = -1;
  335. neuroi->image = NULL;
  336. neuroi->image_org = NULL;
  337. }
  338. if ((toUpper(zerlegt[0]) == "SAVEALLFILES") && (zerlegt.size() > 1))
  339. {
  340. if (toUpper(zerlegt[1]) == "TRUE")
  341. SaveAllFiles = true;
  342. }
  343. }
  344. if (!getNetworkParameter())
  345. return false;
  346. for (int _ana = 0; _ana < GENERAL.size(); ++_ana)
  347. for (int i = 0; i < GENERAL[_ana]->ROI.size(); ++i)
  348. {
  349. GENERAL[_ana]->ROI[i]->image = new CImageBasis(modelxsize, modelysize, modelchannel);
  350. GENERAL[_ana]->ROI[i]->image_org = new CImageBasis(GENERAL[_ana]->ROI[i]->deltax, GENERAL[_ana]->ROI[i]->deltay, 3);
  351. }
  352. return true;
  353. }
  354. general* ClassFlowCNNGeneral::FindGENERAL(string _name_number)
  355. {
  356. for (int i = 0; i < GENERAL.size(); ++i)
  357. if (GENERAL[i]->name == _name_number)
  358. return GENERAL[i];
  359. return NULL;
  360. }
  361. general* ClassFlowCNNGeneral::GetGENERAL(string _name, bool _create = true)
  362. {
  363. string _analog, _roi;
  364. int _pospunkt = _name.find_first_of(".");
  365. if (_pospunkt > -1)
  366. {
  367. _analog = _name.substr(0, _pospunkt);
  368. _roi = _name.substr(_pospunkt+1, _name.length() - _pospunkt - 1);
  369. }
  370. else
  371. {
  372. _analog = "default";
  373. _roi = _name;
  374. }
  375. general *_ret = NULL;
  376. for (int i = 0; i < GENERAL.size(); ++i)
  377. if (GENERAL[i]->name == _analog)
  378. _ret = GENERAL[i];
  379. if (!_create) // nicht gefunden und soll auch nicht erzeugt werden
  380. return _ret;
  381. if (_ret == NULL)
  382. {
  383. _ret = new general;
  384. _ret->name = _analog;
  385. GENERAL.push_back(_ret);
  386. }
  387. roi* neuroi = new roi;
  388. neuroi->name = _roi;
  389. _ret->ROI.push_back(neuroi);
  390. printf("GetGENERAL - GENERAL %s - roi %s\n", _analog.c_str(), _roi.c_str());
  391. return _ret;
  392. }
  393. string ClassFlowCNNGeneral::getHTMLSingleStep(string host)
  394. {
  395. string result, zw;
  396. std::vector<HTMLInfo*> htmlinfo;
  397. result = "<p>Found ROIs: </p> <p><img src=\"" + host + "/img_tmp/alg_roi.jpg\"></p>\n";
  398. result = result + "Analog Pointers: <p> ";
  399. htmlinfo = GetHTMLInfo();
  400. for (int i = 0; i < htmlinfo.size(); ++i)
  401. {
  402. std::stringstream stream;
  403. stream << std::fixed << std::setprecision(1) << htmlinfo[i]->val;
  404. zw = stream.str();
  405. result = result + "<img src=\"" + host + "/img_tmp/" + htmlinfo[i]->filename + "\"> " + zw;
  406. delete htmlinfo[i];
  407. }
  408. htmlinfo.clear();
  409. return result;
  410. }
  411. bool ClassFlowCNNGeneral::doFlow(string time)
  412. {
  413. if (disabled)
  414. return true;
  415. if (!doAlignAndCut(time)){
  416. return false;
  417. };
  418. if (debugdetailgeneral) LogFile.WriteToFile("ClassFlowCNNGeneral::doFlow nach Alignment");
  419. doNeuralNetwork(time);
  420. RemoveOldLogs();
  421. return true;
  422. }
  423. bool ClassFlowCNNGeneral::doAlignAndCut(string time)
  424. {
  425. if (disabled)
  426. return true;
  427. CAlignAndCutImage *caic = flowpostalignment->GetAlignAndCutImage();
  428. for (int _ana = 0; _ana < GENERAL.size(); ++_ana)
  429. for (int i = 0; i < GENERAL[_ana]->ROI.size(); ++i)
  430. {
  431. printf("General %d - Align&Cut\n", i);
  432. caic->CutAndSave(GENERAL[_ana]->ROI[i]->posx, GENERAL[_ana]->ROI[i]->posy, GENERAL[_ana]->ROI[i]->deltax, GENERAL[_ana]->ROI[i]->deltay, GENERAL[_ana]->ROI[i]->image_org);
  433. if (SaveAllFiles)
  434. {
  435. if (GENERAL[_ana]->name == "default")
  436. GENERAL[_ana]->ROI[i]->image_org->SaveToFile(FormatFileName("/sdcard/img_tmp/" + GENERAL[_ana]->ROI[i]->name + ".jpg"));
  437. else
  438. GENERAL[_ana]->ROI[i]->image_org->SaveToFile(FormatFileName("/sdcard/img_tmp/" + GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name + ".jpg"));
  439. }
  440. GENERAL[_ana]->ROI[i]->image_org->Resize(modelxsize, modelysize, GENERAL[_ana]->ROI[i]->image);
  441. if (SaveAllFiles)
  442. {
  443. if (GENERAL[_ana]->name == "default")
  444. GENERAL[_ana]->ROI[i]->image->SaveToFile(FormatFileName("/sdcard/img_tmp/" + GENERAL[_ana]->ROI[i]->name + ".bmp"));
  445. else
  446. GENERAL[_ana]->ROI[i]->image->SaveToFile(FormatFileName("/sdcard/img_tmp/" + GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name + ".bmp"));
  447. }
  448. }
  449. return true;
  450. }
  451. void ClassFlowCNNGeneral::DrawROI(CImageBasis *_zw)
  452. {
  453. if (CNNType == Analogue || CNNType == Analogue100)
  454. {
  455. int r = 0;
  456. int g = 255;
  457. int b = 0;
  458. for (int _ana = 0; _ana < GENERAL.size(); ++_ana)
  459. for (int i = 0; i < GENERAL[_ana]->ROI.size(); ++i)
  460. {
  461. _zw->drawRect(GENERAL[_ana]->ROI[i]->posx, GENERAL[_ana]->ROI[i]->posy, GENERAL[_ana]->ROI[i]->deltax, GENERAL[_ana]->ROI[i]->deltay, r, g, b, 1);
  462. _zw->drawEllipse( (int) (GENERAL[_ana]->ROI[i]->posx + GENERAL[_ana]->ROI[i]->deltax/2), (int) (GENERAL[_ana]->ROI[i]->posy + GENERAL[_ana]->ROI[i]->deltay/2), (int) (GENERAL[_ana]->ROI[i]->deltax/2), (int) (GENERAL[_ana]->ROI[i]->deltay/2), r, g, b, 2);
  463. _zw->drawLine((int) (GENERAL[_ana]->ROI[i]->posx + GENERAL[_ana]->ROI[i]->deltax/2), (int) GENERAL[_ana]->ROI[i]->posy, (int) (GENERAL[_ana]->ROI[i]->posx + GENERAL[_ana]->ROI[i]->deltax/2), (int) (GENERAL[_ana]->ROI[i]->posy + GENERAL[_ana]->ROI[i]->deltay), r, g, b, 2);
  464. _zw->drawLine((int) GENERAL[_ana]->ROI[i]->posx, (int) (GENERAL[_ana]->ROI[i]->posy + GENERAL[_ana]->ROI[i]->deltay/2), (int) GENERAL[_ana]->ROI[i]->posx + GENERAL[_ana]->ROI[i]->deltax, (int) (GENERAL[_ana]->ROI[i]->posy + GENERAL[_ana]->ROI[i]->deltay/2), r, g, b, 2);
  465. }
  466. }
  467. else
  468. {
  469. for (int _dig = 0; _dig < GENERAL.size(); ++_dig)
  470. for (int i = 0; i < GENERAL[_dig]->ROI.size(); ++i)
  471. _zw->drawRect(GENERAL[_dig]->ROI[i]->posx, GENERAL[_dig]->ROI[i]->posy, GENERAL[_dig]->ROI[i]->deltax, GENERAL[_dig]->ROI[i]->deltay, 0, 0, (255 - _dig*100), 2);
  472. }
  473. }
  474. bool ClassFlowCNNGeneral::getNetworkParameter()
  475. {
  476. if (disabled)
  477. return true;
  478. CTfLiteClass *tflite = new CTfLiteClass;
  479. string zwcnn = "/sdcard" + cnnmodelfile;
  480. zwcnn = FormatFileName(zwcnn);
  481. printf(zwcnn.c_str());printf("\n");
  482. if (!tflite->LoadModel(zwcnn)) {
  483. printf("Can't read model file /sdcard%s\n", cnnmodelfile.c_str());
  484. LogFile.WriteToFile("Cannot load model");
  485. delete tflite;
  486. return false;
  487. }
  488. tflite->MakeAllocate();
  489. if (CNNType == AutoDetect)
  490. {
  491. tflite->GetInputDimension(false);
  492. modelxsize = tflite->ReadInputDimenstion(0);
  493. modelysize = tflite->ReadInputDimenstion(1);
  494. modelchannel = tflite->ReadInputDimenstion(2);
  495. int _anzoutputdimensions = tflite->GetAnzOutPut();
  496. switch (_anzoutputdimensions)
  497. {
  498. case 2:
  499. CNNType = Analogue;
  500. printf("TFlite-Type set to Analogue\n");
  501. break;
  502. case 10:
  503. CNNType = DoubleHyprid10;
  504. printf("TFlite-Type set to DoubleHyprid10\n");
  505. break;
  506. case 11:
  507. CNNType = Digital;
  508. printf("TFlite-Type set to Digital\n");
  509. break;
  510. case 20:
  511. CNNType = DigitalHyprid10;
  512. printf("TFlite-Type set to DigitalHyprid10\n");
  513. break;
  514. // case 22:
  515. // CNNType = DigitalHyprid;
  516. // printf("TFlite-Type set to DigitalHyprid\n");
  517. // break;
  518. case 100:
  519. if (modelxsize==32 && modelysize == 32) {
  520. CNNType = Analogue100;
  521. printf("TFlite-Type set to Analogue100\n");
  522. } else {
  523. CNNType = Digital100;
  524. printf("TFlite-Type set to Digital\n");
  525. }
  526. break;
  527. default:
  528. LogFile.WriteToFile("ERROR ERROR ERROR - tflite passt nicht zur Firmware - ERROR ERROR ERROR (outout_dimension=" + std::to_string(_anzoutputdimensions) + ")");
  529. printf("ERROR ERROR ERROR - tflite passt nicht zur Firmware - ERROR ERROR ERROR\n");
  530. }
  531. }
  532. delete tflite;
  533. return true;
  534. }
  535. bool ClassFlowCNNGeneral::doNeuralNetwork(string time)
  536. {
  537. if (disabled)
  538. return true;
  539. string logPath = CreateLogFolder(time);
  540. CTfLiteClass *tflite = new CTfLiteClass;
  541. string zwcnn = "/sdcard" + cnnmodelfile;
  542. zwcnn = FormatFileName(zwcnn);
  543. printf(zwcnn.c_str());printf("\n");
  544. if (!tflite->LoadModel(zwcnn)) {
  545. printf("Can't read model file /sdcard%s\n", cnnmodelfile.c_str());
  546. LogFile.WriteToFile("Cannot load model");
  547. delete tflite;
  548. return false;
  549. }
  550. tflite->MakeAllocate();
  551. for (int _ana = 0; _ana < GENERAL.size(); ++_ana)
  552. {
  553. for (int i = 0; i < GENERAL[_ana]->ROI.size(); ++i)
  554. {
  555. printf("General %d - TfLite\n", i);
  556. switch (CNNType) {
  557. case Analogue:
  558. {
  559. float f1, f2;
  560. f1 = 0; f2 = 0;
  561. tflite->LoadInputImageBasis(GENERAL[_ana]->ROI[i]->image);
  562. tflite->Invoke();
  563. if (debugdetailgeneral) LogFile.WriteToFile("Nach Invoke");
  564. f1 = tflite->GetOutputValue(0);
  565. f2 = tflite->GetOutputValue(1);
  566. float result = fmod(atan2(f1, f2) / (M_PI * 2) + 2, 1);
  567. GENERAL[_ana]->ROI[i]->result_float = result * 10;
  568. printf("Result General(Analog)%i: %f\n", i, GENERAL[_ana]->ROI[i]->result_float);
  569. if (isLogImage)
  570. LogImage(logPath, GENERAL[_ana]->ROI[i]->name, &GENERAL[_ana]->ROI[i]->result_float, NULL, time, GENERAL[_ana]->ROI[i]->image_org);
  571. } break;
  572. case Digital:
  573. {
  574. GENERAL[_ana]->ROI[i]->result_klasse = 0;
  575. GENERAL[_ana]->ROI[i]->result_klasse = tflite->GetClassFromImageBasis(GENERAL[_ana]->ROI[i]->image);
  576. printf("Result General(Digit)%i: %d\n", i, GENERAL[_ana]->ROI[i]->result_klasse);
  577. if (isLogImage)
  578. {
  579. string _imagename = GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name;
  580. if (isLogImageSelect)
  581. {
  582. if (LogImageSelect.find(GENERAL[_ana]->ROI[i]->name) != std::string::npos)
  583. LogImage(logPath, _imagename, NULL, &GENERAL[_ana]->ROI[i]->result_klasse, time, GENERAL[_ana]->ROI[i]->image_org);
  584. }
  585. else
  586. {
  587. LogImage(logPath, _imagename, NULL, &GENERAL[_ana]->ROI[i]->result_klasse, time, GENERAL[_ana]->ROI[i]->image_org);
  588. }
  589. }
  590. } break;
  591. /*
  592. case DigitalHyprid:
  593. {
  594. int _num, _nachkomma;
  595. tflite->LoadInputImageBasis(GENERAL[_ana]->ROI[i]->image);
  596. tflite->Invoke();
  597. if (debugdetailgeneral) LogFile.WriteToFile("Nach Invoke");
  598. _num = tflite->GetOutClassification(0, 10);
  599. _nachkomma = tflite->GetOutClassification(11, 21);
  600. string _zwres = "Nach Invoke - Nummer: " + to_string(_num) + " Nachkomma: " + to_string(_nachkomma);
  601. if (debugdetailgeneral) LogFile.WriteToFile(_zwres);
  602. if ((_num == 10) || (_nachkomma == 10)) // NaN detektiert
  603. GENERAL[_ana]->ROI[i]->result_float = -1;
  604. else
  605. GENERAL[_ana]->ROI[i]->result_float = fmod((double) _num + (((double)_nachkomma)-5)/10 + (double) 10, 10);
  606. printf("Result General(DigitalHyprid)%i: %f\n", i, GENERAL[_ana]->ROI[i]->result_float);
  607. _zwres = "Result General(DigitalHyprid)" + to_string(i) + ": " + to_string(GENERAL[_ana]->ROI[i]->result_float);
  608. if (debugdetailgeneral) LogFile.WriteToFile(_zwres);
  609. if (isLogImage)
  610. {
  611. string _imagename = GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name;
  612. if (isLogImageSelect)
  613. {
  614. if (LogImageSelect.find(GENERAL[_ana]->ROI[i]->name) != std::string::npos)
  615. LogImage(logPath, _imagename, NULL, &GENERAL[_ana]->ROI[i]->result_klasse, time, GENERAL[_ana]->ROI[i]->image_org);
  616. }
  617. else
  618. {
  619. LogImage(logPath, _imagename, NULL, &GENERAL[_ana]->ROI[i]->result_klasse, time, GENERAL[_ana]->ROI[i]->image_org);
  620. }
  621. }
  622. } break;
  623. */
  624. case DigitalHyprid10:
  625. {
  626. int _num, _nachkomma;
  627. tflite->LoadInputImageBasis(GENERAL[_ana]->ROI[i]->image);
  628. tflite->Invoke();
  629. if (debugdetailgeneral) LogFile.WriteToFile("Nach Invoke");
  630. _num = tflite->GetOutClassification(0, 9);
  631. _nachkomma = tflite->GetOutClassification(10, 19);
  632. string _zwres = "Nach Invoke - Nummer: " + to_string(_num) + " Nachkomma: " + to_string(_nachkomma);
  633. if (debugdetailgeneral) LogFile.WriteToFile(_zwres);
  634. GENERAL[_ana]->ROI[i]->result_float = fmod((double) _num + (((double)_nachkomma)-5)/10 + (double) 10, 10);
  635. printf("Result General(DigitalHyprid)%i: %f\n", i, GENERAL[_ana]->ROI[i]->result_float);
  636. _zwres = "Result General(DigitalHyprid)" + to_string(i) + ": " + to_string(GENERAL[_ana]->ROI[i]->result_float);
  637. if (debugdetailgeneral) LogFile.WriteToFile(_zwres);
  638. if (isLogImage)
  639. {
  640. string _imagename = GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name;
  641. if (isLogImageSelect)
  642. {
  643. if (LogImageSelect.find(GENERAL[_ana]->ROI[i]->name) != std::string::npos)
  644. LogImage(logPath, _imagename, NULL, &GENERAL[_ana]->ROI[i]->result_klasse, time, GENERAL[_ana]->ROI[i]->image_org);
  645. }
  646. else
  647. {
  648. LogImage(logPath, _imagename, NULL, &GENERAL[_ana]->ROI[i]->result_klasse, time, GENERAL[_ana]->ROI[i]->image_org);
  649. }
  650. }
  651. } break;
  652. case DoubleHyprid10:
  653. {
  654. int _num, _numplus, _numminus;
  655. float _val, _valplus, _valminus;
  656. float _fit;
  657. float _result_save_file;
  658. tflite->LoadInputImageBasis(GENERAL[_ana]->ROI[i]->image);
  659. tflite->Invoke();
  660. if (debugdetailgeneral) LogFile.WriteToFile("Nach Invoke");
  661. _num = tflite->GetOutClassification(0, 9);
  662. _numplus = (_num + 1) % 10;
  663. _numminus = (_num - 1 + 10) % 10;
  664. _val = tflite->GetOutputValue(_num);
  665. _valplus = tflite->GetOutputValue(_numplus);
  666. _valminus = tflite->GetOutputValue(_numminus);
  667. float result = _num;
  668. if (_valplus > _valminus)
  669. {
  670. result = result + _valplus / (_valplus + _val);
  671. _fit = _val + _valplus;
  672. }
  673. else
  674. {
  675. result = result - _valminus / (_val + _valminus);
  676. _fit = _val + _valminus;
  677. }
  678. if (result >= 10)
  679. result = result - 10;
  680. if (result < 0)
  681. result = result + 10;
  682. string zw = "_num (p, m): " + to_string(_num) + " " + to_string(_numplus) + " " + to_string(_numminus);
  683. zw = zw + " _val (p, m): " + to_string(_val) + " " + to_string(_valplus) + " " + to_string(_valminus);
  684. zw = zw + " result: " + to_string(result) + " _fit: " + to_string(_fit);
  685. printf("details cnn: %s\n", zw.c_str());
  686. LogFile.WriteToFile(zw);
  687. _result_save_file = result;
  688. if (_fit < CNNGoodThreshold)
  689. {
  690. GENERAL[_ana]->ROI[i]->isReject = true;
  691. result = -1;
  692. _result_save_file+= 100; // Für den Fall, dass fit nicht ausreichend, soll trotzdem das Ergebnis mit "-10x.y" abgespeichert werden.
  693. string zw = "Value Rejected due to Threshold (Fit: " + to_string(_fit) + "Threshold: " + to_string(CNNGoodThreshold);
  694. printf("Value Rejected due to Threshold (Fit: %f, Threshold: %f\n", _fit, CNNGoodThreshold);
  695. LogFile.WriteToFile(zw);
  696. }
  697. else
  698. {
  699. GENERAL[_ana]->ROI[i]->isReject = false;
  700. }
  701. GENERAL[_ana]->ROI[i]->result_float = result;
  702. printf("Result General(Analog)%i: %f\n", i, GENERAL[_ana]->ROI[i]->result_float);
  703. if (isLogImage)
  704. {
  705. string _imagename = GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name;
  706. if (isLogImageSelect)
  707. {
  708. if (LogImageSelect.find(GENERAL[_ana]->ROI[i]->name) != std::string::npos)
  709. LogImage(logPath, _imagename, &_result_save_file, NULL, time, GENERAL[_ana]->ROI[i]->image_org);
  710. }
  711. else
  712. {
  713. LogImage(logPath, _imagename, &_result_save_file, NULL, time, GENERAL[_ana]->ROI[i]->image_org);
  714. }
  715. }
  716. }
  717. break;
  718. case Digital100:
  719. case Analogue100:
  720. {
  721. int _num;
  722. float _fit;
  723. float _result_save_file;
  724. tflite->LoadInputImageBasis(GENERAL[_ana]->ROI[i]->image);
  725. tflite->Invoke();
  726. _num = tflite->GetOutClassification();
  727. _fit = tflite->GetOutputValue(_num);
  728. GENERAL[_ana]->ROI[i]->result_float = (float)_num / 10.0;
  729. _result_save_file = GENERAL[_ana]->ROI[i]->result_float;
  730. if (_fit < CNNGoodThreshold)
  731. {
  732. GENERAL[_ana]->ROI[i]->isReject = true;
  733. GENERAL[_ana]->ROI[i]->result_float = -1;
  734. _result_save_file+= 100; // Für den Fall, dass fit nicht ausreichend, soll trotzdem das Ergebnis mit "-10x.y" abgespeichert werden.
  735. string zw = "Value Rejected due to Threshold (Fit: " + to_string(_fit) + "Threshold: " + to_string(CNNGoodThreshold);
  736. printf("Value Rejected due to Threshold (Fit: %f, Threshold: %f\n", _fit, CNNGoodThreshold);
  737. LogFile.WriteToFile(zw);
  738. }
  739. else
  740. {
  741. GENERAL[_ana]->ROI[i]->isReject = false;
  742. }
  743. printf("Result General(Analog)%i: %f\n", i, GENERAL[_ana]->ROI[i]->result_float);
  744. if (isLogImage)
  745. {
  746. string _imagename = GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name;
  747. if (isLogImageSelect)
  748. {
  749. if (LogImageSelect.find(GENERAL[_ana]->ROI[i]->name) != std::string::npos)
  750. LogImage(logPath, _imagename, &_result_save_file, NULL, time, GENERAL[_ana]->ROI[i]->image_org);
  751. }
  752. else
  753. {
  754. LogImage(logPath, _imagename, &_result_save_file, NULL, time, GENERAL[_ana]->ROI[i]->image_org);
  755. }
  756. }
  757. } break;
  758. default:
  759. break;
  760. }
  761. }
  762. }
  763. delete tflite;
  764. return true;
  765. }
  766. bool ClassFlowCNNGeneral::isExtendedResolution(int _number)
  767. {
  768. if (!(CNNType == Digital))
  769. return true;
  770. return false;
  771. }
  772. std::vector<HTMLInfo*> ClassFlowCNNGeneral::GetHTMLInfo()
  773. {
  774. std::vector<HTMLInfo*> result;
  775. for (int _ana = 0; _ana < GENERAL.size(); ++_ana)
  776. for (int i = 0; i < GENERAL[_ana]->ROI.size(); ++i)
  777. {
  778. if (GENERAL[_ana]->name == "default")
  779. GENERAL[_ana]->ROI[i]->image->SaveToFile(FormatFileName("/sdcard/img_tmp/" + GENERAL[_ana]->ROI[i]->name + ".bmp"));
  780. else
  781. GENERAL[_ana]->ROI[i]->image->SaveToFile(FormatFileName("/sdcard/img_tmp/" + GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name + ".bmp"));
  782. HTMLInfo *zw = new HTMLInfo;
  783. if (GENERAL[_ana]->name == "default")
  784. {
  785. zw->filename = GENERAL[_ana]->ROI[i]->name + ".bmp";
  786. zw->filename_org = GENERAL[_ana]->ROI[i]->name + ".jpg";
  787. }
  788. else
  789. {
  790. zw->filename = GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name + ".bmp";
  791. zw->filename_org = GENERAL[_ana]->name + "_" + GENERAL[_ana]->ROI[i]->name + ".jpg";
  792. }
  793. if (CNNType == Digital)
  794. zw->val = GENERAL[_ana]->ROI[i]->result_klasse;
  795. else
  796. zw->val = GENERAL[_ana]->ROI[i]->result_float;
  797. zw->image = GENERAL[_ana]->ROI[i]->image;
  798. zw->image_org = GENERAL[_ana]->ROI[i]->image_org;
  799. result.push_back(zw);
  800. }
  801. return result;
  802. }
  803. int ClassFlowCNNGeneral::getAnzahlGENERAL()
  804. {
  805. return GENERAL.size();
  806. }
  807. string ClassFlowCNNGeneral::getNameGENERAL(int _analog)
  808. {
  809. if (_analog < GENERAL.size())
  810. return GENERAL[_analog]->name;
  811. return "GENERAL DOES NOT EXIST";
  812. }
  813. general* ClassFlowCNNGeneral::GetGENERAL(int _analog)
  814. {
  815. if (_analog < GENERAL.size())
  816. return GENERAL[_analog];
  817. return NULL;
  818. }
  819. void ClassFlowCNNGeneral::UpdateNameNumbers(std::vector<std::string> *_name_numbers)
  820. {
  821. for (int _dig = 0; _dig < GENERAL.size(); _dig++)
  822. {
  823. std::string _name = GENERAL[_dig]->name;
  824. bool found = false;
  825. for (int i = 0; i < (*_name_numbers).size(); ++i)
  826. {
  827. if ((*_name_numbers)[i] == _name)
  828. found = true;
  829. }
  830. if (!found)
  831. (*_name_numbers).push_back(_name);
  832. }
  833. }