1. Наука
  2. Видання
  3. Системи обробки інформації
  4. 1(156)'2019
  5. Проектирование массива нейро-эквиваленторов с квазиуниверсальной функцией активации для создания самообучаемых эквивалентностно-сверточных нейронных структур

Проектирование массива нейро-эквиваленторов с квазиуниверсальной функцией активации для создания самообучаемых эквивалентностно-сверточных нейронных структур

В.Г. Красиленко, А.А. Лазарев, А.П. Шеремета
Аннотации на языках:


Анотация: Рассматривается необходимость создания аппаратных ускорителей для сверточных нейронных сетей. Сделан обзор работ о преимуществах эквивалентностных моделей (EM), которые очень перспективны для распознавания коррелированных зашумленных изображений и обучающей машины. Основными для ЕМ являются векторно-матричные процедуры с непрерывно-логическими нормализованными операциями: “эквивалентность”, “неэквивалентность” с их нелинейной постобработкой. Рассматриваются подходы к проектированию массивов многофункциональных нейрон-эквиваленторов (НЭ) с любыми функции активации. Подходы основаны на использовании аналоговых методов для реализации необходимых операций, построения на основе иерархических узлов из базовых ячеек на токовых зеркалах НЭ с числом синапсов от 8 до 128 и более и сетей на основе массива таких НЭ. Моделирования показывают, что эффективность НЭ с перестраиваемой функцией активации оценивается на уровне 1012 и выше ан. оп./сек. на W. Результаты подтверждают возможность и перспективность создания структур НЭ и MIMO на их основе.


Ключевые слова: самообучающаяся эквивалентностно-сверточная нейронная структура, нейрон-эквивалентор, токовое зеркало, аппаратные ускорители, эквивалентностная модель, непрерывная логика, функция активации, нелинейная обработка, распознавание

Список литературы

1. Неперервно-логічні еквівалентністні моделі архітектур нейронних мереж Хеммінга з адаптивно-кореляційним зважуванням / В.Г. Красиленко, Ф.М. Салецький, В.І. Яцковський, К. Конате // Праці SPIE. – 1998. – Т. 3402. – С. 398-408.
2. Красиленко В.Г. Багатопортова оптична асоціативна пам'ять на основі матрично-матричних еквіваленторів / В.Г. Красиленко, А.Т. Магас // Праці SPIE. – 1997. – Том 3055. – С. 137-146.
3. Красиленко В.Г. Проектування та моделювання гетеро-асоціативної пам'яті багатопортової нейронної мережі для оптичного розпізнавання образів / В.Г. Красиленко, О.О. Лазарев, С.К. Грабовляк // Праці SPIE. – 2012. – Том 8398. – 83980N-1.
4. Красиленко В.Г. Експериментальні дослідження методів кластеризації та вибору фрагментів зображень з використанням просторових інваріантних еквівалентністних моделей / В.Г. Красиленко, О.О. Лазарев, Д.В. Нікітович // Праці SPIE. – 2014. – Том 9286. – 928650.
5. Красиленко В.Г. Структури оптичних нейронних мереж на основі нових матричних еквівалентністних моделей (MTEM) і результати їх моделювання / В.Г. Красиленко, О. І. Нікольський, Ю.А. Флавицька // Оптична пам'ять і нейронні мережі (інформаційна оптика). – 2010. – Т. 19 (1). – С. 31-38.
6. Лекунь Ю. Згорткові мережі для зображень, мови та часових рядів / Ю. Лекунь, Ю. Бенжіо // Довідник теорії мозку і нейронних мереж. – MIT Press, 1995.
7. Shafiee А. ISAAC: прискорювач згорткової нейронної мережі з внутрішньо-мережевою аналоговою арифметикою в перехрестях / А. Shafiee та інш. // 2016 ACM / IEEE 43-й щорічний міжнародний симпозіум з комп'ютерної архітектури (ISCA). – Сеул, 2016. – С. 14-26. https://doi.org/10.1109/ISCA.2016.12
8. Vehicle license plate recognition using visual attention model and deep learning / Di Zang, Zhenliang Chai, Junqi Zhang, Dongdong Zhang, Jiujun Cheng // Journal of Electronic Imaging. –2015. – Вип. 24(3). – С. 033001. http://dx.doi.org/10.1117/1.JEI.24.3.033001.
9. Красиленко В.Г. Моделювання та можлива реалізація самонавчальних еквівалентністно-згорткових нейронних структур для автокодування-декодування та кластеризації зображень / В.Г. Красиленко, О. О. Лазарев, Д.В. Нікітович // Праці SPIE. – 2017. – Том 10453. – 104532N.
10. Красиленко В.Г. Моделювання біологічно мотивованих самонавчальних еквівалентно-згорткових рекурентно-багатошарових нейронних структур (BLM_SL_EC_RMNS) для кластеризації та розпізнавання фрагментів зображення / В.Г. Красиленко, О. О. Лазарев, Д.В. Нікітович // Праці SPIE, MIPPR 2017: Pattern Recognition and Computer Vision. – 2018. – Том 10609. – 106091D. https://doi.org/10.1117/12.2285797.
11. Красиленко В.Г. Проектування та моделювання оптоелектронних нейрон-еквіваленторів як апаратних прискорювачів самонавчальних еквівалентністних згорткових нейро-структур (СНЕЗНС) / В.Г. Красиленко, О. О. Лазарев, Д.В. Нікітович // Праці SPIE. – 2018. – Том 10689. – 106890C.
12. Красиленко В.Г. Проектування та моделювання елементів масиву для трансформації інтенсивності зображення та кодування, що використовуються в процесах обробки змішаних зображень та нейронних мереж / В.Г. Красиленко, О.О. Лазарев, Д.В. Нікітович // Праці SPIE. – 2018. – Том 10751. – 1075119.
13. Schlottmann C.R. A Highly Dense, Low Power, Programmable Analog Vector-Matrix Multiplier: The FPAA Implementation / C.R. Schlottmann, P.E. Hasler // IEEE Journal on Emerging and Selected Topics in Circuits and Systems. – 2011. – Том 1(3). – С. 403-411. https://doi.org/10.1109/JETCAS.2011.2165755.
14. 1 TERA-OPS/WATT analog deep machine learning engine with floating gate storage in 0.13-um CMOS [Electronic resource] / J. Lu, S. Young, I. Arel, J. Holleman // IEEE JSSC. – 2015. – Vol. 50. – P. 270-281. –Available at: ieeeexplore.ieee.org.
15. Lu J. Аналогова пам'ять з плаваючою заслінкою з двонаправленими сигмоподібними оновленнями в стандартному цифровому процесі / J. Lu, J. Holleman // Праці ISCAS'13. – 2013. – С. 1600-1603.
16. Lu J. Аналогова онлайн кластеризація в 130 нм CMOS / J. Lu, S. Young, I. Arel, and J. Holleman // Праці A-SSCC. – 2013. – С. 177-180.
17. Сімейство оптоелектронних фото-струмових реконфігурованих універсальних (або багатофункціональних) логічних елементів (ОПР ULE) на основі неперервно-логічних операцій (НЛО) і віддзверкалювачів струму (ВдС) / В.Г. Красиленко, К. В. Огородник, О.І. Нікольський, В.М. Дубчак // Праці SPIE. – 2011. – Том 8001. – 80012Q.
18. Красиленко В.Г. Проектування та моделювання інтелектуального багатофункціонального неперервно-логічного пристрою як базової комірки сучасних високопродуктивних сенсорних систем з MIMO-структурою / В.Г. Красиленко, О.І. Нікольський, О.О. Лазарєв // Праці SPIE. – 2015. – Том 9450. – 94500N.