Discrete and Continuous Models and Applied Computational ScienceDiscrete and Continuous Models and Applied Computational ScienceDiscrete and Continuous Models and Applied Computational Science2658-46702658-7149Peoples' Friendship University of Russia named after Patrice Lumumba (RUDN University)4673510.22363/2658-4670-2025-33-3-242-259HFFBMVComputer ScienceИнформатика и вычислительная техникаResearch ArticleConstruction and modeling of the operation of elements of computing technology on fast neuronsПостроение и моделирование работы элементов вычислительной техники на быстрых нейронахhttps://orcid.org/0000-0001-5117-384X55570238100KhachumovMikhail V.ХачумовМ. В.

Candidate of Physical and Mathematical Sciences, Senior Researcher

khmike@inbox.ruhttps://orcid.org/0000-0001-7735-682057202835704EmelyanovaYuliya G.ЕмельяноваЮ. Г.

Candidate of Technical Sciences, Senior Researcher

yuliya.emelyanowa2015@yandex.ruhttps://orcid.org/0000-0001-9577-143856042383100KhachumovVyacheslav M.ХачумовВ. М.

Doctor of Technical Sciences, Chief Researcher

vmh48@mail.ruRUDN UniversityРоссийский университет дружбы народовFederal Research Center “Computer Science and Control” of Russian Academy of SciencesФедеральный исследовательский центр «Информатика и управление» Российской академии наукAilamazyan Program Systems Institute of RASИПС им. А. К. Айламазяна РАН15102025333VOL 33, NO3 (2025)ТОМ 33, №3 (2025)24225928102025Copyright ©; 2025, Khachumov M.V., Emelyanova Y.G., Khachumov V.M.Copyright ©; 2025, Хачумов М.В., Емельянова Ю.Г., Хачумов В.М.2025Khachumov M.V., Emelyanova Y.G., Khachumov V.M.Хачумов М.В., Емельянова Ю.Г., Хачумов В.М.https://creativecommons.org/licenses/by-nc/4.0https://journals.rudn.ru/miph/article/view/46735

The article is devoted to the construction of fast neurons and neural networks for the implementation of two complete logical bases and modeling of computing devices on their basis. The main idea is to form a fast activation function based on semi-parabolas and its variations that have effective computational support. The constructed activation functions meet the basic requirements that allow configuring logical circuits using the backpropagation method. The main result is obtaining complete logical bases that open the way to constructing arbitrary logical functions. Models of such elements as a trigger, a half adder, and an adder, which form the basis of various specific computing devices, are presented and tested. It is shown that the new activation functions allow obtaining fast solutions with a slight decrease in quality compared to reference outputs. To standardize the outputs, it is proposed to combine the constructed circuits with a unit jump activation function.

Статья посвящена построению быстрых нейронов и нейронных сетей для реализации двух полных логических базисов и моделирования на их основе устройств вычислительной техники. Основная идея заключается в формировании быстрой функции активации на основе полупарабол и её вариаций, имеющих эффективную вычислительную поддержку. Построенные функции активации отвечают основным требованиям, позволяющим настраивать логические схемы методом обратного распространения ошибки. Основным результатом является получение полных логических базисов, открывающих путь к построению произвольных логических функций. Представлены и протестированы модели таких элементов как триггер, полусумматор, сумматор, составляющих основу различных конкретных вычислительных устройств. Показано, что новые функции активации позволяют получать быстрые решения при небольшом снижении качества по сравнению с эталонными выходами. Для стандартизации выходов предлагается комбинировать построенные схемы с функцией активации типа единичный скачок.

new activation functionsparabolafull logical basiselement modelsperformanceexperimental studiesновые функции активациипараболаполный логический базисмодели элементовбыстродействиеэкспериментальные исследованияThis research was funded by Russian Science Foundation, grant number 25-21-00222 (https://rscf.ru/en/project/25-2100222/).This research was funded by Russian Science Foundation, grant number 25-21-00222 (https://rscf.ru/en/project/25-2100222/).Limonova, E., Nikolaev, D. & Alfonso, D. Bipolar morphological neural networks: Gate-efficient architecture for confined environment, 573-580. doi:10.1109/NAECON46414.2019.9058018 (2019).Limonova, E., Nikolaev, D. & Arlazarov, V. Bipolar morphological U-Net for document binarization, 1-9. doi:10.1117/12.2587174 (2021).Limonova, E., Nikolaev, D., Alfonso, D. & Arlazarov, V. ResNet-like architecture with low hardware requirements, 6204-6211. doi:10.1109/ICPR48806.2021.9413186 (2021).Dubey, S., Singh, S. & Chaudhuri, B. Activation Functions in Deep Learning: A Comprehensive Survey and Benchmark. Neurocomputing 503, 1-18. doi:10.1016/j.neucom.2022.06.111 (2022).Feng, J. & Lu, S. Performance Analysis of Various Activation Functions in Artificial Neural Networks. Journal of Physics Conference Series, 1-7. doi:10.1088/1742-6596/1237/2/02203 (2019).Akgül, I. Activation functions used in artificial neural networks. In book: Academic Studies in Engineering, 41-58 (Oct. 2023).Arce, F., Zamora, E., Humberto, S. & Barrón, R. Differential evolution training algorithm for dendrite morphological neural networks. Applied Soft Computing 68, 303-313. doi:10.1016/j.asoc. 2018.03.033 (2018).Dimitriadis, N. & Maragos, P. Advances in the training, pruning and enforcement of shape constraints of morphological neural networks using tropical algebra, 3825-3829. doi:10.48550/ arXiv.2011.07643 (2021).Limonova, E., Nikolaev, D., Alfonso, D. & Arlazarov, V. Bipolar morphological neural networks: gate-efficient architecture for computer vision. IEEE Access 9, 97569-97581. doi:10.1109/ACCESS. 2021.3094484 (2021).Galushkin, A., Sudarikov,V. & Shabanov, E. Neuromathematics: the methods of solving problems on neurocomputers. 2, 1179-1188. doi:10.1109/RNNS.1992.268515 (1992).Khachumov, M. & Emelyanova, Y. Parabola as an Activation Function of Artificial Neural Networks. Scientific and Technical Information Processing 51, 471-477. doi:10. 3103 / S0147688224700382 (2024).Khachumov, M., Emelyanova, Y. & Khachumov, V. Parabola-Based Artificial Neural Network Activation Functions, 249-254. doi:10.1109/RusAutoCon58002.2023.10272855 (Sept. 2023).Hanche-Olsen, H. & Holden, H. The Kolmogorov-Riesz compactness theorem. 28, 385-394. doi:10.1016/j.exmath.2010.03.001 (June 2009).Nabavinejad, S., Reda, S. & Ebrahimi, M. Coordinated Batching and DVFS for DNN Inference on GPU Accelerators. 33, 1-12. doi:10.1109/TPDS.2022.3144614 (Oct. 2022).Trusov, A., Limonova, E., Slugin, D., Nikolaev, D. & Arlazarov, V. Fast Implementation of 4-bit Convolutional Neural Networks for Mobile Devices, 9897-9903. doi:10.1109/ICPR48806.2021. 9412841 (Sept. 2020).Shashev, D. & Shatravin, V. Implementation of the sigmoid activation function using the reconfigurable computing environments. Russian. Tomsk State University Journal of Control and Computer Science, 117-127. doi:10.17223/19988605/61/12 (2022).Hyyro, H. & Navarro, G. Bit-Parallel Computation of Local Similarity Score Matrices with Unitary Weights. International Journal of Foundations of Computer Science. doi:10.1142/S0129054106004443.Hyyro, H. Explaining and extending the bit-parallel approximate string matching algorithm of Myers (2001).Hyyro, H. & Navarro, G. Faster bit-parallel approximate string matching, 203-224 (2002).Hyyro, H. & Navarro, G. Bit-parallel witnesses and their applications to approximate string matching. Algorithmica 41, 203-231 (2005).Zakharov, A. & Khachumov, V. Bit-parallel Representation of Activation Functions for Fast Neural Networks. 2, 568-571 (2014).Volder, J. The Birth of Cordic. The Journal of VLSI Signal Processing-Systems for Signal, Image, and Video Technology 25, 101-105. doi:10.1023/A:1008110704586 (2000).Chetana & Sharmila, K. VLSI Implementation of Coordinate Rotation Based Design Methodology using Verilog HDL. doi:10.1109/ICAIS56108.2023.10073928 (2023).