Khởi tạo trọng số cho mạng nơ ron tích chập số phức sử dụng giải thuật di truyền

Weight Initialization for Complex Number Convolutional Neural Networks Using Genetic Algorithms

  • Pham Minh Tuan Trường Đại học Bách khoa – Đại học Đà Nẵng, 54 Nguyễn Lương Bằng, Đà Nẵng, Việt Nam
  • Nguyen An Hung
Keywords: Mạng nơ ron tích chập, Số phức, Giải thuật di truyền, Phương pháp Glorot

Abstract

Khởi tạo trọng số sử dụng phương pháp Glorot là một trong những phương pháp hữu hiệu cho mạng nơ ron tích chập (CNN). Ngoài ra những nghiên cứu trước đây cũng đã sử dụng phương pháp này cho CNN số phức. Tuy nhiên, không có nghiên cứu nào khẳng định được phương pháp khởi tạo trọng số Glorot có hiệu quả tốt nhất cho CNN số phức. Nghiên cứu này tập trung vào việc tối ưu CNN số phức dựa trên cách thức khởi tạo trọng số kết nối của các tế bào nơ ron. Bài báo này đề xuất sử dụng giải thuật di truyền (GA) để tìm tham số tối ưu cho phân bố Rayleigh để khởi tạo trọng số trước khi huấn luyện CNN số phức. Thực nghiệm cho thấy GA đã tìm ra tham số tốt hơn khi sử dụng phương pháp Glorot như các nghiên cứu trước đây.

References

Z. Zhang, H. Wang, F. Xu, and Y.-Q. Jin, “Complexvalued convolutional neural network and its application in polarimetric sar image classification,” IEEE Transactions on Geoscience and Remote Sensing 55.12, pp. 7177–7188, 2017.

N. Guberman, “On complex valued convolutional neural networks,” arXiv preprint, 2016.

C.-A. Popa, “Complex-valued convolutional neural networks for real-valued image classification,” 2017 International Joint Conference on Neural Networks (IJCNN). IEEE, 2017.

S. Rawat, K.P.S.Rana, and V. Kumar, “A novel complexvalued convolutional neural network for medical image denoising,” Biomedical Signal Processing and Control 69, p. 102859, 2021.

Y. Quan, Y. Chen, Y. Shao, H. Teng, Y. Xu, and H. Ji, “Image denoising using complex-valued deep cnn,” Pattern Recognition 111, p. 107639, 2021.

J. Gao, B. Deng, Y. Qin, H. Wang, and X. Li, “Enhanced radar imaging using a complex-valued convolutional neural network,” IEEE Geoscience and Remote Sensing Letters 16.1, 2018.

M. T. Pham, V. Q. Nguyen, C. D. Hoang, H. L. Vo, D. K. Phan, and A. H. Nguyen, “Efficient complex valued neural network with fourier transform on image denoising.” The 5th International Conference on Future Networks & Distributed Systems, 2021.

Bassey, Joshua, L. Qian, , and X. Li, “A survey of complexvalued neural networks,” arXiv preprint, 2021.

H. Pratt, B. Williams, and F. C. . Y. Zheng, “Fcnn: Fourier convolutional neural networks,” Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer, Cham,, 2017.

D. A. B. O. S. F. B. J.-Y. S. M. Cord, “Complex-valued neural networks for fully-temporal micro-doppler classification,” 2019 20th International Radar Symposium (IRS). IEEE, 2019.

X. Glorot, A. Bordes, and Y. Bengio, “Deep sparse rectifier neural networks.” Proceedings of the fourteenth international conference on artificial intelligence and statistics. JMLR Workshop and Conference Proceedings,, 2011.

W. Darrell, T. Starkweather, , and C. Bogart., “Genetic algorithms and neural networks: Optimizing connections and connectivity,” Parallel computing 14.3, pp. 347–361, 1990.

A. Hirose, “Complex-valued neural networks,” Springer Science & Business Media, vol. 400, 2012.

Virtue, Patrick, X. Y. Stella, , and M. Lustig, “Better than real: Complex-valued neural nets for mri fingerprinting.” 2017 IEEE international conference on image processing (ICIP)., 2017.

Mirjalili and Seyedali., “Genetic algorithm,” Evolutionary algorithms and neural networks. Springer, Cham, pp. 43– 55, 2019.

C. D. F., C. T. Ragsdale, , and R. L. Major, “Combining a neural network with a genetic algorithm for process parameter optimization.” Engineering applications of artificial intelligence 13.4, pp. 391–396, 2000.

K. A. Gowda, A. S. Manjunath, , and M. A. Jayaram., “Application of genetic algorithm optimized neural network connection weights for medical diagnosis of pima indians diabetes,” International Journal on Soft Computing 2.2, pp. 15–23, 2011.

A. N. Mohd, , and P. D. D. Dominic, “Hyperparameter optimization in convolutional neural network using genetic algorithms.” Int. J. Adv. Comput. Sci. Appl 10.6, pp. 269– 278, 2019.

C. Hyejung, , and K. shik Shin, “Genetic algorithmoptimized multi-channel convolutional neural network for stock market prediction,” Neural Computing and Applications 32.12, pp. 7897–7914, 2020.

Deng and Li, “The mnist database of handwritten digit images for machine learning research [best of the web],” IEEE signal processing magazine 29.6, pp. 141–142, 2012.

Published
2022-06-30