Содержание
Волкова М.В., Граничин О.Н. (СПбГУ) Минимизация
функционала типа среднего риска на основе конечного (возможно малого) числа
наблюдений 3
Сенов А. А. (СПбГУ) Глубокое обучение в
задаче суперразрешения изображений 38
Abstracts 58
СТОХАСТИЧЕСКАЯ ОПТИМИЗАЦИЯ В ИНФОРМАТИКЕ
Издается с 2005 года
ТОМ 13
Выпуск 2
2 0 1 7
УДК 519.712
БКК 32.811.7
С82
Ответственный редактор д. ф.-м. н., проф. О. Н. Граничин
Редакционная коллегия: Б. Т. Поляк (ИПУ РАН),
А. В. Соколов (ИПМИ КарНЦ РАН),
П. С. Щербаков (ИПУ РАН)
С82 Стохастическая оптимизация в информатике. Том 13 (Вып. 2) / Под ред. О. Н. Граничина — СПб.:
Издательство С.-Петербургского университета, 2017. — 80 с. ISSN 1992–2922
Издание выпускается ежегодно (том 1, ненумерованный, вышел в 2005 г., тома (вып.) 2–13 — в 2006–17 гг.) и содержит научные работы по стохастической оптимизации, особо выделяя приложения в информатике. Тринадцатый том составлен из поступивших в редколлегию рукописей и материалов одноименной регулярной серии семинаров для студентов, аспирантов и научных работников, проводившихся в 2016–17 г. на математико-механическом факультете С.-Петербургского университета под руководством профессора кафедры системного программирования О. Н. Граничина. Выпуск опубликован при поддержке гранта РФФИ №16-
07-00890-а.
Издание предназначено для специалистов в области информатики, студентов старших курсов и аспирантов, обучающихся на специальностях, связанных с обработкой информации.
ББК 32.811.7
© Авторы статей, 2017
Минимизация функционала типа среднего риска на основе конечного (возможно малого) набора экспериментальных данных[1]
М.В. Волкова, О.Н. Граничин[2]
Санкт-Петербургский государственный университет m.volkova@spbu.ru
o.granichin@spbu.ru
Решения большого количества практически важных задач адаптивного управления, машинного обучения, определения неявных характеристик систем, материалов и т. п. опираются на те или иные методы восстановления неизвестной зависимости по наблюдаемым экспериментальным данным. При зашумленных данных наблюдений активно используются статистические методы минимизации функционалов типа среднего риска. Но их обоснованность в существенной степени опирается на использование большого многообразия наблюдений. На практике при конечной (и возможно малой) выборке наблюдений использование традиционных статистических методов достаточно сомнительно. В работе рассматривается обобщение на нелинейный случай “модифицированного метода знако-возмущенных сумм”. При малом числе наблюдений с помехами рассматривается задача определения доверительного множества, содержащего вектор неизвестных параметров, с задаваемой априори вероятностью. Теоретические результаты применяются к задаче об оценивании параметра инкубационного времени, характеризующего прочностные свойства материалов при динамическом нагружении, и иллюстрируются большим количеством экспериментальных примеров.
Ключевые слова: функционал среднего риска, оценивание, доверительное
множество, знако-возмущенные суммы, динамическое разрушение, инкубационное
время.
Работа
выполнена при поддержке гранта РФФИ, проект \% 16-07-00890.
Список литературы
[1] Вапник В.Н., Червоненкис А.Я. Теория равномерной сходимости частот появления событий к их вероятностям и задача поиска оптимального решения по эмпирическим данным // Автоматика и телемеханика. 1971. - є 2. - C. 42-53.
[2] Вапник В.Н. Восстановление зависимостей по эмпирическим данным. - М.: Наука. - 1979. - 448 c.
[3] Фомин В.Н. Математическая теория обучаемых опознающих систем. - Л.: Изд-во Ленингр. ун-та. 1976. 236 с.
[4] Schweppe F.C. Uncertain Dynamic Systems. New York–London:
Prentice–Hall, 1973.
[5] Фельдбаум А.А. О проблемах дуального управления // В кн.: Методы оптимизации автоматических систем. М.: Наука, 1972, c. 89– 108.
[6] Льюнг Л., С¨едерстр¨ем T. Идентификация систем: теория для пользователя. — М.: Hаука. 1991.
[7] Цыпкин Я.З. Информационная теория идентификации. — М.: Наука. 1995.
[8]
Bai
E.W., Nagpal K.M., Tempo R. Bounded-error parameter estimation: Noise models
and recursive algorithms // Automatica, vol. 32, 1996, p. 985-999.
[9] Поляк Б.Т., Щербаков П.С. Робастная устойчивость и управление. — М.: Наука. 2002.
[10] Поляк Б.Т., Хлебников М.В., Щербаков П.С. Управление линейными системами при внешних возмущениях. Техника линейных матричных неравенств. — М.: ЛЕНАНД. 2014.
[11] Соколов В.Ф. Оценка качества робастной системы управления при неизвестных верхних границах возмущений и помехи измерений // АиТ, № 9, 2010, c. 3–18.
[12] Calafiore G, Polyak B.T. Stochastic algorithms for exact and approximate feasibility of robust LMIs // IEEE Trans. Autom. Control, vol. 46, 2001, p. 1755–1759.
[13] Граничин О.Н., Поляк Б.Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. — М.: Наука. 2003.
[14] Tempo R., Calafiore G., Dabbene F. Randomized Algorithms for Analysis and Control of Uncertain Systems: with Applications. — New York: Springer-Verlag. 2013.
[15] Granichin Oleg, Volkovich, Zeev (Vladimir) and Toledano-Kitai Dvora Randomized Algorithms in Automatic Control and Data Mining. — Springer. 2014.
[16]
Csaji
B., Campi M. C., Weyer E., “Sign-perturbed sums: A new system identification
approach for contructing exact non-asymptotic confidence regions in linear
regression models,” IEEE Trans. on Signal Processing, 63(1), 169–181 (2015).
[17]
Senov
A., Amelin K., Amelina N., Granichin O. Exact confidence regions for linear
regression parameter under external arbitrary noise // In: Proc. of the 2014
American Control Conference (ACC), 4-6 June, 2014, Portland, USA.
[18] Сенов А.А., Граничин О.Н. Идентификация параметров линейной регрессии при произвольных внешних помехах в наблюдениях // В сб. трудов XII Всероссийское совещание по проблемам управления (ВСПУ-2014), Россия, Москва, ИПУ РАН, 16-19 июня 2014. 2014. С. 2708–2719.
[19]
Kieffer
M., Walter E. Guaranteed characterization of exact nonasymptotic confidence
regions as defined by LSCR and SPS // Automatica. - 2013. - V. 49. - 507-512
pp.
[20] Petrov Y. V., Utkin A. A. Dependence of the dynamic strength on loading rate // Mater. Science. 1989. Vol. 25, N 2. P. 153–156.
[21] Petrov Y. V. Incubation time criterion and the pulsed strength of continua: Fracture, cavitation, and electrical breakdown // Doklady Physics. 2004. Vol. 49, N 4. P. 246–249.
[22] Cho S. H., Ogata Y., Kaneko K. Strain-rate
dependency of the dynamic tensile strength of rock // International Journal of
Rock Mechanics & Mining Sciences. 2003. Vol. 40. P. 763–777.
Глубокое обучение в задаче реконструкции суперразрешения изображений[3]
А. А. Сенов[4], аспирант
Санкт-Петербургский государственный университет alexander.senov@gmail.com
Обработка изображений несколько последних десятилетий является активно развивающейся научной областью. Один из важных ее разделов — получение суперразрешения изображений. Изображения с высоким разрешением имеют лучшие характеристики для восприятия человеком и позволяют проводить более качественный последующий анализ. Основной способ повышения разрешения изображения — улучшение технических характеристик оборудования, используемого для съемки. Однако, в этом случае возникают сложности, связанные со стоимостью и техническими ограничениями. Для их преодоления был предложен подход — получение суперразрешения изображения, который состоит в получении изображения высокого разрешения из одного или нескольких изображений с низким разрешением. В этой работе приводится обзор подходов к решению задачи получения суперразрешения изображений. Особенный упор делается на подходы, основанные на методах глубокого обучения, которые в последние годы показывают конкурентные результаты. В том числе обсуждается проблема оценки параметров сверточной нейронной сети, особенно актуальной в задаче суперразрешения.
Ключевые слова: суперразрешение, глубокое обучние, оценка параметров.
Работа выполнена
при поддержке РНФ, проект № 17-51-53053
Список литературы
[1] Park S. C., Park M. K., Kang M. G. Super-resolution image reconstruction: a technical overview // IEEE signal processing magazine. 2003. Vol. 20. No. 3. P. 21–36.
[2] Yang J., Huang T. Image super-resolution: Historical overview and future challenges // Super resolution imaging. 2010. P. 20–34.
[3]
Tsai
R. Y., Huang T. S. Multipleframe image restoration and registration // In:
Advances in Computer Vision and Image
Processing. 1984. P. 317–339.
[4] Bose N. K., Kim H. C., Valenzuela H. M. Recursive implementation of total least squares algorithm for image reconstruction from noisy, undersampled multiframes // In: Proc. of the IEEE Conference on Acoustics, Speech and Signal Processing. 1993. Vol. 5. P. 269–272.
[5] Tom B. C., Katsaggelos A. K., Galatsanos N. P. Reconstruction of a high resolution image from registration and restoration of low resolution images // In: Proc. of IEEE International Conference on Image Processing. 1994. P. 553–557.
[6] Zitova B., Flusser J. Image registration methods: a survey // Image and Vision Computing, 2003. Vol. 21. No. 11. P. 977–1000.
[7] Keren D., Peleg S., Brada R. Image sequence enhancement using subpixel displacements // In: Proc. IEEE Conference on Computer Vision and Pattern Recognition. 1988. P. 742–746.
[8] Ur H., Gross D. Improved resolution from subpixel shifted pictures // CVGIP: Graphical Models and Image Processing. 1992. Vol. 54. No. 2. P. 181–186.
[9] Alam M. S., et al Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames // IEEE Transactions on Instrumentation and Measurement. 2000. Vol. 49. No. 5. P. 915–923.
[10] Irani M., Peleg S. Motion analysis for image enhancement: resolution, occlusion and tranparency // Journal of Visual Communications and Image Representation. 1993. Vol. 4. No. 4. P. 324–335.
[11] Capel D. Image Mosaicing and Super-resolution. Springer, 2004.
[12] Capel D., Zisserman A. Computer vision applied to superresolution // IEEE Signal Processing Magazine. 2003. Vol. 20. No. 3. P. 75–86.
[13] Rudin L., Osher S., Fatemi E. Nonlinaer total variation based noise removal algorithms // Physica D: Nonlinear Phenomena. 1992. Vol. 60. No. 1–4. P. 259–268.
[14] Hardie R. C., Bernard K. J. Armstrong E. E. Join MAP registration and high resolution image estimation using a sequence of undersampled images // IEEE Transactions on Image Processing. 1997. Vol 6. No. 12. P. 1621–1633.
[15] Shen H., Zhang L., Huang B., Li .P. A MAP approach for joint motion estimation, segmentation and super resolution // IEEE Transactions on Image Processing. 2007. Vol. 16. No. 2. P. 479–490.
[16] Woods N. A., Galatsanos N. P., Katsaggelos A. K. Stochastic methods for joint registration, restoration and interpolation of multiple undersampled images // IEEE Transactions on Image Processing. 2006. Vol. 15. No. 1. P. 210–213.
[17] Freeman W. T., Jones T. R., Pasztor E. C. Example-based superresolution // IEEE Computer Graphics and Applications. 2002. Vol. 22. No. 2. P. 56–65.
[18] Chang H., Yeung D. Y., Xiong Y. Super-resolution through neighbor embedding // In: Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004. 2004. Vol. 1. P. 275–282.
[19]
Yang
J. et al. Image super-resolution as sparse representation of raw image patches
// In: Proc. of the IEEE Conference on Computer Vision and Pattern Recognition.
2008. P. 1–8.
[20] Capel D., Zisserman A. Super-resolution from multiple views using learnt image models // In: Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2001. Vol. 2. P. 1–8.
[21] Jolliffe I. T. Principal Component Analysis. Series: Springer Series in Statistics. 2002.
[22] Liu C., Shum H. Y., Zhang C. S. A two-step approach to hallucinating faces: global parametric model and local nonparametric model // In: Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2001. Vol. 1. P. 192–198.
[23] Huang J. B., Singh A., Ahuja N. Single image super-resolution from transformed self-exemplars // In: Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. P. 5197–5206.
[24]
LeCun
Y. et al. Backpropagation applied to handwritten zip code recognition // Neural
computation. 1989. Vol. 1. No. 4. P. 541–551.
[25] Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems. 2012. P. 1097–1105.
[26]
Dong
C. et al. Learning a deep convolutional network for image superresolution //
European Conference on Computer Vision. Springer, Cham. 2014. P. 184–199.
[27] Nair V., Hinton G. E. Rectified linear units improve restricted boltzmann machines // In: Proc. of the 27th International Conference on Machine Learning. 2010. P. 807–814.
[28] Kim J., Kwon L. J., Mu L. K. Accurate image super-resolution using very deep convolutional networks // In: Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. P. 1646–1654.
[29]
Ledig
C. et al. Photo-realistic single image super-resolution using a generative
adversarial network // In: Proc. of the IEEE Conference on Computer Vision and
Pattern Recognition. 2017. P. 4681–4690.
[1] Bengio Y., Boulanger-Lewandowski N., Pascanu R. Advances in optimizing recurrent networks // In: Proc. of IEEE Conference on Acoustics, Speech and Signal Processing. 2013. P. 8624–8628.
[2] Ruder S. An overview of gradient descent optimization algorithms. ArXiv preprint arXiv:1609.04747. 2016.
[3]
Goodfellow
I., Bengio Y., Courville A. Deep Learning. — Cambridge: MIT press, 2016.
[4] Senov A. Accelerating gradient descent with projective response surface methodology // In: Proc of International Conference on Learning and Intelligent Optimization. 2017. P. 376–382.
[5] Senov A., Granichin O. Projective Approximation Based Gradient Descent Modification // In Proc. of 20th World Congress of the International Federation of Automatic Control. 2017. Vol. 50. No. 1, P. 3899–3904.
[6] Senov A. Projective approximation based quasi-Newton methods // In: Proc. of International Workshop on Machine Learning, Optimization, and Big Data. 2017. P. 29–40.
[7]
Broyden
C. G. The convergence of a class of double-rank minimization algorithms. 1.
General considerations // IMA Journal of Applied Mathematics. 1970. Vol. 6. No.
1. P. 76–90.
[8] Fletcher R. Practical Methods of Optimization (Second ed.). New Your: John Wiley, 1987.
[9] Nocedal J. Updating quasi-newton
matrices with limited storage // Mathematics of Computation. 1980. Vol.
35. No. 151. P. 773–782.