Детальная информация

This article outlines the history of theoretical developments, techniques and technologies for translating audio track sounds into graphic elements or pictorial images, and vice versa. The presentation includes various attempts by philosophers (Pythagoras, Aristotle), artists (Guiseppe Arcimboldo, Olivier Messiaen, Alexander Scriabin, Arnold Schoenberg, Wassily Kandinsky, Valentin Afanasyev, Richard David James), natural scientists (Isaac Newton, Robert Hooke, Ernst Chladni, Hans Jenny), engineers (Louis Bertrand Castel, Evgeny Sholpo, Arseny Avraamov, Boris Yankovsky) to reveal the unity of color and sound and to translate colors as well as drawings into sound forms and vice versa. It features a whole variety of such translation types throughout the history of humankind, including mathematical, neuropsychological, physical, technical, and software translation. In the first type, translation is carried out by correlating the wavelength of a particular sound or musical tonality with a certain hue. Its adherents created a color and sound matching table based on their calculated mathematical formulas. Some of them then construct technical devices (like color-harpsichords) that allow this translation to be clearly demonstrated to the public. Within the framework of the neuropsychological approach, the phenomenon of synesthesia is being analyzed as well as the manifestations of this ability for a holistic perception of reality by artists and musicians who tried to convey their experience through works of art in which color and sound are constantly converted into each other. Representatives of physical translation focus on translating sounds into graphic forms and conduct experiments on the effect of sounds of different frequencies and amplitudes on physical substances such as sand, special powder or even liquids, classifying the resulting graphic forms. Adepts of technical translation are mainly engaged in sound recording, which is carried out by applying certain graphic patterns to film. A modern software approach allows for the translation of sound and image into each other in both directions using digital technologies.

Статья посвящена исследованию истории теоретических разработок, техник и технологий перевода звуков аудиотреков в элементы графики и/или живописные образы, и наоборот. Анализу подвергаются разнообразные попытки философов (Пифагор, Аристотель), артистов (Дж. Арчимбольдо, О. Мессиан, А. Скрябин, А. Шёнберг, В. Кандинский, В. Афанасьев, Р. Д. Джеймс), естествоиспытателей (И. Ньютон, Р. Гук, Э. Хладни, Х. Дженни), инженеров-экспериментаторов (Л. Б. Кастель, E. Шолпо, A. Авраамов, Б. Янковский) выявить единство цвето-звуковых и/или звуко-графических образов, осуществить перевод цвета/узора в звуковые формы и обратно. Исследуется всё многообразие типов подобных переводов в течение истории человечества, включая такие, как математический, нейропсихологический, физический, технический, программный. В первом типе перевод осуществляется посредством соотнесения длины волны того или иного звука или музыкальной тональности с определенным оттенком цвета. Его адепты на основании высчитанных ими математических формул создают таблицы соответствий цвета и звука. Некоторые из них в дальнейшем конструируют технические приспособления (типа цветных клавесинов), позволяющие наглядно демонстрировать данный перевод. В рамках нейропсихологического подхода анализу подвергается феномен синестезии и проявления данной способности к целостному восприятию действительности художниками и музыкантами, пытавшимися передать свой опыт посредством художественных произведений, в которых цвет и звук постоянно конвертируются друг в друга. Представители физического перевода концентрируют внимание на переводе звуков в графические формы и ставят эксперименты по воздействию звуков разной частоты и амплитуды на физические субстанции типа песка, особого порошка или даже жидкости, классифицируя получившиеся графические формы. Адепты технического перевода занимаются, в основном звукозаписью, осуществляя ее путем нанесения на пленку определённых графических узоров. Современный программный подход позволяет осуществлять перевод звука и изображения друг в друга в обоих направлениях с помощью специального программного обеспечения.

• Translating Sounds into Visual Images, and Vice Versa
  • INTRODUCTION
  • FROM SOUND TO COLOR: MATHEMATICAL TRANSLATION
  • NEUROPSYCHOLOGICAL TRANSLATION: AUDIO-VISUAL UNITY
  • PHYSICAL TRANSLATION: NATURE-DRAWN SOUND
  • TECHNICAL TRANSLATION: GRAPHICS TO SOUND
  • SOFTWARE TRANSLATION: FROM SOUND TO IMAGE, AND BACK
  • CONCLUSION
  • REFERENCES

Technology and Language: interdisciplinary open-access scientific journal = Технологии в инфосфере : междисциплинарный научный журнал открытого доступа / Санкт-Петербургский политехнический университет Петра Великого. — Санкт-Петербург: СПбПУ, 2020-. — Периодичность: 4 раза в год. — Выходит с 2020 г. — Загл. с титул. экрана. — Свободный доступ из сети Интернет (чтение, печать, копирование). — Электрон. журнал. — Текст: электронный

Technology and Language: interdisciplinary open-access scientific journal = Технологии в инфосфере : междисциплинарный научный журнал открытого доступа / Санкт-Петербургский политехнический университет Петра Великого. — Санкт-Петербург: СПбПУ, 2020-. Т. 5, № 4, 2024. — 1 файл (3,6 Мб). — Свободный доступ из сети Интернет (чтение, печать, копирование). — Электрон. журнал. — <URL:http://elib.spbstu.ru/dl/2/j25-1.pdf>.