В 1946 году отца Альфреда направили в Вену в качестве журналиста и переводчика газеты Osterreichische Zeitung («Эстеррайхише цайтунг» — «австрийская газета»), которую командование советских войск издавало на немецком языке для местного населения. По его вызову мать и дети в июне того же года переезжают в столицу Австрии.

Начав в Вене посещать оперу и симфонические концерты, будущий композитор получает первые сильные впечатления. Показательна реплика из его воспоминаний:

Моцартовское начало в творчестве Шнитке самоочевидно, даже не учитывая целого ряда его композиций с транскрибированным обозначением «Moz — art».

Воздействие Шуберта сказалось более опосредованно — в демократических флюидах с их сложным психологическим наполнением.

На одном из концертов Альфред услышал Седьмую симфонию Брукнера:

Два года, проведенные в Вене — это не только первое настоящее соприкосновение с миром большого искусства, но и первые шаги обучения музыке. И опять-таки всё началось совершенно случайно.

Подросток пытается написать ни много, ни мало — концерт для аккордеона с оркестром. То была «идиотская идея, чепуха полная», но опять-таки изначально обнаруживалось тяготение к масштабной форме и к жанру, который стал для него впоследствии самым важным.

Альфред настолько рьяно осваивал аккордеон самостоятельно, что родители, заметив пробудившийся интерес к музыке, отвели его к жившей этажом выше пианистке фрау Шарлотте Рубер, которая стала давать ему частные уроки игры на фортепиано. Теперь он стремился выискать любую возможность где и как угодно поиграть на рояле. И соответственно — пытался сочинять музыку.

По возвращению в 1948 году в Советский Союз семья поселилась в подмосковном дачном посёлке Валентиновка, неподалёку за Мытищами. Поначалу в Валентиновке «все мои отношения с музыкой ограничивались аккордеоном». 

Так, вполне серьезные занятия музыкой начались у Шнитке весьма и весьма запоздало, почти в 15-летнем возрасте, когда он поступил в одно из московских музыкальных училищ на дирижерско-хоровое отделение, поскольку для обучения на каком-либо другом отделении не имел достаточной подготовки. Это было Училище имени Октябрьской революции — ныне Колледж при Московском государственном институте музыки имени А.Г. Шнитке.