Указом от 7 декабря 1879 г. Талызин был назначен директором Московской Оружейной палаты. Ко времени прихода в музей нового директора грандиозная работа по созданию уникальной для своего времени описи Московской Оружейной палаты вступила в завершающий этап. Новая опись переросла рамки учётной документации, она стала первым научным каталогом собрания музея, не потерявшим своего значения до сегодняшнего дня. Прекрасно понимая значение коллекций Оружейной палаты для изучения истории и культуры, Талызин выступает с инициативой издания Описи. В ноябре 1883 г. было получено разрешение министра императорского двора на  её издание. Работа по изданию описи потребовала от А. А. Талызина постоянного внимания ко всем деталям. Благодаря его стараниям, сводная научная опись музейного собрания, снабженная обширным справочным аппаратом и иллюстрациями художника Д. Струкова,  была опубликована и с восторгом встречена  научной общественностью.  Первые тома описи Оружейной палаты вышли в свет в 1884 г. Однако, окончательно работа по ее публикации была завершена только в 1893 г. Важным событием истории Оружейной палаты времени директорства А.  А. Талызина стала подготовка экспонатов музея к участию в церемониях похорон императора Александра II в 1881 г. и коронации императора Александра III.  А. А. Талызин, наряду с должностью директора Оружейной палаты, оставался церемониймейстером Высочайшего двора. В апреле 1883 г. он был назначен коронационным обер-церемониймейстером. За исполнение этой должности он был награжден малой золотой медалью, темно-бронзовой медалью, учрежденной в память Священного коронования императора Александра III, и пожалован кавалером ордена Св. Станислава 1-й степени. Тогда же в 1883 г.  Талызин был награжден орденом Св. Владимира 3-й степени. В том же 1883 г. Талызин получает от правительства Франции командорский крест ордена Почетного легиона. В декабре 1883 г. были утверждены «Правила для управления Московской Оружейной палатой». Они практически дословно повторяли «Правила», действовавшие с 1858 г., однако был изменен порядок посещения музея. Были отменены билеты на вход в музей, единственным  условием допуска посетителей в залы Оружейной палаты была «приличная их званию одежда». Публика посещала музей три раза в неделю с 10 часов утра до 2 часов полудни. В остальные дни палату могли обозревать «иностранцы, путешественники, ученые для изысканий и художники для срисовывания вещей» по особым запискам от директора. В конце 1885 г., в соответствии с высочайшим повелением, происходит реорганизация Министерства императорского двора, в частности упраздняются Московская дворцовая контора и ее функции передаются Московскому дворцовому управлению, штат которого в целях экономии значительно сокращается. В соответствии с новым штатным расписанием с 1 января 1886 г. ликвидировались должности директора и помощников директора Оружейной палаты, вместо них вводились должности двух хранителей. С этого времени сотрудники палаты полностью входят в штат Дворцового управления. В связи с реорганизацией музея А. А. Талызин был уволен с должности директора, но остался церемониймейстером Высочайшего двора. За свою деятельность в Оружейной палате Талызин был пожалован орденом Св. Анны 1-й степени. 

 
Директором Оружейной палаты Талызин был недолго, всего шесть лет, но это были годы интенсивной работы, требовавшей напряжения сил от сотрудников музея и незаурядных организаторских способностей от его руководителя. После увольнения из музея А.  А. Талызин продолжал успешно служить в Дворцовом ведомстве. В апреле 1889 г. он был пожалован в гофмейстеры, а в марте 1894 г. ему была объявлена именная Высочайшая благодарность за отличное исполнение особо возложенных на него поручений.               Наряду с государственной службой Аркадий Александрович с энтузиазмом участвовал в общественной жизни. Так, в 1861 г. по распоряжению московского военного генерал-губернатора в продолжение шести месяцев он исполнял должность мирового посредника в Москве, а в 1868 г. утвержден в должности почетного мирового судьи по Бронницкому мировому округу. В январе 1872 г. избран предводителем дворянства Бронницкого уезда. Многие годы он занимался вопросами народного образования.        В декабре 1895 г. Аркадий Александрович заболел острым инфекционным заболеванием, вызвавшим тяжелые осложнения и, несмотря на трогательные заботы сестер, в конце июня 1896 г. он скончался и был похоронен 4 июля на Новодевичьем кладбище.