Александр Фомич Вельтман родился 8 июля 1800 г. в Санкт-Петербурге. Его отец, Теодор Вельдман (?–1821), происходивший из обедневшей шведской дворянской семьи из Ревеля, в 1787 г. принял российское подданство и стал именоваться Фомой Федоровичем. В последние годы XVIII в. он служил в Санкт-Петербургской военной команде. В 1799 г. женился на дочери придворного М. П. Колпаничевой (?–1816). В семье было четверо детей. Александр был первенцем, затем родился сын Николай (1805–1818), дочь Елизавета (1810–?) и младший Василий (1814–1832).

В октябре 1800 г. глава семьи был назначен капитаном-исправником в г. Тотьму Вологодской губернии, а в середине 1803 г. получил назначение в Москву комиссаром квартирной экспедиции. Жалованье отца было небольшим, и с 1808 г. Александру Вельдману пришлось начинать учебу в лютеранских пансионах для неимущих Плеаско и Гейдена. В 1811 г. его удалось устроить в Московский университетский благородный пансион, но занятия были прерваны начавшейся войной с Наполеоном. В сентябре 1812 г. Москва была захвачена французами, и семья Вельтманов бежала в Кострому. В 1814 году А. Ф. Вельтман преподносит военному губернатору города Ф. В. Растопчину написанную им трагедию «Пребывание французов в Москве», что способствовало его зачислению в этом же году в пансион кандидатов Московского университета братьев И. П. и А. П. Терликовых. В 1816 г. Александр Вальдман начал учебу в Московском училище колонновожатых. После окончания учебы в ноябре 1817 г. Александр был назначен прапорщиком в свиту Его Императорского Величества по квартирмейстерской части. Он был прикомандирован к Первой армии М. Б. Барклая-де-Толли, а в марте 1818 г. переведен во Вторую армию П. Х. Витгенштейна и отправлен в бессарабский город Тульчин для службы в военно-топографической комиссии. В апреле 1812 г. он был произведен в подпоручики. За участие в подготовке и проведении маневров Второй армии в 1823 г. он получил чин поручика. В том же году был назначен обер-квартирмейстером Шестого пехотного корпуса. С середины 1820-х гг. в период службы в Бессарабии, Александр Фомич стал употреблять свою фамилию в новой форме – Вельтман. В 1825 г. А. Ф. Вельтман был командирован для организации усиления пограничной цепи по всей турецкой границе, за что был награжден орденом Св. Анны 3-й степени. В 1826 г. он возглавил топографическую съемку Бессарабии, после завершения которой получил чин штабс-капитана и назначение старшим адъютантом главного штаба Второй армии.

В период Русско-турецкой войны 1828–1829 гг. А. Ф. Вельтман отличился при форсировании Дуная и был награжден орденом Св. Владимира 4-й степени. Также Александр Фомич отличился во время осады Шумлы. Затем он участвовал в сражении при Кадикной 20 сентября 1828 г., в осаде Силистрии, в Кулевчинском сражении 11 июня 1829 г., и за провяленное мужество был произведен в капитаны.

В 1825 г. в журнале «Сын отечества» он опубликовал повесть в стихах «Беглец», испытавшую влияние «Кавказского пленника» А. С. Пушкина.

В период 1830–1850-х гг. А. Ф. Вельтман выпустил пятнадцать крупных романов и два больших сборника повестей. В его романах переплетались исторические и фантастические сюжеты. 

В начале 1831 г. Александр Фомич получил назначение в Отдельный Оренбургский корпус. 22 января 1831 г. в звании подполковника он ушел по болезни в отставку, после чего поселился в Москве и занялся литературным творчеством. В 1832 г. А. Ф. Вельтман женился на своей троюродной сестре А. П. Вейдель (1812–1847), у него родилась дочь Надежда (1837–?). Александр Фомич внес вклад в изучение и популяризацию важнейшего древнерусского литературного произведения – «Слово о полку Игореве». Им было осуществлено два издания памятника, в 1833 и 1866 гг. Издание «Слова» 1833 г. было подарено А. Ф. Вельтманом А. С. Пушкину незадолго до роковой дуэли. Энциклопедическая образованность, ум, такт и терпимость Александра Фомича способствовала тому, что с 1830-х гг. дом Вельтмана стал одним из известных в Москве литературных центров, где по четвергам собирались люди самых разных профессий, политических, философских и эстетических направлений и взглядов, от убежденных славянофилов до радикальных «западников».

В то же время А. Ф. Вельтман с увлечением занимался историей. Уже в 1836 г. он был избран членом Общества истории и древностей российских, а в 1839 г. – членом Одесского общества истории и древностей.

В 1842 г. Александр Фомич по предложению директора Московской Оружейной палаты М. Н. Загоскина занял должность его помощника. А. Ф. Вельтман деятельно взялся за описание и изучение памятников музея, отдавая дань своему пылкому воображению. 

В 1843 г. Вельтман выпустил книгу «Достопамятности Московского Кремля», а в 1844 г. вышла книга «Московская Оружейная палата», где были представлены опись и краткая история предметов Оружейной палаты. В 1851 г. им была опубликована книга «Описание Нового дворца в Кремле». В эти годы произошли перемены в личной жизни Александра Фомича: после смерти первой супруги, он женился 24 февраля 1850 г. на писательнице Елене Ивановне Кубе (1816–1868), которая родила ему сына и дочь. После смерти М. Н. Загоскина в 1852 г. А. Ф. Вельтман стал директором Оружейной палаты. Эту должность он занимал до конца жизни, дослужившись до чина действительного статского советника.  

Александр Фомич поставил целью составление новой описи Оружейной палаты, которая должна была содержать описания предметов, воспроизведения надписей, гербов и клейм, документальные свидетельства о происхождении экспонатов.

Работа Оружейной палаты стала регламентироваться Правилами, утвержденными императором Александром I 26 ноября 1858 г. Музей подчинялся Министерству императорского двора и был в ведении Московской дворцовой конторы. Правила определяли строгий учёт экспонатов.

Были определены принципы хранения ключей от витрин и шкафов у помощников директора. Выборочные проверки наличия и состояния экспонатов должны были проводиться ежегодно, а каждые пять лет надлежало проводить генеральные ревизии всех коллекций. Музей был доступен «для благопристойно одетых посетителей» три раза в неделю «с 10 часов до 2-х пополудни». В другие дни Правила позволяли открывать залы музея только для «иностранцев, путешественников, ученых для их изысканий и художников для срисовывания вещей».  В 1867 г. Оружейная палата принимает участие во Всемирной выставке в Париже, впервые показывая свои исторические сокровища за рубежом. 

В 1854 г. Александр Фомич стал членом-корреспондентом Императорской Санкт-Петербургской Академии наук, в 1861 г. – членом-корреспондентом и затем в 1869 г – действительным членом Русского археологического общества. Скончался А. Ф. Вельтман 11 (23) января 1870 г. Он был похоронен на кладбище Ново-Алексеевского монастыря. Сослуживцы ученого поставили на его могиле памятник из белого мрамора, уменьшенную копию надгробия Ярослава Мудрого.