Arheološki muzej u Zagrebu jedan je od izravnih sljednika nekadašnjeg Narodnog muzeja, najstarije muzejske ustanove u hrvatskom glavnom gradu, osnovane 1836. Ta prva nacionalna muzejska institucija javnim je djelovanjem započela 1846. god., danom otvorenja prigodne izložbe u prostorima tadašnjeg Narodnog doma, reprezentativne gornjogradske palače u Opatičkoj ul. 18, koja je bila ranije u vlasništvu grofa Dragutina Draškovića. Prvim "čuvarom" muzeja imenovan je bio Dragutin Rakovec, a nakon njega tu je dužnost obnašao Mijat Sabljar. 1869. god. upravu Muzejom preuzima Šime Ljubić, prvi obrazovani stručnjak, a potom i prvi školovani arheolozi, najprije Josip Brunšmid, a zatim Viktor Hoffiler. Potrebno je međutim istaknuti da su poticaji osnivanju takve ustanove u Zagrebu, kao i prve značajnije inicijative u ostvarivanju tog projekta, a svakako stariji od navedenog datuma i u najvećoj mjeri ih je moguće pripisati specifičnom ozračju što su ga stvarali "ilirci", hrvatski narodni preporoditelji, koji su u osnivanju ustanove takvog profila vidjeli jačanje i afirmiranje ukupnog hrvatskog kulturnog identiteta. Njihov predvodnik Ljudevit Gaj posebnim je proglasom pozvao pučanstvo na suradnju, povjerivši 1829. god. sakupljanje priloga u novcu i spomeničkom materijalu Kraljevskoj pravoslovnoj akademiji, najvišoj tadašnjoj znanstvenoj ustanovi u Zagrebu.

Od svoga utemeljenja Muzej je prolazio kroz različite organizacijske faze. Još uoči osnutka muzejska je ustanova u nastajanju djelovala u sklopu netom osnovanog Gospodarskog društva, a nakon javnog početka djelovanja Muzej je i dalje djelovao pod istim okriljem. Na prijedlog Sabora 1866. god. je postao Zemaljskim zavodom Hrvatske, Slavonije i Dalmacije, djelujući pod zaštitom Sabora i pod upravom Akademije. Tada je Muzej ujedno bio podijeljen na Arheološki i Prirodoslovni odjel. Od 1878. god. Arheološki odjel djeluje samostalno, ali u sklopu Narodnog muzeja. Tek 1939. god. Arheološki odjel postaje samostalnim muzejom, a Narodni muzej, u obliku u kojem je ranije djelovao, u osnovi prestaje postojati. Promjene statusa Muzeja nisu omele kontinuirano bogaćenje njegovih zbirki, što je djelomice bilo i razlogom promjenama njegova sjedišta: nakon privremenog smještaja prvih pristiglih spomenika i kolekcija u prostorije Gospodarskog društva, u palaču baruna D. Raucha na Markovu trgu br. 2, odnosno u raspoložive prostore Pravoslovne akademije na Katarinskom trgu, a potom i u prvu muzejsku zgradu, već spomenuti Narodni dom, arheološke su zbirke početkom osamdesetih godina prošlog stoljeća preseljene u skučene prostore novoizgrađene Akademijine palače na Zrinskom trgu, gdje je Arheološki odjel Muzeja, a kasnije i Arheološki muzej, nakon niza bezuspješnih pokušaja izgradnje nove muzejske zgrade, djelovao sve do 1945. god., kada seli u palaču Vranyczany-Hafner na Zrinskom trgu 19, gdje je i današnje sjedište Muzeja.

Muzejski fundus, koji danas broji više od 450.000 različitih artefakata, prikupljen je iz različitih izvora. U prvim godinama i desetljećima najveći dio spomeničke građe Muzej je pribavljao kupovinom ili poklonima, a u prikupljanju su značajnu ulogu imali muzejski povjerenici, koji su djelovali na čitavom hrvatskom prostoru. Već osamdesetih godina prošlog stoljeća Muzej započinje i sa sustavnim arheološkim iskopavanjima u različitim hrvatskim krajevima, osiguravajući na taj način bogatu spomeničku građu, ali istovremeno i dragocjene podatke za proučavanje života stanovništva od pretpovijesnih do srednjovjekovnih razdoblja. U današnje doba terenska su istraživanja glavni izvor prikupljanja relevantne spomeničke građe. U novije vrijeme, uz sustavna istraživanja i radove na prezentaciji kompleksa rimske arhitekture u Ščitarjevu kod Zagreba i u Varaždinskim Toplicama, stručnjaci Muzeja vode istraživanja na Žumberku, zatim u Stenjevcu kod Zagreba, kao i na drugim lokalitetima u kontinentalnim djelovima Hrvatske, poglavito u široj zagrebačkoj regiji.