Kad je pobedio Brankoviće koji su ga sa turskom vojskom dočekali kod Tripolja na Kosovu blizu Gračanice 1402. godine, Stefan Lazarević je, kako bi što bolje obezbedio granicu od eventualnih turskih napada, zatražio podršku od ugarskog kralja Sigismunda. Ovaj nije imao ništa protiv, i kao znak koliko mu je stalo do te saradnje, darivao je Stefanu plodnu Mačvu, mnoga imanja, rudarske varoši u Ugarskoj, a krajem 1403. godine i – Beograd.
Konstantin Filozof je zapamtio i u Žitiju despota Stefana Lazarevića, koje je pisao nakon despotove smrti, posvedočio da je Stefan zatekao “razrušen i zapušten” Beograd.
Gradnja je počela od Gornjeg grada. Pravougaono se prostirao na bregu, i bio je utvrđen jakim zidinama. Tu je bio despotov dvor, utvrđen zidom i kulama. U njegovoj neposrednoj blizini nalazila se Kula Nebojša, zatim despotova riznica, a verovatno i kuće srpske vlastele. Zna se da je i Stefanova sestra Olivera tu imala kuću. U nastavku Gornjeg grada, padinom sve do obale Dunava, širio se Donji grad, okružen dvostrukim zidovima i dubokim jarkom sa kopnene strane. Na svim gradskim zidovima nalazile su se mnoge kule. U grad se ulazilo na tri mesta, preko pokretnih mostova koji su podizani verigama. Četvrta vrata su bila veza između Gornjeg i Donjeg grada. U Donjem gradu je bilo gradsko naselje, kuće trgovaca, zanatlija, bolnica i prihvatilište za strance. Beograd je bio crkveno središte države – u Hramu Uspenja Prečiste Bogorodice bila je mitropolija, a pored pravoslavnih postojale su i episkopska crkva za katolike i jedna za dubrovačke trgovce.
Grad je bio pun trgovaca i poslovnih ljudi iz Dubrovnika, Bosne, Ugarske, Mletaka… Preko Beograda se trgovalo bakrom, srebrom, olovom, zlatom i drugim rudama, u gradu su mogle da se kupe skupocene i jeftine tkanine, so, začini, zemljoradnički i stočarski proizvodi, oružje, zanatski proizvodi… Osećalo se da je Beograd prestonica bogate zemlje. Novo Brdo, Rudnik i Srebrenica, bogati srebrom, olovom i cinkom, bili su privredna osnova Stefanove Srbije – zna se da je poslednjih godina despotovog života po proizvodnji srebra bila među vodećim u Evropi.
Despotova država bila je gostoprimljiva i prema stranim piscima i umetnicima, izbeglim iz zemalja koje nisu imale sluha za njihov rad. Jedan od njih bio je i Konstantin Filozof. U Beograd je došao iz Bugarske, i predstavljao se kao učitelj srpski i prevodilac. Osim Stefanove biografije, zadužio je srpsku književnost, na primer Skazanjem o pismenima, delom u 40 glava o osnovnim pitanjima pravopisa, učenju dece, poreklu jezika Ćirila i Metodija i stanju morala u Srbiji. Izbeglica je bio i Grigorije Camblak. Došao je iz Moldavije, postao iguman manastira Dečani i tu napisao nekoliko značajnih dela. Zna se i za Andonija Rafaila, pisca iz Grčke, autora Slova o svetom knezu Lazaru, važnom dokumentu o Kosovskom boju.
Neke strance pozivao je u Beograd i sam Stefan, očigledno dobro obavešten o radu evropskih pisaca, prevodilaca i umetnika. Na primer, tražio je pismom da sa Svete gore dođe i za njega prepisuje inok iz Dalše, nazvan tako po manastiru koji je podigao na izvoru reke Dalše kod Golupca. Ovaj izvrsni prepisivač je za despota prepisao osam crkvenih knjiga, koliko nije niko drugi. I Grigorije Hilandarac je došao u Srbiju zato što ga je Stefan pozvao da mu rediguje omiljenu knjigu, Paralipomen, hroniku vizantijskog pisca Jovana Zonare u kojoj je opširno opisana istorija sveta, takozvana Zonarina hronika. Sudeći po njihovim zapisima, Stefan Lazarević je bio duhovni podstrekač njihovom radu.
Tim knjigama Stefan je bogatio svoju biblioteku, jednu od lepota dvora. Zna se za 18 knjiga koje su prepisane ili prevedene za despota, ali se ne zna koliko ih je bilo u biblioteci. Konstantin Filozof kaže da despot ima “mnoštvo knjiga po mestima i manastirima i u domu”, ali koliko je to “mnogo”, nemoguće je odrediti. U svakom slučaju, bila je to prva biblioteka za koju se zna u Beogradu. Verovatno da je vladar svojim primerom uticao i na sunarodnike, pa i crkvena i svetovna lica naručuju da im se prevedu ili prepišu potrebne knjige. Zna se, na primer, da je Dijak Andreja dobio takvu porudžbinu, a i da je jedan njegov kolega, neimenovani, prepisivao za vojvodu Radoslava. Znači da je prepisivanje knjiga u despotovo vreme bilo vezano i za Beograd, a ne samo za manastir Manasiju (Resavu), despotovu zadužbinu, u kojoj je postojala čuvena Resavska prepisivačka škola.
Stefan je Beograd gradio sve do svoje smrti. Želeo je da napravi lep grad, bezbedan i savremen. Sudeći po Konstantinu Filozofu, koji kaže da je Beograd sedmovrh kao Jerusalim, to mu je i uspelo.
