Da Ballerup kirke først blev bygget, bestod den som de andre romanske landsbykirker kun af skib og kor (muligvis med en apsis – den halvrunde bue mod øst på koret). Indvendigt blev kirkens vægge udsmykket med kalkmalerier med fuld bundfarve ligesom motivet af
Kain & Abel, der er det eneste bevarede fra denne periode.
.
Kirkens grundplan omkring år 1200-1250 er således ganske enkel.
Kirken blev bygget af sten man fandt på markerne. Stenene blev kløvet og tilhugget ligesom ved de fleste andre sjællandske kirker. Disse tilhuggede kampesten kan man stadig se på kirkens sydside.
Kirken havde i den romanske tid to indgangsdøre, for mænd og kvinder brugte ikke samme indgang. Kvinderne gik ind gennem døren i nord, mens mændene brugte døren mod syd. Mændenes dør er i dag tilmuret, men går man om på kirkens sydside, kan man godt se, hvor den har siddet.
Den romanske stil er let genkendelig. Kirken blev bygget af store sten som man tilpassede i mere eller mindre grad. I Jylland skar man dem til så de var helt firkantede og passede perfekt sammen, det kaldes kvadersten. På Sjælland bevarede man den naturlige form, man delte dem stort set blot på midten og fyldte mørtel i mellemrummene.
På kirkens sydside ser man tydeligt de tilhuggede kampesten, og det er let at forestille sig, hvordan kirken så ud i den romanske tid. Dengang var murene dog formodeligt kalket hvide.
Her ses også med al ønsket tydelighed forskellen på de små romanske – og de store gotiske vinduer.
.
.
Både udefra og indefra kan man genkende de karakteristiske små rundbuede vinduer. Kirken havde i romansk tid kun ganske få vinduer, og disse var placeret relativt højt.
Den skrå kant – kaldet smigen – sørgede for at der kom lidt ekstra lys ind i kirken, end så små vinduer ellers ville have givet.
Man valgte ofte at udsmykke vinduerne med en kalkmalet ramme, Det gjorde Kongstedmaleren også, da han i 1400-tallet udsmykkede kirken med sine kalkmalerier.
.
.
Mændenes dør i sydvæggen kan stadig anes under det senere indbyggede gotiske vindue. Man ser de store kampesten der tidligere udgjorde dørkarmen.
