V Novém Zákoně se dočítáme, že Ježíš měl čtyři bratry, přičemž Matouš je přímo jmenuje: jednalo se o Jakuba, Josefa, Šimona a Judu. Zmíněny jsou i sestry, jejich jména ale chybí. Bible dále nikde nepraví, že by Josef s Marií nežili intimním životem jako manželé, s výjimkou jejího prvního těhotenství: "Ale nepoznal ji až do té doby, než porodila svého prvorozeného syna; a dal mu jméno Ježíš" (Matouš 1:25). Tato věta naznačuje, že po narození Ježíše už Josef žádné zábrany mít nemusel.

Křesťanský filosof Helvidius ve 4. století napsal, že Matoušem jmenovaní Ježíšovi bratři se Marii a Josefovi narodili během dalších let spokojeného manželství. Opíral se přitom o významného latinsky píšícího autora Tertulliana, který na přelomu 2. a 3. století vytyčil základní křesťanskou terminologii.

Helvidiovi odpůrci se ale nechtěli vzdát myšlenky, že Marie zůstala do konce života pannou. Řecký termín užitý Matoušem "adelphos" podle nich mohl znamenat nejen bratry, ale i bratrance nebo jiné příbuzné. Poukázali přitom na fakt, že Ježíšův rodný jazyk aramejština mezi těmito výrazy nerozlišoval. Nový Zákon byl však napsán řecky, a řečtina užívala pro bratrance specifický termín "anepsios".

V 5. století byl pak sepsán apokryf Příběh tesaře Josefa, který vysvětlil, že Josef byl vlastně vdovec, když potkal Marii, a Ježíšovi bratři a sestry pocházeli z jeho prvního manželství. Je ovšem podivné, že by evangelisté tuto skutečnost v Bibli nezmínili.

Jakkoli byly důkazy o neexistenci Ježíšových sourozenců násilné a dodatečně vykonstruované, většina křesťanských církví se dodnes drží dogmatu, že Panna Marie více dětí neměla. Římsko-katolická církev považuje "adelphos" za Ježíšovy bratrance, pravoslavná stojí za historkou o Josefově zesnulé manželce. Z historického hlediska neexistují důkazy o žádné z verzí, není však žádný důvod, proč by Josef s Marií po Ježíšově narození nezaložili vlastní rodinu jako většina jejich současníků.