ブライアン・サミュエル・エプスタインは1934年9月19日、ハリー・エプスタインの長男としてリバプールのロドニーストリート４番地にある産院で誕生した。
ハリーは前年、29歳のとき11歳年下のクイーニー・ハイマンと結婚。同時に、リバプールに移り、ここで家具商として成功していた。まもなく建てられた家は、実に広々とした造りで、５つの寝室と２つの浴室があった。後にブライアンは、この家の居間でジョン・レノンと将来について語り合うことになるのである。
失業者が多かったリバプールの町で、ブライアンは裕福に育った。生後６カ月の時には、住み込みの乳母が雇われている。10歳のとき、優秀な生徒が通う私立のリバプールカレッジの入学試験に合格するが、そこは彼にとって居心地の良い場所ではなかった。
ユダヤ人の彼にとって、「安息日」に登校を求められるような学校の方針は、馴染めないものであった。学校における彼は、常に少数派であった。それはユダヤ人だからというだけではなく、彼の性格よる処も大きかったようである。
同じようにユダヤ人のクラスメートもいたが、特に学校の方針が「反ユダヤ的」だとは感じていなかったと語っている。

ブライアンは、スポーツ嫌いのやや内向的な傾向の生徒だった。だからといって自己主張をしないタイプでもない。
美術と英語に良い成績をおさめたが、理数系の成績は学校生活において常に芳しくなかった。興味の無いものには見向きもしないような処があったようである。
学校側とはうまくいっておらず、何度も学業不振でこのままでは進級できないという手紙が両親に届けられたが、両親はさほど気にも留めていなかったようだ。だが、ついには授業中の態度をめぐって、退学通知を受ける。
ブライアンの弁明を信じた両親は、学校側に再三チャンスをくれるように申し入れるが、受け入れられなかった。ブライアンが学校に不満を抱いているのも明らかであった。
とりあえず、ブライアンはアイズバーグにある学校に入学。しかし、いずれにしても学校に対する不満は変わりなかった。両親は、毎日のように学校に対する不平不満をブライアンから聞かされるようになる。

　リバプールカレッジの失敗にこりた両親は、ブライアンをユダヤ系の学校に入学させることにした。サセックス州フラントにあるビーコンズフィールド・スクールという寄宿制の男子校だった。両親にとっての誤算は、１歳下の弟までもが、この学校に入学すると言い出したことだった。
母親のクイーニーは、毎日のように手紙を書き、食料品を送ることになるのである。
この学校でもブライアンの不満はやはりあったが、前の学校に比べると問題にもならなかった。ブライアンは、いつのまにか学校でも目立つ存在になっていく。
当時の校長、サミュエル・ウルフスン師は、ブライアンが演劇に興味を抱いていることを見抜いた、おそらく最初の人物である。
「ブライアンは生まれつきの役者でした。学校ではユダヤ教のお祭りに芝居をしますが、私はいつも彼に重要な役をやらせました。彼ならば、うまくやれるだろうとわかっていたからです。10歳の頃、すでに彼が大成するだろうというのは誰の目にも明らかでした。彼は群を抜いていました」
　有名人になったブライアンを知っての言葉であるから、いくらか割り引かなくてはいけないだろうが、彼が目立つ存在であることは確かだった。