Народився Георгій (по-домашньому – Юра) 6 травня 1884 року в Миколаєві. Родина його мами – Катерини Костянтинівни Панютіної – походить з нашого міста. Її батько був військовим моряком, а дід за заслуги був внесений до дворянської книги Херсонської губернії. Батько Георгія, Лев Олексійович Брусилов, родом із дворян Орловської губернії, мав двох братів – Олексія та Бориса. Олексій Брусилов – легендарний російський воєначальник, який увійшов в історію завдяки «Брусиловському прориву», операції часів Першої світової війни. У Миколаєві Лев Олексійович займав посаду ад'ютанта головнокомандувача Чорноморського флоту і портів Чорного моря.