席與時的曾祖父席正甫是晚清上海匯豐銀行買辦，祖父席裕光是英商寶信銀行買辦，父親席德炳是民國時期中央造幣廠廠長，抗戰勝利后任阜豐面粉廠總經理。伯父席德懋是民國中央銀行業務局局長，1948年任中國銀行總經理。

席家有8個孩子，一男七女。席與時是席家六小姐，圓圓的臉，皮膚白皙，一對大眼睛總是流露著溫柔和同情心。她在讀小學的時候，看到那些小叫花子生活得很痛苦，深為同情，由此萌發了一個志向——長大了一定要當老師，而且要當盲童的老師！

席家花園“抗戰”中席家接連遭受厄運，“抗戰”勝利以后家境大不如從前。1948年她去美國讀書，從此離開了席家花園。

但是席與時總也忘不了那些流浪上海街頭的可憐盲童，在美國讀大學的時候，她選擇了主修社會學、輔修心理學，大學畢業后又去哥倫比亞大學的師范學院讀了兩年師范，考取了教師資格證書，同時又設法學習了盲文。然后，她來到紐約郊區，進入紐約州政府辦的一所當地最大的盲童學校當教師，終于實現了她童年時的愿望。

大兒子張貽仁結婚時，眾親戚來賀。前排右三起是席家姐妹席與明、席與萱、席與景、席與時、席與昭。

席與時

上海東平路1號的席家花園，原是一處占地三畝多的老式花園洋房，內部裝潢非常講究。這個地方現在是席家花園酒家旗艦店，聞名海內外。