张伯苓6岁时入私塾读书。白天在义学里念《三字经》、《千字文》，放学回家后，其父再辅以教导和讲解，督促甚严。在义学中，张伯苓接触了许多贫家子弟。
1891年，张伯苓考入北洋水师学堂。北洋水师学堂是洋务代表人物、北洋大臣李鸿章为培植北洋海军人才而建立的。学堂总办是船政大臣吴虞成，总教习是近代启蒙思想家、主张变法维新的严复，教习多半是留英学生，用的是洋文，念的是洋书。总之，到这里来上学，叫做“上洋学”。清政府为吸引学生，不但学费全免，还管吃管住，这对家境日趋贫困的张伯苓确有很大的吸引力。张伯苓在水师学堂如饥似渴地学习近代科学知识，大开眼界。他是航海驾驶班最好的学生，每次考试都是名列前茅。严复的思想对他影响很大。
按《北洋海军章程》规定：“驾驶班学生在学堂习完四年毕业，派上练船学习船艺一年，送原学堂再习三个月，然后拨人枪炮练船，再学三个月。考核及格，派归兵船差遣补用。”1894年，张伯苓等18名同学完成堂课，被派往北洋水师舰队实习。时值朝鲜东学党之变，清政府出兵平乱，日本也趁机出兵寻衅，遂引起中日甲午战争。战争既起，清政府的海陆军被击溃，于是急调北洋水师增援。张伯苓随北洋水师舰队参加了这一历史性战役。9月17日，日本海军中将伊东佑享率领联合舰队袭击北洋水师，在波涛汹涌的黄海海面上发生了一场大海战。双方激战五个多小时，互有损伤。张伯苓又随北洋舰队退守威海卫海军基地。1895年1月，日本组成山东作战军，海陆两路夹击威海卫，丁汝昌等将士在腹背受敌的情况下，仍然坚持战斗。2月12日敌军占据刘公岛，北洋舰队全军覆没。张伯苓随北洋水师舰队开始参战时，第一艘兵船才出海，就被日舰击沉。张伯苓含泪饮恨与众人返师归来。这是张伯苓的爱国热忱受到的第一次沉重的打击。
1897年，承甲午败绩，国事日颓，英、德、法、俄、日等帝国主义列强纷纷染指，妄图瓜分中国。日本强迫清政府订立关于结束中日甲午战争的马关条约。俄、法、德三国以迫使日本交还辽东半岛有功向中国索取报酬，德国租占胶州湾，俄国强租旅顺、大连，法国租占了广州湾，而英国强租九龙与威海卫。帝国主义强盗的协议既成，清廷乃派大员乘通济舰去山东，办理接收和转让手续，张伯苓随舰前往。船到威海卫的头一天，降下日本的太阳旗，升起中国的青龙旗。第二天，又降下中国的青龙旗，升起英国的米字旗。张伯苓目睹这场“国帜三易”的接收和转让仪式，亲自尝受了这一丧权辱国的场面，气愤填膺，五内俱裂。他从威海卫归来之后，认为海军报国无望，决定退役。
甲午之战是中国大失败的开始。海军军舰全军覆没，这次大失败的教训，激励了张伯苓的志气，坚定了他一生的爱国热忱。当时科举虽还未废，但要求变法维新以求富强已成为一般有志青年的愿望。张伯苓决心创办新式教育。适值天津名绅严范孙倡办新学，1898年乃延聘张伯苓主持严氏家塾。张伯苓结识严范孙，对其后来南开一系列事业的创立与发展影响很大。
张伯苓在严馆执教时期除教授学生学习英文、数学和理化外，还提倡体育。那时没有体育设施，就在院子里放两张木椅，上面架一个鸡毛掸子的长竹竿，作为跳高的横杆，让学生把长辫子盘在头上，撩起长袍的衣襟，学跳高。这在当时却是令人耳目一新的罕见之举。
1901年，即义和团运动的次年，天津邑绅王奎章也聘请张伯苓教其于侄，是谓“王馆”。张伯苓在严、王两馆，循环往复，诲人不倦。两馆教法大体相同，只是附读学生逐年增多，设备及教法都还不完备。
1903年，张伯苓有感于日本蕞尔小邦，居然胜中国，挫强俄，一跃跻身于世界列强，必有所以致此之道，不可不往一观。在严修、王奎章的大力支持下，张伯苓乘暑假航海东渡，亲眼看到日本明治维新后的盛况，领略了日本对教育的重视及办学规模和教育方法，深受启发。1904年5月，张伯苓和严修二渡扶桑，经过四个月的细心考察后回国，决定成立中学。遂将严、王两馆合并，成立私立中学堂。从此他结束了家塾的生涯，成为学堂的学监，开始一展他的宏愿。
张伯苓自1904年创办南开中学以来，到1917年学生已满千人，中学基础日臻巩固，教育设施逐渐完善。每看到各届毕业生依依不舍地离开学校，他觉得应该向大多数学生提供继续升学的机会。社会的需要，使他认识到：“普通教育仅为国民教育之初步，创办高等学校乃是国家发展的根本大计”。于是他决心赴美学习和考察。
1918年，适逢严修与范静生也赴美，张伯苓乃与严、范遍游美国各地，考察了许多私立大学的组织和实施。12月，张伯苓与严修游美归国，不久便积极筹募经费，并获徐世昌、黎元洪等人及天津士绅之助，开始筹划创办南开大学。1919年春，在中学南端空地建大学教室，当年秋季落成。1919年9月5日、6日，举行大学新生入学考试，25日正式上课。南开大学创办伊始就建立了理科。那时北京、上海开创有许多私立大学，都是只办文、法、史、地、国学等文、法科，教师抱着线装书去上课，而张伯苓专请留美多年的凌冰博士为大学部主任，除开设文科外，还设理科和商科，后来改称文、理、商三个学院。这在当时也是十分难得的。南开大学的兴办和发展，对张伯苓来说并不意味着兴办教育的终结，建立一个完整的南开教育体系才是他兴办教育的宏伟大略。
张伯苓于1923年建立了南开女中。接着在1928年，张伯苓又兴致勃勃地在女生校舍对面建筑小学校舍，设立了小学部。为开展学术研究和造就高层次人才，张伯苓在兴建和完善女中和小学之后，又分别于1927年和1932年创办了南开经济研究所和应用化学研究所，从而构成了一个完整的南开教育体系。
张伯苓既以办学为救国的手段，故早就不以在天津创办学校为满足。1931年以后，日本军阀在华北屡生事端，他看到两国终不免一战，而天津定首当其冲。及至1935年，华北局势日益危急，张伯苓深为忧虑。1935年，他亲赴重庆考察后，决心在重庆建立南开中学。1936年夏，校舍落成，定名南渝中学，并于当年九月开学。
抗日战争爆发之后，国共两党建立起抗日统一战线。1938年，国民党政府在全国人民要求团结抗日的压力下，在汉口成立了国民党参政会。蒋介石为了装潢门面，拉拢在南方有一定声望的张一麟和在北方颇有影响的张伯苓担任参政会的副议长。1948年国民党政府改组，约请张伯苓出任考试院院长。1948年7月，张伯苓到南京后，目睹国民党政府政治黑暗腐败，心情很不愉快。年末，他以“体弱需静养”为借口，离开了南京考试院，回到重庆沙坪坝南开中学的老寓所，终日深居简出。
解放前夕，蒋介石三番两次到沙坪坝津南村，要求他离开重庆，去台湾或去美国，后来蒋氏又派蒋经国和张群来劝行，他都婉言谢绝了。1949年，他毅然留在重庆迎接解放。解放后，他衷心地称赞共产党和人民政府及其内外政策。1951年2月23日因病谢世，享年76岁。在他的遗嘱中，对国家民族无限光明前景充满信心，勉励“友好、同学”，“拥护人民政府”，“务共努力”，“以建设富强康乐之新中国”。
张伯苓是一位与时俱进的爱国教育家。他从一生办学、饱经沧桑的切身经历中，逐步看清了中国的前途。他创业南开，功在国家，为发展我国近代教育作出了重要贡献。教育的根本任务是培育人才，检验教育工作的得失成败，说到底，要看是否培养出一批“出类拔萃，智慧超群”的人才队伍。张伯苓创办南开系列学校，担任校长四十余年，在南开园这块民主与科学的土壤中培养出了一批又一批杰出人才，从举世钦敬的革命伟人到蜚声中外的科学巨子，从读书万卷的文苑大师到为国争光的体坛虎将，他们都从南开园破土而出，茁壮成长。他的教育思想对我国文化教育事业的发展起着重要的推动的作用。
