海源阁的藏书，得益于杨以增的为官四方。他在任职各地时非常留意收罗典籍。特别是担任江南总督之时，正值鸦片战争以后，太平天国方兴，江南故家藏书的珍善秘本纷纷散佚，流入市场，杨以增借机更是广为收集珍善之本，其中不少是从黄丕烈士礼居、汪士钟艺芸书舍散出的宋元精椠书籍。刘鹗《老残游记》第七回有诗一首记此事：“沧苇遵王士礼居，艺芸精舍四家书。一齐归入东昌府，深锁琅嬛饱蠹鱼。”这阶段的收集，为海源阁形成大规模、高质量的藏书格局奠定了坚实的基础。
使海源阁藏书得到进一步充实的是杨以增的次子杨绍和。
杨绍和（1832年—1875年），字彦合，又字勰卿。同治四年（1865年）进士，授翰林院编修，后官至通议大夫。杨绍和年轻时跟随父亲任职各地，深受其父影响，一生也以集书为乐。
乐善堂是清宗室郑亲王端华的藏书楼，有楼九楹，庋架溢满，相传到端华已有百余年的历史，其中有不少是来自江南毛晋、钱曾、徐乾学、季振宜收藏的精华，在四库开馆征书时，只有乐善堂敢违而不献。后端华被诛，乐善堂藏书散出。此时，杨绍和正任京职，趁此良机，购得善本书籍百余种，又一次扩充了海源阁的藏书规模。此外，海源阁又陆续收藏鲍氏知不足斋、钱氏红豆山房、秦氏石研斋等的旧藏。海源阁在杨以增和杨绍和父子的不懈努力收集下，在质量上和数量上达到顶峰，海源阁亦成为北方民间藏书中心。
海源阁的第三代传人杨保彝（1852年—1910年），字奭，号凤阿，杨绍和之子。同治九年（1870年）举贤书，后官内阁中书，转员外郎，擢道员。后隐退桃南山庄。到杨保彝时，海源阁藏书虽无增益，但他深感创业不易而守成更难，所以平日所藏秘籍，不轻易拿出来示人，在家精心典藏，加以研读。
杨氏在海源阁藏书活动中，不仅辛勤搜集藏书，而且还注重整理和校刻。杨绍和在《楹书隅录》中多次指出，其父杨以增每得一书都仔细研读，并对不同的版本加以校订，撰写题录记述该书的购置经过和版本的优劣。杨绍和秉承父志，在得到乐善堂等善本后，首先取出家藏宋元珍本、精抄名校本等所藏编目成册，名《海源阁藏书目》，接着将所藏宋元各本以其行式、印章、评跋等项整理成5卷，名《楹书隅录》，该书是近代颇负盛名的目录学著作。后再命其子杨保彝抄录原书跋尾若干，补成90种，编成4卷，名曰《续编》，即《楹书隅录·初编·续编》。杨保彝晚年又将海源阁藏书全部清查登记，编成《海源阁书目》6卷，著录书3236部，280300卷。又在《续编》的基础上，添补增删，编成《宋元秘本书目》4卷，著录善本书464部，11328卷。现均藏于中国国家图书馆。
杨保彝膝下无子，过继同族杨敬夫为子。
杨敬夫（1900年—1970年），原名承训，历任北洋政府秘书厅行走，京奉铁路局秘书。民国十六年（1927年）移居天津。民国十七年，杨敬夫将海源阁部分宋元精本携往天津，后所携津本在民国间陆续被杨敬夫高价出售。自此海源阁藏书连遭厄运，先后两次遭匪劫，未运往天津存于阁内的善本全部散佚。所剩普通书由杨敬夫于民国十九年用马车运至济南，存于东兴里杨氏私宅中。后归山东省图书馆。至此“四世相守，巍然独立”的海源阁藏书全部散尽。
陆心源（1834年—1894年），字刚父（刚甫），号存斋，晚号潜园老人，浙江归安（今浙江湖州）人。其藏书处皕宋楼为清末四大藏书楼之一。
咸丰九年（1859年）陆心源中举人，任广东南韶兵备道，后奉调入闽，官至粮盐道，与上司不睦，弃官归里，以藏书、校书终老。撰有《仪顾堂集》、《潜园总集》、《金石学补录》、《穰梨馆过眼录》等。陆心源一生嗜书，建皕宋楼以藏之，还有仪顾堂、十万卷楼、守先阁，也都是他的藏书之所，总数藏达20万卷。
皕宋楼的藏书是陆心源20余年呕心沥血搜访汇集起来的，陆氏博文好学，嗜书如命，每见异书，必倾囊购之。由于陆心源为官多年，家产颇富，所以有足够的能力购买书籍。从广东南韶离任时运回故里的图书就有百余箱。归里后的陆心源开始“薄富贵而厚于书”。时正值太平天国起义和第二次鸦片战争，社会动乱，江浙一带的藏书家大多难以保全藏书，大江南北，珍密典籍纷纷散出。郁松年的宜稼堂，是上海最著名的藏书楼，搜罗了汪氏艺芸书舍、黄氏士礼居、周氏水月亭、袁氏五砚楼和顾氏小读书堆等名家的藏书，宋元刊本和名人手抄手校本颇丰。同治初年，宜稼堂藏书散出，除部分宋元善本被丁日昌持静斋所购外，其余大部分约48000册由陆氏购藏。后又相继收购浙江归安严元照芳椒堂、乌程刘桐暝琴山馆、福州陈徵芝带经堂等散出的大量藏书，至光绪八年（1882年），陆心源所藏善本多达15万卷，成为江南有名的藏书家了。
陆心源的几个藏书处中，皕宋楼为专门收藏宋元刊本及名人手抄手校珍本之所，其中有《四库全书》未收之书。清代有崇拜宋刻之风，黄丕烈因藏宋刻百部而名其藏书处“百宋一廛”，吴骞又以元本甚多而名其室为“千元十驾”，陆心源认为自已收藏的宋刊宋刻达到200部，于是给自已的善本藏室取名为“皕宋楼”，即两个一百之意。
陆心源不仅收书出色，还善于管理。曾为其藏书撰写书目及题跋四种，《皕宋楼藏书志》120卷，只著录罕见的宋元刊本及名人手抄、手校之书；《仪顾堂题跋》16卷，《续跋》16卷；《陆心源捐资建阁归公书籍目录》是善本之外的陆氏全部藏书；《吴郡陆氏藏书目录》是陆氏皕宋楼抄本。值得称道的是，陆心源的守先阁所藏普通图书可供读者观览，这对传统的藏书家来讲是十分难能可贵的。
皕宋楼藏书在陆心源去世后，由其儿子陆树藩继承。光绪三十三年，陆树藩由于经商不力导致破产，决定变卖皕宋楼藏书救急，时东瀛日本对我国古代文献早已垂涎三尺，岛田翰在中国南北访书时，曾数次登皕宋楼，惊叹陆家藏书丰富，他听说陆树藩有意将皕宋楼藏书出手，便怂恿陆树藩将藏书出卖给日本的岩崎氏静嘉堂，浙江海盐藏书家们知道后十分焦急，联络了商务印书馆欲行收购，经多次讨价还价，陆树藩同意作价10万元，但等到张元济多方筹措，最终凑足6万元订金时，陆树藩却以11.8万元售与日本的岩崎男爵，致使祖国珍贵的文化遗产流入日本。此事发生后，国内知识界为之惋惜、悲痛，一时舆论大哗。有人据日本静嘉堂文库所藏统计，皕宋楼流入日本宋元精椠共：北宋刊本7部80册，南宋刊本114部2611册，元刊本109部1999册，都是极其名贵的海内孤本。此为中国藏书史上，最令人痛心的事情之一。
丁申（1824年？—1880年），字竹舟，丁丙之弟，钱塘（今浙江杭州）人。丁丙（1832年—1899年），字嘉鱼，别字松生，号松存。兄弟俩终生致力于图书典籍的搜藏，曾因全力抢救与保护文澜阁《四库全书》而名扬书林，被称为“钱塘双丁”。
因有感于先祖宋代的丁氏有书8000卷，丁氏藏书室遂名为八千卷楼，并曾言：“吾聚书多矣，必有好学者为吾子孙矣”。八千卷楼的数万卷图书是丁氏数代苦心搜集所积。八千卷楼藏书始于丁氏兄弟的祖父丁国典，他们的父亲丁英也喜欢藏书，曾南北往还搜求典籍，聚书数万卷，其中有不少是乾嘉学者和藏书家所流散出的秘籍，非常宝贵。后大部分毁于战火中。丁申、丁丙爱书更是胜于前辈，经过二三十年的艰苦搜访，藏书达到20余万卷。
