胡集书会也称为胡集灯节书会，始于元朝，兴于明清，距今700余年。每年元宵节前后，几百档说书艺人从四面八方云集胡集，纷纷登场亮艺，说书卖场，久年不衰，代代相传。书会的历史渊源无翔实的资料记载，通过召开老艺人座谈会，走访当地群众，经过多方面考查，不外乎以下几种说法：

其一，胡集镇是周围方圆百里最大的集镇，正月十二是春节后的第一个大集，周围数万群众为了欢庆元宵佳节，蜂踊前往，置办灯节用品。人们在灯节期间闹元宵，举行丰富多彩的传统民间艺术演出，如跑龙灯、扭秧歌、踩高跷、抬芯子、唱戏、说书等。解放前，说书卖艺为糊口，艺人们都想卖个好场，不怕路途遥远，从四面八方赶到胡集划场子，登台献艺，艺人越来越多，场面越来越大，岁岁如此，就形成了这一盛大的灯节书会。

其二，据史书记载，宋朝时期在我国北方民间就流传着一种音乐与唱词相结合的说唱艺术——说浑话。到宋朝末年，赵德麟又创作出一种说唱艺术“鼓子词”。这时，“平话”在惠民一带非常盛行，据说惠民城里每年有书会，艺人们聚在一起切磋技艺、交流书目。到元代初兵乱时期，艺人们把书会迁至惠民城东南70华里的胡集村。

其三，传说很久以前，在胡集大集上，从南边来了一伙唱渔鼓的艺人与北边一伙唱落子的艺人互不服气，闹起了矛盾，相持不下。第二年又各自约来了更多的同行艺人再次对垒，如此连续几年，艺人越来越多，观众也越来越踊跃，影响也随之扩大，这就是书会之始。后来艺人们慢慢地意识到书会要扩大影响，艺术上相互竞赛交流是好事，不能视同行为冤家，再说都是穷说书的，为了混碗饭吃，不能互相敌视对抗，应该和解团结，亲同一家人，化干戈为玉帛。于是就约定每年农历正月十二来胡集聚会，借说书之便，畅叙友情、交流书目、传授技艺、拜师收徒、各续门户，解决艺人中的一些问题。就这样，胡集灯节书会世代相传，繁衍至今。

经过几百年的发展，胡集书会已经成为中国曲艺发展的一个缩影，西河大鼓、梅花大鼓、木板书、毛竹板、沧州木板、评书、相声、山东琴书、山东快书、渔鼓、窑调、捽缰大鼓、河间大鼓、东路大鼓、数来宝等诸多珍贵的艺术形式都曾经在书会上吸引过万千观众。

在数百年的历史中，胡集书会得到了不断地丰富和发展，已经成为中国北方最大的、单纯的、具有自发性质的中国民间曲艺交流的集散地。2006年，胡集书会以其在中国曲艺界的深远影响入选首批国家级非物质文化遗产名录。