林连玉先生逝世后，当年华社就有建设林连玉纪念馆的倡议。不过，由于种种原因，从概念提出、资源考虑，到馆址物色、筹款策划，前后历经了廿余年波折。2007年，林连玉基金重新思考定位，重新制定发展策略，扩大队伍，开始具体落实林连玉纪念馆的筹款和建设计划。
从2007年至2010年，透过全国各地多项筹款活动，林连玉基金得到华社群众大力支持，筹获马币448万元，并在2011年购得坐落于吉隆坡马哈拉惹里拉路（Jalan Maharajalela）的一座五层半大厦，耗资465万。此地位处吉隆坡传统华人文化中心纽带，交通方便，算是建馆的理想地点。随后，再经过两年筹款、规划、绘图、装修等工作，林连玉纪念馆终于在2013年杪落成启用。纪念馆硬体建设告一段落后，展示空间布展工作、文物征集等软体建设持续进行，预计将于2014年杪开幕。
诚如〈林连玉纪念馆落成碑记〉所言，设立林连玉纪念馆有三层意义：（一）林连玉先生是我国华人文化和历史的代表性人物，是建国时期华文教育以及华裔公民权益的重要发言人。林先生代表当时华社公意，奠定了百万华裔公民的政治地位和文化格局。纪念林先生，也就是纪念那个年代华人的处境和奋斗史。（二）肯定林先生贫贱不移、威武不屈、顶天立地的人格典范，并为此人格和精神预留应有之地位，树立风标。（三）弘扬林先生争取多元民族平等、母语教育平等的精神，以及“多彩多姿，共存共荣”的建国理念。林先生这种眼光和格局，正是纪念馆所要彰显的普世价值。
林连玉先生具有特殊的象征意义和历史意涵，建设林连玉纪念馆正可以恰如其分展示其象征意义以及他应有的历史位置。为林先生预留这个历史位置，也是为非主流族群在这块国土上保留应有的地位与尊严。
因此，林连玉纪念馆将遵循文物馆运作规范准则，设立文献室和资料室，集中及妥善保存林先生以及华教运动的文物和资料。在丰富馆藏的基础上，加上有计划的布展工作，纪念馆希望能够让后辈子孙和不同族群了解林先生生平事迹、与他一起奋斗的战友，以及那段波澜壮阔的华教运动历史和民主斗争进程。
为了带动不同层面人士的参与，除了开展馆藏、资料和出版等长期计划，林连玉纪念馆也将主办定期的活动项目，推展吉隆坡传统华人文化纽带人文历史课题的结盟和社区串联工作。通过静态展示、动态活动、社区串联以及知识资源的结合，林连玉基金希望纪念馆最终能够发展成为实践林连玉精神的基地，成为推动母语教育、弘扬多元文化、促进民主人权的平台。
从1986年林连玉墓园完成，到2013年林连玉纪念馆落成，从中可以看到华社广大群众一点一滴、集腋成裘的支持和认同。在纪念馆落成之前，人们已通过公祭、出版、讲座、各项活动等，尤其是群众性的筹款活动，认识到林连玉先生及其事迹。纪念馆落成之后，未来应当发挥更大的作用。林连玉纪念馆管委徐威雄先生说过：“一般上学者用‘保存记忆’与‘发扬传译’来概括纪念馆的主要功能”，“试着把这两者功能引伸为六大义，即：纪念、备忘、存档、教育、地志、精神。前三者是‘智以藏往’的机能，后三者则偏向‘神以知来’的使命。”他认为人需要回忆来寻找自我，也需要精神来引导未来。纪念馆经营得当，有望成为“述往思来的庄穆殿堂”。
林连玉基金遵循林连玉先生所说的“对付破坏最好的答复就是建设”，积极参与推动华教巨轮前进的工作；在林先生的精神感召下，为促进马来西亚的公平、民主、进步，乃至世界的公平、民主、进步，贡献一分力量。林连玉纪念馆的落成，为弘扬林连玉精神的工作奠立了一个更好的基地，并期望成为马来西亚华人历史与文化的一个重要纪念地，同时打造成为一个社区与跨族群公民社会活动的重要空间。
本文原刊于《林连玉纪念馆通讯》（试刊号）2014年5月出版