中国教育会成立于1902年春。先是，蔡元培与叶瀚、蒋智由、王季同、汪德渊、黄宗仰、王慕陶等人于4月15日商议筹组中国教育会。4月27日，由在沪同人选举蔡元培担任事务长（即总理），王慕陶、蒋智由、戢元丞、蒯寿枢等任干事，陈仲謇为会计。随即函邀江浙各地同志赴沪，于5月4日召开成立大会。[1]入会者“或为学校师，或为编译员，或为新闻记者，或为学生”[2]，“都是海上及内地顶有名望的人，总共也聚了一百多人”[3]。新型知识分子构成该会的主体。中国教育会的出现，表明在上海这个中西交汇的新兴大都市中，新知识群体已经聚合发展，形成独立的社会力量，具有相对固定的角色地位，并要求通过自己的社团组织与活动，进一步扩大社会影响。
关于中国教育会的缘起与性质，冯自由说是因为当时“译本教科书多不适用，非从新编订完善，不足以改良教育。因联络海上有志之士，发起中国教育会为策动机关。倡议诸子，均属热心民族主义之名宿，故此会不啻隐然为东南各省革命之集团”[4]。中国教育会的重要骨干蒋维乔则极力肯定该会“表面办理教育，暗中鼓吹革命”[5]。而吴稚晖又对蒋说表示否定，[6]因而仍是一桩悬案。
事实上，中国教育会的确从一开始就存在一个秘密革命核心，他们立会的意图，是想凭借当时最为风行的兴办教育的名义，以学校为培养革命力量的基地，展开宣传组织活动，并不拘泥于发展教育。1904年4月3日，蒋维乔曾在一封致中国教育会诸君书中明确指出：“原设会之本意，诸君子固别有宗旨，不过借教育为表面。”“窥诸君子之用意，盖以中国垂危，教育之效终嫌缓不济急，故恒持虚无共产主义为救急第一良策。”不知底细者“固抱一教育普及之念而来，一入其中，微闻其内容则骇而走耳。此所以入会者前后有百余人，至今十不存一也。”有鉴于此，他提议：“诸君子欲达目的，则宜秘密者应另组织一秘密之部，而教育会自以普及教育为宗旨”，使“名实相符，可期发达，不致蹈前此之弊，与诱人入会无异”[7]。值得注意的是，当该会机关报《警钟日报》将这封信刊出时，却把其中涉及秘密宗旨的内容全部删除。[8]可见是有意加以隐蔽，以防意外。
从会员的思想倾向看，的确有一批核心人物已经脱离维新的旧轨，走上或是趋向革命的新路。他们不仅自己从事各种形式的革命活动，而且力主将其政治主张定为组织的秘密宗旨，并反映到中国教育会的公开章程与行动方针中去。该会章程总则规定：“本会以教育中国男女青年，开发其智识而增进其国家观念，以为他日恢复国权之基础为目的。”[9]后来修订章程时，又将“教育中国男女青年”扩大为“教育中国国民”。关于“恢复国权”，激进会员有进一步的解释：“我等所以设立此会者，实欲造成理想的国民，以建立理想的国家。”“我等理想的国家决非俄罗斯，决非德意志，乃纯然共和思想，所以从国民做起。否则亦当如腐败之报馆，日日望朝廷变法而已，又何劳我辈穷措大担任此国民之事乎？我辈欲造成共和的国民，必欲共和的教育。要共和的教育，所以先立共和的教育会。”[10]
1903年年初，中国教育会在致海外同胞书中追述了立会的动机：“专制之毒，痡于学界，递积递演，则国民之萌蘖者愈受摧残，一也；外人利我教育权者，将阴施其狡狯，益深我奴隶之资格，二也。循斯二者，已足以夷吾族姓矣，况丰祸之交乘而迭至者乎？同胞同胞，吾侪不自振拔，偷懦惮事，失今不图，必无幸免之希望矣。”[11]矛头指向专制教育和列强的文化侵略。
