如果说北京大学研究所国学门组织考古学会主要是为了谋求自身的发展，那么日本东亚考古学会则从一开始就是为了与中国的相应机构结盟而成立。
考古重心东移，使得以中国为中心的东亚成为国际学术界关注的焦点。日本虽然国力渐盛，教育学术发展迅速，但在考古学这一特殊领域，受制于客观条件，尽管发端甚早，进展却不大。而风气由欧化转为东方主义，迫切需要学术上的解释与表现。对于东亚探险考古活动大都由欧西学者主持、中国学者几乎无关、日本学者贡献也极少的状况，滨田耕作等人感到十分遗憾。要想改变，就必须将考古发掘的现场扩展到日本以外，尤其是中国大陆。而在中国国内政局动**，中日关系又日趋紧张之际，没有中方的协助，这一目标显然很难实现。
20世纪20年代，日本借退还庚款之名举办东方文化事业，引起中国各地各界人士的极大关注，相互之间长期交涉竞争，纷纷加强对日本的交流。以此为契机，在政治与学术关怀的交相作用下，中日两国学者积极开展合作。北京大学利用其首席国立大学的有利地位，从一开始便展开了强有力的角逐。1922年，胡适与蒋梦麟等人拟订计划，主张在中国国立大学和日本帝国大学互设中、日讲座，提倡东方文化研究。[1]而中日学术协会的发起与此关系更为直接，可以说简直就是东方文化事业的派生物。
该会成立于1923年10月14日，起因为年初北京大学校方召集任教于北大文科的留日出身的教授，如陈百年、张凤举、马幼渔、周作人、沈兼士、朱希祖以及在京都大学进修过的沈尹默等，商议日本对华文化事业。是年3月13日，周作人、张凤举前往日本公使馆找吉田参事官晤谈。刚好这时日本国学院大学教授田边尚雄、京都大学教授今西龙、东京大学教授泽村专太郎等人相继来北大讲学或研究，与北大教授常有交流应酬，显示了北大在中日学术交流中作为首席国立大学的重要地位。
9月，北大诸人与担任北洋政府军事顾问的著名“支那通”坂西利八郎中将及土肥原少佐相识，商议组织中日学术协会。中方以张凤举为干事，日方以坂西为干事，规定每月开常会一次。其实日方成员均非学者，其目的也不在于学术，而是鉴于北洋政府无望，想争取与国民党有渊源者搭桥过渡，以便与新政权接洽，将来谈判时保留日俄战争所取得的权利。所以坂西在成立会上说：“我们怎么配说学术二字，但是招牌却不得不这样挂。”[2]在此名义下，北京大学与日本教育视察团团长汤原、服部宇之吉及对支文化部的朝冈健等人多次就文化事业进行会谈。可惜日方醉翁之意不在酒，后来因形势发生变化，对北大失去兴趣，该会活动维持了约一年时间，无形停顿，硕果仅存的只有由日方出资、北大出人合办的天津中日学院。[3]但北大并未因此而放弃对东方文化事业的竞逐，先是提议推举王国维出任该事业计划中的北京人文研究所主任，以抗拒声望尚隆的研究系领袖梁启超，意图包揽[4]；后来又有鼓吹“将图书馆及人文研究所馆长、所长归校长兼理之说”[5]，引起校外学者的普遍不满。
