在前往彼得罗巴甫洛夫斯克的途中，穆拉维约夫得到了黑龙江口庙街要塞失守的消息，在得知这一次英法联合舰队中至少有数千人的步骑军队后，穆拉维约夫当即下令防守库页岛以及勘察加半岛其他地方的俄军部队全部撤回到彼得罗巴甫洛夫斯克防守。

库页岛位于位于黑龙江出海口的东部，东面和北面临鄂霍次克海，西隔鞑靼海峡及涅韦尔斯科伊海峡，南隔宗谷海峡与日本北海道宗谷岬相对。1853年4月，沙皇尼古拉一世命令俄美公司立即占领库页岛，并命令涅维尔斯科伊在库页岛东西两岸各建立一个哨所。同年8月，涅维尔斯科伊在库页岛东岸登陆，建立了以沙俄东西伯利亚总督穆拉维约夫命名的哨所。并且公然宣布“库页岛属俄国所有”。沙俄在库页岛北端升起俄国国旗，宣布占有该地，并派兵袭击久春古丹。沙俄派使节普查钦赴日，商讨库页岛的归属问题，结果没有成功。

在俄国人离开库页岛三天之后，英法太平联军登上了该岛，占领了原来属于俄国的占领区。谭绍光上岸后便命令开始扩建码头、港口，俄国人在岛上原来修建的不少房屋和设施都被太平军占领。

而格兰特则给太平军留下一支分舰队后，他自己率领大部分舰只北上去寻找俄国舰队去了。格兰特始终觉得要先打掉俄国舰队，才能保证己方运输船队和运兵舰队的安全。但他不知道穆拉维约夫命令所有的俄国舰船撤退进彼得罗巴甫洛夫斯克军港去了。

而库页岛南方却是被日本江户幕府视为自己的领土，隶属松前藩。谭绍光驻兵北库页岛，由于他此刻的兵力不足，是以暂时没有南下。在登岸后的第七天，一群日本人前来求见谭绍光。

谭绍光很是奇怪为什么日本人会派人前来。要知道日本虽然自称库页岛属于松前藩，但该岛上的日本人却很少。

在原来的俄军营地里，谭绍光见到了日本人的代表、时任日本江户幕府勘定奉行兼海防挂的川路圣谟。谭绍光军队中没有会日语的人，但好在川路圣谟的随从里有会中文的人，双方经过详细交谈后，谭绍光才弄明白日本人的来意。

日本人虽然一直认为南库页岛是属于日本的，但在1785年，江户幕府派遣工部吏山口铁五郎等5人及随从人员分两路勘察千岛群岛和库页岛，得出结论：“库页岛的北部是隶属于中国清朝的”，直到此刻日本人还是认为北库页岛属于中国。

在去年俄国发兵占领北库页岛之后。就一直不断的侵入库页岛南部，并在去年年底时占领全岛。随后俄国向日本派出使者商谈库页岛的归属，意思很明白，就是强逼着日本承认库页岛全部属于俄国。

当时川路圣谟作为接待员和简井政宪、荒尾成允、古贺增一同到长崎，按照上述方针和我国使者理廷查谈判。川路的外交手腕极其高明。结果关于千岛、库页岛的国境问题决定现场调查以后再协商，对开港及通商问题不给确切答复。仅仅准许最惠国的条款。

随后俄国疲于应付克里米亚战争。也没有继续逼迫日本，但川路圣谟还是请求幕府派他亲自到库页岛堪行。川路圣谟一行人来到库页岛的时候，正好就遇上了俄国人撤退。一问之下才知道是英法太平天国的联军打来了。

川路倒也有所耳闻在中国的南方一支起义军建立了一个叫太平天国的国家。川路等日本人其实一直认为这只是昙花一现的地方割据反叛势力，是敌不过强大的清朝的，可没想到这个时候却会遇上和英法联手的太平军。川路担心俄国人走后，太平军会侵入南库页岛。所以就前来进行接触。

听完川路的叙述后，谭绍光淡淡一笑说道：“我们太平天国这次北征主要是打击俄国老毛子的，南库页岛的事我们暂时不会去过问，不过原来属于清妖朝廷的北库页岛此刻便是属于我们太平天国的了。”

此次北上。谭绍光所见所闻自觉非常奇异，且不说这荒凉的库页岛，就是中国的东北大地那也是非常的地广人稀。就像偌大的库页岛，俄国人派了几百人前来，建了几个哨所就敢宣布这个岛归俄国了。看到这种情景，谭绍光忍不住便动了为太平天国开疆拓土的心思。