| その直後に義父の船に乗って海に出て途中で知人の船・栄力丸に乗り換えて江戸に向かう航海中、その船が10月29日（11月22日）に紀伊半島の大王岬沖で難破。 |
| 2ヶ月太平洋を漂流した後、12月21日（1852年1月12日）に南鳥島付近でアメリカの商船・オークランド号に発見され救助される。 |
| その後、救助してくれた船員たちと共にサンフランシスコに滞在。 |
| 嘉永5年3月13日（1852年5月1日）アメリカ政府より日本へ帰還させるよう命令が出てサンフランシスコを出発し、5月20日（7月7日）に香港に到着する。 |
| そこから、東インド艦隊長官・ペリーの船に同乗し日本へ帰還するはずだった。 |
| しかしペリーがなかなか来ず、その間に香港で出会った日本人・力松（モリソン号事件での漂流民のひとり）の体験談を聞き自分達がアメリカの外交カードにされるとの懸念から、10月に亀蔵・次作とともにアメリカに戻る。 |
| なお、ほかの栄力丸船員の多くは、同じくモリソン号事件関係者で上海定住していた日本人・音吉に匿われ、後に清国船で長崎経由の帰国に成功している。 |
| ただひとり仙太郎はペリー艦隊に同行した。 |
| サンフランシスコに帰った後は、亀蔵・次作の2人とも別れて下宿屋の下働きなどをしていたが、税関長のサンダースに引き取られた。 |
| その後、ニューヨークに赴く。 |
| なお、亀蔵と次作はそれぞれ船員として働き、開国後に日本へと帰国している。 |
| 嘉永6年8月13日（1853年9月15日）には日本人として初めてアメリカ大統領（当時はフランクリン・ピアース）と会見した。 |
| またサンダースによりボルチモアのミッション・スクールで学校教育を受けさせてもらう。 |
| 安政4年11月25日カトリックの洗礼を受ける。 |
| （1858年1月9日）にはピアースの次代の大統領ジェームズ・ブキャナンとも会見した。 |
| 安政5年（1858年）、日米修好通商条約で日本が開国した事を知り日本への望郷の念が強まった彦蔵はキリシタンとなった今ではそのまま帰国することはできなかったので、帰化してアメリカ国民となる。 |
| 安政6年（1859年）に駐日公使・ハリスにより神奈川領事館通訳として採用される。 |
| 6月18日（7月17日）に長崎・神奈川へ入港し9年ぶりの帰国を果たした。 |
| （1860年）2月に領事館通訳の職を辞め、貿易商館を開く。 |
| 文久元年9月17日（1861年10月20日）当時は尊皇攘夷思想が世に蔓延しており外国人だけでなく外国人に関係した者もその過激派によって狙われる時代であったため、彦蔵は身の危険を感じてにアメリカに戻った。 |
| 文久2年3月2日（1862年3月31日）にブキャナンの次代の大統領エイブラハム・リンカーンと会見している。 |
| 同年10月13日（12月4日）に再び日本に赴き、再び領事館通訳に職に就く。 |
| 文久3年9月30日（1863年11月11日）に領事館通訳の職を再び辞め、外国人居留地で商売を始めた。 |
| 元治元年6月28日（1864年7月31日）、岸田吟香の協力を受けて英字新聞を日本語訳した「海外新聞」を発刊。 |
| これが日本で最初の日本語の新聞と言われる。 |
| ただしこの新聞発行は赤字であったため、数ヵ月後に消滅した。 |
| 慶応4年8月7日（1868年9月22日）、18年ぶりに帰郷。 |
| 明治2年（1869年）6月には大阪造幣局の創設に尽力した。 |
| その後は大蔵省に務めて国立銀行条例の編纂に関わったり茶の輸出、精米所経営などを行なった。 |
| 明治30年（1897年）12月12日、心臓病の為東京の自宅で死去。 |
| 日本人に戻る法的根拠が無かったことから死後、外国人として青山の外国人墓地に葬られた。 |
| 尚、国籍法が制定されたのは明治32年（1899年）のことであった。 |
