Начиналось самое главное и самое трудное в этой еже годной "золотой" и "серебряной" эпопее — обратный путь к берегам Испании. В назначенный губернатором острова день обе флотилии снимались с якоря и выходили в от крытый океан: либо через Наветренный пролив (между Кубой и островом Эспаньола), либо через опасный свои многочисленными рифами Флоридский пролив. Далее, попав в поток Гольфстрима, галеоны шли на север вдоль восточного берега Северной Америки и на широте мыса Гаттерас брали курс на Севилью.
Увы, далеко не всем галеонам удавалось благополучно достичь обетованных берегов родной Испании. Более того, не всем суждено было выйти из Карибского моря на просторы Атлантики. Очень часто суда становились жертвами знаменитых вест-индских ураганов. Да, в Карибском море испанцам пришлось не раз познать ужас кораблекрушения! И не только стихии властвовали над мореплавателями. В те далекие времена даже опытные мореходы допускали при управлении кораблями грубые, а порой непоправимые ошибки. Особенно трудно было точно измерить время. Без этого невозможно сколько-нибудь сносно определять долготу места и, следовательно, свое местоположение в океане. Компас, астролябия, таблица склонения солнца и очень неточная карта были единственными навигационными средствами судоводителя XVI века. Без хронометров, без какого-либо точного навигационного оборудования утлые суденышки то дрейфовали "без руля и ветрил", то носились по вздыбленным громадам волн.