L’alta fama dell’esimio condottiero, l’entusiasmo de’ soldati per lui, il suo carattere fermo e altiero, la grandezza forse de suoi servizi, gli alienarono l’animo del Duca. I nemici del Conte, tra i quali il Bigli, storico contemporaneo, cita Zanino Riccio e Oldrado Lampugnano, fomentarono i sospetti e l’avversione del loro signore. Il Conte fu spedito governatore a Genova, e levato così dalla direzione della milizia. Aveva conservato il comando di trecento cavalli; il Duca gli chiese per lettere che lo rinunziasse. Il Carmagnola rispose pregandolo che non volesse spogliare dell’armi un uomo nutrito tra l’armi: e ben s’accorse, dice il Bigli,([10]) che questo era un consiglio de’ suoi nemici, i quali confidavano di poter tutto osare, quando lo avessero ridotto a condizione privata. Non ottenendo risposta né alle lagnanze, né alla domanda espressa d’essere licenziato dal servizio, il Conte si risolvette di recarsi in persona a parlare col principe. Questo dimorava in Abbiategrasso. Quando il Carmagnola si presentò per entrare nel castello, si sentì con sorpresa dire che aspettasse. Fattosi annunziare al Duca, ebbe in risposta ch’era impedito, e che parlasse con Riccio. Insistette, dicendo d’aver poche cose e da comunicarsi al Duca stesso; e gli fu replicata la prima risposta. Allora rivolto a Filippo, che lo guardava da una balestriera, gli rimproverò la sua ingratitudine, e la sua perfidia, e giurò che presto si farebbe desiderare da chi non voleva allora ascoltarlo: diede volta al cavallo, e partì coi pochi compagni che aveva condotti con sé, inseguito invano da Oldrado, il quale, al dir del Bigli, credette meglio di non arrivarlo.