non so perchè ti vengono in mente questi esperimenti...
Intanto se fai una iso di un gioco con alcohol120% (alcohol120% non fa .iso cmq, fa solo mds/mdf) puoi benissimo rimasterizzarla con quella perchè estrarre i file con winrar? (se hai fatto mds/mdf mi risulta difficile che le hai estratte con winrar).
Comunque tornando al tuo problema del filesystem del dvd, quello lo puoi scegliere prima di masterizzare, per esempio con nero puoi scegliere tra ISO e UDF/ISO, in sostanza non cambia niente, tranne che UDF supporta file singoli di grandezza superiore ai 2GB
La schermata rossa comunque è "normalissima" se infili un disco non originale in una console senza modifica

qualsiasi tipo di cd/dvd ci metti, con qualsiasi filesystem, non funzioneranno senza modifica!
Ed un'altra cosa, non poco importante, i cd/dvd dei giochi playstation2 partendo da dei file estratti si fanno con programmi appositi! come cdgenps2 e cdvdgen, che permettono di masterizzare ricostruendo gli LBA dei file (puoi usare programmi come isobuster per leggere/salvare gli LBA), infatti prima dell'estrazione dovresti segnarteli in modo da ricostruire bene il disco sennò potrebbe avere dei malfunzionamenti visto che la lente viene mandata in un dato settore e quel file non viene trovato... leggiti qualche guida su come si rippano i giochi, tipo quella per granturismo4, con degli esempi si capisce meglio il discorso

Spero d'essere stato chiaro su tutti i punti