Jedyna możliwość transmisji obrazu przez ShoutCast to NSV. Ogólnie jest to technologia strasznie niedopracowana i na Twoim miejscu pozostałbym przy flashu.
Jeżeli bardzo potrzebujesz to transmitować w NSV, to będziesz musiał przekonwertować strumień. Aktualnie jako kodek dźwięku wykorzystywany tam jest format MP3 lub AAC, a jako kodek obrazu VP3, VP5 lub VP6.
Najprościej będzie Ci to konwertować w locie przy użyciu programu VLC. On też pozwala bezpośrednio na transmisję do ShoutCast, ale nie dam głowy czy wspiera też transmisje NSV czy tylko audio.