Java Problem (char[] <-> byte[])

Hoi
hab ein etwas komplizierteres Problem mit java:
Kurzfassung:
Verbindungsframework mit BufferedReader / PrintWriter (also character based) und ich will dateien über die selben streams schicken.
Dateien sind ja Binärdateien, d.h. byte basiert.
Da liegt das Problem: Wie codiere und decodiere ich bytes zu chars (Schon mit new String(byte[] b, String charSet) und das gegenstück dazu pobiert, genauso direkt mit CharEncoder / Decoder, usw.)
Bin langsam echt am verzweifeln, in google hab ich auch nix gescheites gefunden.

Hm denkbar einfach lösung gefunden:
Die verbindungen in nen "Char" Socket und "Byte" Socket aufgetrennt x.x