DVD로 보실꺼면 차라리 인코딩을 새로 하시는 것 보다 DVD로 만드시는 편이 더 좋습니다. 특히 구버전의 DVD 플레이어면 더욱 그렇습니다.

DVD로 만드는 프로그램은 VSO ConvertX to DVD 를 추천합니다. 유료 프로그램이지만 어둠의 경로에는 무료로 쓸 방법이 넘쳐납니다.

굳이 인코딩을 해서 보실거라면 말씀하신 상태로 보아 영상 포맷이 문제인 것으로 보입니다.
인코딩 하실때 환경설정에서 압축방식을 OpenDivx(Divx4) 로 하시고 비트레이트는 화질이 약간 떨어지더라도 1000 이나 그 이하로 잡아 보시기 바랍니다, 영상 시간에 따라 용량이 차이가 더 나므로 인코딩을 하시려면 여러번 해보셔서 감을 스스로 잡아 보시는 방법 말고는 없습니다