Sebagai Panglima Besar, banyak masalah yang dihadapi, bahkan seringkali pula beliau berbeda pendapat dengan Pemerintah. Di samping TKR yang pada tanggal 27 Januari 1946 di rubah menjadi Tentara Republik Indonesia (TRI), sebagai tentara kebangsaan yang resmi,terdapat pula lascar-laskar yang dibentuk oleh golongan atau partai politik tertentu. Hubungan antara kedua aparat pertahanan ini tidak selalu harmonis. Kesua kekuatan bersenjata ini yaitu TRI dan badan kelaskaran dipersatukan dalam satu organisasi tentara yaitu Tentara Nasonal Indonesia (TNI) tepatnya tanggal 3 Juni 1947.
Disamping itu sekutu secara berangsur-angsur murai menyerahkan daerah-daerah yang dikuasainya kepada Belanda. Pemerintah Indonesia dihadapkan kepada situasi yang sulit yang akhirnya melalui meja perundinganlah lahir persetujuan Linggarjati. Salah satu keputusan dalam perundingan antar pemerintah Indonesia dengan pemerintah Belanda telah memperoleh kesepakatan untuk membentuk pemerintah federal yang bernama “Negara Indonesia Serikat”. Tetapi kemudian pemerintah belanda juga yang melanggarnya. Pada tanggal 21 Juli 1947 Belanda melancarkan agresinya yang pertama. Serangan itu dijawab langsung oelah Pangsar Jenderal Sudirman, dengan mengumumkan kata-kata sandi “Ibu pertiwi memanggil, Siap maju jalan”, berarti perintah langsung dari Pangsar untuk membalas serangan itu. Dengan tekad dan berpegang teguh pada pesan pangsar bahwa “kemerdekaan yang telah dimiliki dan dipertahankan jangan sekali-kali dilepaskan dan diserahkan kepada siapapun yang menjajah dan menindas kita” merupakan bekal yang cukup mempunyai arti dan makna yang dalan bagi pejuang untuk menghadapi lawan.
Sepuluh hari kemudian (31 Juli 1947) DK PBB menerima resolusi diadakannya genjatan senjata oleh kedua belah pihak (Indonesia - Belanda) dan agar perundingan dilanjutkan kembali. Perintah Cease fire diumumkan pada tanggal 4 agustus 1947 oleh presiden dan berlaku sejak jam 24.00 hari itu. Perundingan dimuali dnegan diawasi oleh Komisi Tiga Negara (Australia, Belgia dan USA) di atas kapal Renville kepunyaan USA. Perundingan itu mencapai persetujuan dan ditanda tangani pada tanggal 17 januari 1948. Hasil perundingan ini sebenarnya cukup pahit bagi para pejuang karena harus meninggalkan kantong-kantng yang telah dikuasai dan harus hijrah ke luar daerah “garis Van Mook” menuju daerah RI.
Ketika memeriksa tentara yang hijrah ini di Borobudur, jenderal Sudirman memberikan amanat untuk menenagkan dan menabahkan hati mereka. Dikatakan “…kamu bukanlah tentara sewaan, tetapi prajurit yang berideologi yang sanggup berjuang dan menempuh maut untuk keluhuran tanah airmu. Percaya dan yakinlah, bahwa kemerdekaan suatu Negara yang didirikan di atas timbunan reruntuhan ribuan jiwa harta benda dari rakyat dan bangsanya, tidak akan dapat dihapuskan oleh manusia siapapun juga…”
Karena keadaan pejuang menuntut suatu susunan ketentaraanyang sesuai dengan situasi waktu itu, maka pada tanggal 27 Februari 1948 berdasarkan penetapan presiden no. 9/1948 jenderal Sudirman ditunjuk sebagai Panglima Besar angkatan Perang Mobil dengan wakilnya Mayjen A.H. Nasution.
Sebenarnya APRI sudah tidak percaya kepada taktik Belanda dengan perundngan-perundingan yang mereka adakan. ARPI terus membenahi diri menyusun taktik dan startegi serta berjaga-jaga bila sewaktu-waktu Belanda menyrang kembali. Disaat Pemerintah dan PARI masih menyusun tenaga. PKI dibawah pimpinan Muso mengadakan pemberonyakan di Madiun. Tanggal 18 September 1948 merupakan lembaran sejarah hitam bagi bangsa Indonesia karena pada hari itu PKI yang hendak mengambil keuntungan untuk mengabil kepentingan idiologisnya sampai hati menusuk bangsanya sendiri dari belakang. Pemerintah menghendaki pemberontakan ini segera ditumpas. Dalam hal ini Presiden dan Pangsar Jenderal Sudirman bertindak tegas. APRI diperintahkan menumpas pemberontakan PKI di Madiun ini. Dan dalam tempo 12 hari saja Madiun sudah dapat dikuasai kembali. Belum lagi luka-luka akibat pengkhianatan ini sembuh secara sempurna, Belanda kembali melancarkan agresinya yang kedua. Tanggal 19 Desembel 1948 merupakan tanggal yang tidak akan terlupakan bagi bangsa Indonesia, karena pada hari itu Belanda melancarkan serangannya ke Ibukota republic Yogyakarta dan daerah-daerah RI lainnya.
Pada tanggal 19 Desembel 1948 Belanda melancarkan serangan terhadap Indonesia , menerjunkan parasut ke lapangan terbang Maguwo, Yogyakarta kemudian bergerak menuju Ibukota. Dengan demikian mulailah Agresi Militer II Belanda.
Menghadapi keadaan ini Jenderal Sudirman masih sakit, yang sebelumnya telah menjalani operasi mengakibatkan sebuah paru-parunya tidak berfungsi lagi. Panglima Besar berangkat ke Istana untuk menerima instruksi dari Presiden. Presiden menasihati agar Pangsar kembali ke rumah karena masih sakit. Keputusan untuk tetap tinggal di dalam kota sangat diluar dugaan Jenderal Sudirman. Ketika Presiden mengajak untuk tinggal di dalam Kota, Pangsar menjawab dengan kata “saya tidak mau tetap dalam kota. Buat saya yang penting adalah anak-anak buah say. Tempat saya yang terbaik adalah di tengah-tengah anak buah. Saya akan meneruskan gerilya dengan sekuat tenaga seluruh perajurit”.
Jenderal Sudirman memang dengan sadar menmpuh resiko ini. Mati bagi seorang prajurit merupakan suatu resiko. Kalau tidak mau menempuh resiko ini jangan menjadi prajurit.
Hari itu juga jenderal sudirman meninggalkan Yogyakarta, memulai perjalanan gerilya yang akan berlangsung selama kurang lebih tujuh bulan lamanya. Buat seorang yang masih sakit, perjalanan seperti itu yakni naik gunung turun gunung, masuk hutan keluar hutan, berpindah ke suatu tempat ke tempat yang lain, bukanlah perjalannan yang ringan. Obat-obatan sulit diperoleh. Tak jarang Panglima Besar itu terpaksa kekurangan makanan selama beberapa hari. Tantangan yang harus dihadapi bertambah lagi sebab Belanda selalu berusaha menangkapnya. Seringkali terjadi di suatu tempat diserang dan dibom Belanda, padahal kira-kira setengah jam sebelumnya Jenderal Sudirman masih berada di situ.
Semula direncanakan Pangsar akan bermarkas di Kediri. Tetapi setelah tiba di tempat itu dan melakukan perundingan dengan Kolonel Sungkono, dinyatakan bahwa tempat tersebut tdak cukup aman. Oleh karena itu Jenderal Sudirman berusaha kembali ke daerah Jawa Tengah melalui jalan mengitari Gunng Wilis. Ketika berada di daerah Sedayu, ia hamper tertangka karena desa tersebut di dikepung dan diserang oleh Belanda, hanya karena turunnya hujan yang lebat Beliau berhasil menyelamatkan diri.
Selama bergerilya, Panglima Besar tetap mengeluarkan perintah-perintah hariannya berisi juga amanat baik untuk angkatan perang maupun rakyat pada umumnya. Panjang seluruh Route Gerilya pangsar Jenderal Sudirman, dihitung dari Yogyakarta sampai ke perbatasan Jawa Timur pergi dan pulang yaitu melalui 75 buah kota besar dan kota keci yang secara teoritis meliputi 900 kolometer. Pada kenyataan panjangnya menccapai 1.009 km yang sebagian besar ditempuh dnegan berjalan kaki.
Panglima besar Jenderal Sudirman dan rombongan memasuki kota Yogyakarta kembai tanggal 10 Juli 1949, kembali memenuhi panggilan Pmerintah Pusat di Ibukota Yogyakarta setelah kota itu bersih dari pendudukan musuh. Di kiri-kanan rakyat berjejel-jejel menyambut dengan meriah. Mereka ingin meliaht wajah Pangsar yang lebih suka memilih medan gerilya dari pada beristirahat di tempat tidur. Banyak diantara rakyat maupun prajurit yang selama bergerilya terkenal berani, tak urung eneteskan airmata atau menangis tersedu-sedu terutama waktu parade penyambutan Pangsar di Alun-alun Utara Yogyakarta. Setelah mereka menyaksikan dengan mata kepala sendiri keadaan fisik Pangsar yang pucat dan kurus rasa haru dan kagum bercampur menjadi satu. Hal itu menunjukkan betapa agungnya Jenderal Sudirman di hati anak buahnya.
Selama bergerilya kesehatan Jenderal Sudirman kurang baik, bahkan menurun dan beberapa kali beliau jatuh pingsan. Di Ygyakarta kesehatannya diperiksa kembali. Teryata paru-paru yang sebela lagi sudah pula terserang penyakit. Karena itu Pangsar diharuskan beristirahat di rumah sakit, tepatnya di rumah sakit Panti Rapih Yogyakarta.
Kesehatan pangsar kian hari kian bertambah parah. Sing hari tanggal 29 Januari 1950 Jenderal Sudirman Panglima Besar Angkatan Perang Republik Indonesia berpulang di rahmatullah di pesanggrahan Militer, jalan Badaan, magelang. Jenazahnya dimakamkan esok harinya di Taman makam Pahlawan Kusumanegara Yogyakarta.
