หลังชีวิตที่รุ่งโรจน์จนถึงขีดสุดในฐานะราชทูต และการได้รับพระมหากรุณาธิคุณโปรดเกล้า ฯ สถาปนาพระอิสริยยศจากหม่อมเจ้าขึ้นเป็นพระองค์เจ้า แต่เมื่อต้องกลับสู่สยามประเทศไทย พระองค์เจ้าปฤษฎางค์ได้รับตำแหน่งใหม่ให้เป็นอธิบดีกรมไปรษณีย์โทรเลข
ด้วยพระมหากรุณาธิคุณที่รัชกาลที่ 5 ทรงมีต่อพระองค์เจ้าปฤษฎางค์ จึงมีพระราชดำริให้ซ่อมแซมพระราชทาน “ตึกภูมนิเทศทหารหน้า” ที่ท่าพระ สำหรับเป็นที่ประทับของพระองค์เจ้าปฤษฎางค์
การปรับปรุงตึกภูมนิเทศทหารน่า ที่ได้รับพระราชทานยังไม่ทันแล้วเสร็จ ก็เกิด “อุบัติเหตุ” บางอย่างขึ้นในราวกลางปี 2430 ไม่ทันถึง 2 เดือนดี หลังพระองค์เจ้าปฤษฎางค์ทรงรับพระมหากรุณาธิคุณต่าง ๆ นั่นคือ ร.5 โปรดให้เรียกบ้านที่พระราชทานกลับคืน นอกจากนี้ยังถูกตัดเงินพิเศษที่เคยได้รับเดือนละ 2 ชั่งลงด้วย จนเป็นสาเหตุให้พระองค์ทรงคิดปลงพระชนม์ตัวเอง
มีหลักฐานเอกสารร่วมสมัยที่น่าจะอธิบายถึง “อุบัติเหตุ” คราวนั้นได้ชัดเจนมากขึ้น นั่นคือพระราชหัตถเลขาที่รัชกาลที่ 5 พระราชทานแด่พระองค์เจ้าปฤษฎางค์ มีเนื้อหาทรงตำหนิพระองค์เจ้าปฤษฎางค์อย่างรุนแรง กรณีที่พระองค์เจ้าปฤษฎางค์เป็นหนี้พระอรรคชายาเธอ หม่อมเจ้าสาย แล้วทรงพยายามสร้างบุญคุณตอบแทน ด้วยกลอุบายทูลให้พระอัครชายาเธอ หม่อมเจ้าสาย ทรงนำความกราบบังคมทูลเสนอให้รัชกาลที่ 5 โปรดเกล้าฯ ให้หม่อมเจ้าปาน พระเชษฐาของพระอัครชายาเธอ ให้ได้เข้ารับราชการในกรมโยธาธิการหรือปัปลิกเวิก เพื่อเป็นการ “สงเคราะห์เจ้าปานแทนดอกเบี้ย”
แรงกดดันอีกเรื่องที่พระองค์เจ้าปฤษฎางค์ต้องทรงเผชิญ นั่นคือข่าวลือเกี่ยวกับความสัมพันธ์ฉันชู้สาวกับ “ศรี” พี่สะใภ้หม้ายของจมื่นไวยวรนาถ ในระหว่างที่ไปราชการปราบฮ่อที่หลวงพระบาง ขณะที่พระองค์เจ้าปฤษฎางค์ทรงยืนยันว่า เป็นความสัมพันธ์เพียงแค่สหาย
อย่างไรก็ตาม เมื่อข่าวลือนี้ถึงหูจมื่นไวยวรนาถ จากสหายรักร่วมน้ำสาบาน กลับกลายเป็นท่าทีมึนตึงเข้ามาแทนที่
เหตุการณ์ทั้งหมดเกิดขึ้นพร้อมกับมิตรสหายที่เคยร่วมทุกข์ร่วมสุขค่อย ๆ ทยอยทอดทิ้งไป กระทั่งนำมาสู่เหตุการณ์ตัดสินใจครั้งสำคัญอีกครั้ง ที่จะเปลี่ยนพระชนม์ชีพของพระองค์ให้จมดิ่งลึกลงไปยิ่งกว่าเดิม
กลางปี 2433 สมเด็จพระเจ้าน้องยาเธอ เจ้าฟ้าภาณุรังสีสว่างวงศ์ ได้รับโปรดเกล้า ฯ ให้เสด็จ ฯ เยือนประเทศญี่ปุ่น พระองค์เจ้าปฤษฎางค์ได้รับการชักชวนให้ร่วมเสด็จด้วยในฐานะที่ปรึกษาราชการ
ขากลับเมื่อเดินทางถึงฮ่องกง พระองค์เจ้าปฤษฎางค์ทรงถวายหนังสือ 2 ฉบับแด่สมเด็จพระเจ้าน้องยาเธอ เจ้าฟ้าภาณุรังสีสว่างวงศ์ ฉบับหนึ่งเป็นหนังสือกราบถวายบังคมลา และอีกฉบับเป็นหนังสือทูลเกล้า กราบถวายบังคมลาออกจากราชการ แม้จะได้รับการทัดทาน แต่ในที่สุดเรือที่กลับสู่กรุงเทพ ฯ ก็ปราศจากพระองค์เจ้าปฤษฎางค์ร่วมขบวนไปด้วย
ก่อนหน้านี้ในระหว่างเยือนญี่ปุ่น มีข่าวมาจากกรุงเทพฯ ว่า ศรีได้หนีจากสยามไปแล้ว พร้อมทั้งนำทรัพย์สินของครอบครัวไปด้วย นี่เองอาจเป็นเหตุผลส่วนหนึ่งในการตัดสินใจครั้งนั้น นั่นเพราะสิ่งที่น่ากังวล คือปฎิกริยาจากอดีตสหายรักร่วมสาบาน จมื่นไวยวรนาถ ซึ่งขณะนั้นได้รับการโปรดเกล้าให้เป็นพระยาสุรศักดิ์มนตรีแล้ว
เมื่อพระองค์เจ้าปฤษฎางค์แยกกับคณะของสมเด็จพระเจ้าน้องยาเธอ เจ้าฟ้าภาณุรังสีสว่างวงศ์ที่ฮ่องกงแล้ว ศรีได้เดินทางมาพบพระองค์ที่นี่ ก่อนที่เธอจะแยกตัวเดินทางไปยังพนมเปญ เพื่อขอความช่วยเหลือจากญาติ คือพระยามนตรี ผู้ทำงานใกล้ชิดสมเด็จพระนโรดมพรหมบริรักษ์ กษัตริย์ของกัมพูชา ก่อนที่อีกราวหนึ่งเดือนต่อมา พระองค์เจ้าปฤษฎางค์จะเสด็จมุ่งหน้าไปยังไซ่ง่อน ที่เวียดนาม
มีความพยายามที่พระองค์เจ้าปฤษฎางค์ทรงของานทำจากกษัตริย์นโรดมแห่งกัมพูชา ในตำแหน่งผู้บังคับการในกรมอาลักษณ์ แต่เมื่อฝรั่งเศสรู้ระแคะระคายจึงสั่งให้กษัตริย์นโรดมทรงระงับเรื่องนี้ เพราะความหวาดระแวงที่อาจเป็นการจุดชนวนความขัดแย้งระหว่างสยามและฝรั่งเศสในอินโดจีน ที่หลายอย่างกำลังเดินอยู่บนเส้นด้าย ฝรั่งเศสจึงให้การจับตาพระองค์เจ้าปฤษฎางค์มากเป็นพิเศษ
เมื่ออินโดจีนฝรั่งเศส และสยามไม่ปลอดภัยอีกต่อไป ในเดือนมีนาคม พ.ศ.2434 พระองค์พร้อมด้วยศรีก็ออกเดินทางไปยังปีนัง นิคมช่องแคบบริติชของอังกฤษ
ที่ปีนัง พระองค์ทรงสมรสกับหม่อมคนใหม่ ซึ่งเป็นพี่สาวหม้ายของเจ้าเมืองภูเก็ต อย่างไรก็ตามเรื่องราวของสตรีนางนี้ก็ไม่กระจ่างชัดนัก เพราะพระองค์ไม่เคยเอ่ยถึงภรรยาคนนี้เลยไม่ว่าจะในบันทึกใด ๆ
เดือนกรกฏาคม 2434 พระองค์เจ้าปฤษฎางค์ได้รับการว่าจ้างจาก แฟรงค์ สเว็ตแนม (Frank Swettenham) เจ้าหน้าที่รัฐบาลอาณานิคมอังกฤษประจำเปรักให้เข้าทำงานวิศกรรม ด้านการสร้างถนน และพำนักอยู่ที่เมือง ปอนโต๊ะตันหยง (Pondok Tanjung) ในเปรัก
ตลอดเวลา 5 ปี กับการทำงานในรัฐบาลอาณานิคมอังกฤษ พระองค์เจ้าปฤษฎางค์ไม่เคยทรงละทิ้งเป้าหมายในการบวชเป็นภิกษุเลย
กระทั่งในปี พ.ศ.2439 พระองค์ทรงตัดสินพระทัยลาออกจากงานในอาณานิคมอังกฤษที่เปรัก เพื่อทำตามสิ่งที่พระองค์ทรงมุ่งมั่น
17 ตุลาคม พ.ศ. 2439 พระองค์ทรงส่งจดหมายพร้อมด้วยห่อธูปเทียนถวายแด่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว โดยขอให้ราชเลขานุการนำธูปเทียนนั้นวางแทบพระบาทพระมหากษัตริย์ เพื่อขอพระบรมราชานุญาตอุปสมบท ก่อนจะลงเรือกลไฟมุ่งหน้าสู่ศรีลังกา หันหลังให้กับศรี และหม่อมภรรยาใหม่ โดยทั้งสองก็ไม่เคยถูกกล่าวถึงอีกเลยนับแต่นั้นมา