আ. রহিম ১৯৯৮ সালে রূপালী ব্যাংকে সিনিয়র অফিসার হিসেবে যোগদানের মাধ্যমে ব্যাংকিং ক্যারিয়ার শুরু করেন। কৃষি ব্যাংকে যোগদানের পূর্বে তিনি রূপালী ব্যাংকের ছয়টি শাখা কার্যালয়সহ একাধিক করপোরেট শাখায় দায়িত্ব পালন করেন। একই ব্যাংকে চারটি বিভাগীয় কার্যালয়ের দায়িত্ব পালনসহ ঢাকা উত্তর অঞ্চলের জোনাল হেড এবং প্রধান কার্যালয়ের পরিকল্পনা ও গবেষণা বিভাগের প্রধান হিসেবেও দায়িত্ব পালন করেন তিনি। বর্ণাঢ্য কর্মজীবনে তিনি আমানত সংগ্রহে আর্থিক পুরস্কার ও শ্রেষ্ঠ শাখা ব্যবস্থাপকের পুরস্কার অর্জন করেন।
তিনি ঢাকা বিশ্ববিদ্যালয়ের ভূগোল ও পরিবেশ বিভাগ থেকে বিএসসি (অনার্স) ও একই বিভাগ থেকে এমএসসি ডিগ্রি অর্জন করেন। পেশাগত জীবনে তিনি কৃতিত্বের সঙ্গে ব্যাংকিং ডিপ্লোমা সম্পন্ন করেন। তার জন্ম মানিকগঞ্জ জেলার সিংগাইর উপজেলায়।