Geboren wurde er in Minden, fußballerisch ausgebildet in Hannover und in Wolfsburg, wohin er im Alter von 14 Jahren gewechselt war. Im Nachwuchsleistungszentrum des VfL durchlief er die U17, die U19 und die U23. Im Sommer 2021 meldete der VfL seine U23 ab, und Pohlmann fand in der U23 von Borussia Dortmund eine neue Mannschaft. „Ole ist ein flexibler Offensivspieler mit hohem Entwicklungspotenzial. Er wird uns sofort weiterhelfen“, sagte U23-Teammanager Ingo Preuß nach dem Wechsel.
Zwei Jahre und 68 Drittligaspiele (fünf Tore, zehn Vorlagen) später unterschrieb er im Juni 2023 seinen ersten Profivertrag. Nachdem er in der Spielzeit 2022/23 schon Teile der Saisonvorbereitung der Bundesliga-Mannschaft sowie die Asienreise des Klubs mitgemacht hatte, rückte er zur Saison 2023/24 auf. „Ich bin überglücklich, dass ich die Chance beim BVB bekomme und meinen Profivertrag unterzeichnen durfte. Ich werde weiterhin jeden Tag Gas geben, bedanke mich bei allen, die mich bis hierher unterstützt haben, und hoffe, hier eines Tages mein Bundesligadebüt feiern zu dürfen.“