自1918年11月波兰重返独立起到1922年，毕苏斯基一直是波兰的“国家元首”。1919年至1921年间，他在波苏战争中统领波兰军队。1923年，以民族民主党为主的反对派控制波兰政府，这时毕苏斯基淡出政坛。三年后的1926年5月，他发动政变，并重新回到权力中心，成为波兰“事实上的”独裁者。一位法西斯意大利驻华沙大使称他是“掩藏在旧世界骑士外表之下的自由民主主义者”。毕苏斯基自政变到1935年逝世为止一直集中精力于波兰的军事和外交领域。
在去世前的三十年间，毕苏斯基通过两种互补的策略让波兰更为安定（但他对这两种政策的强调程度随时间的变化而变化）：一是“普罗米修斯计划”，其目的是接连将俄罗斯帝国及其后继者苏联分裂为若干国家；二是“海间联邦”，这个联邦的成员为波兰及其邻国。虽然毕苏斯基的不少政策还留有争议，但他的想法还是得到了他的同胞的很高评价，并一直沿用到他逝世至少30年后。

他的家族对俄罗斯的俄化政策很是不满。年轻的约瑟夫非常不愿意参与俄罗斯东正教会的宗教仪式，最终带着不满离开学校，这份不满不只针对沙皇和俄罗斯帝国，也针对他非常熟悉的那种文化。
1885年，毕苏斯基在哈尔科夫大学（位于乌克兰哈尔科夫）学习医学，在那里他参加了民粹派组织人民意志。1886年，他被禁止参加学生游行运动。有人将毕苏斯基的政治背景告诉给多尔帕特大学（位于爱沙尼亚塔尔图）的权力机关，故该校拒绝将他录取。1887年3月22日，他以与维尔纽斯社会主义者密谋暗杀沙皇亚历山大三世的罪行遭到俄罗斯当局逮捕。事实上，是他的哥哥布罗尼斯瓦夫参与暗杀沙皇的计划，而毕苏斯基与此事的关系也不过如此。布罗尼斯瓦夫被处以在东西伯利亚强迫劳役的处罚。

流放至西伯利亚时，他遇到了很多与他相同命运的波兰人，其中包括几乎成为1863年1月起义领袖的布罗尼斯瓦夫·什瓦尔采。俄罗斯当局允许他自主选择工作，他便依靠教授儿童数学和外语维持生计（他能讲法语、德语、立陶宛语、俄语、他的母语波兰语；他后来学了英语）。地方政府认定，毕苏斯基作为波兰贵族，不能和其他大部分流放者那样，享有领取10卢布抚恤金的权利。

1899年7月15日，毕苏斯基与他的女同行玛利亚·尤什凯维乔娃·“内”·科普莱夫斯卡结婚根据毕苏斯基的首席传记作者瓦茨瓦夫·延德热耶维奇的说法，这场婚姻实际上政治色彩比浪漫色彩浓。两人都积极参与社会主义运动与独立运动。《工人报》最早的印刷处并不是在罗兹，而是在两人位于维尔纽斯的公寓。操持日常家庭生活的借口使他们的住处免受怀疑。俄国的法律也保护妻子免受丈夫非法活动的牵连。他俩的感情在几年后开始恶化，因为毕苏斯基开始与另一位年轻的女社会主义者，亚历桑德拉·什切尔宾斯卡发生关系。玛利亚在1921年逝世，那年10月，毕苏斯基与亚历桑德拉结婚。亚历桑德拉后来生下两个女孩，婉达和雅德维加。他们的婚事也遇到了麻烦。

1900年2月，在俄方当局发现位于罗兹的《工人报》的地下印刷机后，毕苏斯基被囚禁于华沙城堡。但是，他在1901年5月假装患有精神病保外就医，并在波兰医生瓦迪斯瓦夫·马祖尔凯维奇和其他人的帮助下，逃到奥匈帝国的加利西亚。此时，俄属波兰和立陶宛所有党派与俄罗斯帝国关系缓和，并将目标定在与帝国开展关于提高波兰自治权的谈判，在这种情况下，毕苏斯基的波兰社会党成为了唯一一个准备为波兰独立而与帝国一战，并以武力达成这个目标的政治力量。

1904年夏日俄战争（1904年-1905年）爆发，毕苏斯基来到日本东京，在那里他试图让日本援助波兰革命，但这个目标未能达成。毕苏斯基愿意为日本提供情报，以支持它与俄罗斯的战争，并提议成立波兰军团，征召被日军俘虏的俄军中的波兰人。他也提出了以让俄罗斯民族分裂为目标的“普罗米修斯计划”——后来，他也继续推行这个计划。另一位有名的波兰人，罗曼·德莫夫斯基也来到日本，他不赞成毕苏斯基的计划，并认为这个“波兰革命”必定会失败，在那里他要阻止日本政府支持波兰革命。德莫夫斯基，这个波兰爱国者，会成为毕苏斯基一生的主要政敌。最后，毕苏斯基在日本所得到的远远低于他的期望，波兰社会党及其军队仅获得枪支弹药，而组建波兰军团的建议则被回绝。
1904年秋，毕苏斯基建立了一个准军事团体（波兰社会党战斗团，或称为bojówki），来发动反抗俄罗斯统治的武装起义。社会党在华沙等地组织的游行示威越来越多；1904年10月28日，俄罗斯哥萨克骑兵镇压了一次游行示威事件，作为报复，在11月13日的游行中，毕苏斯基的军队向俄警察和军队开火。这个团体最开始集中精力于间谍和情报人员，到了1905年3月，他们便开始用炸弹暗杀指定的俄罗斯警官。

和民族民主党不一样，毕苏斯基要求波兰社会党拒绝参加第一杜马的选举。这个决定和他要通过武力让波兰独立的决心使波兰社会党处于紧张的状态中，波兰社会党最终在1906年11月脱离毕苏斯基的领导。他的派系开始被称为“旧派”或“革命派”（“Starzy”或“Frakcja Rewolucyjna”），而他的反对派则称为“新派”、“现代派”或“左翼”（“Młodzi”，“ Frakcja Umiarkowana”，“Lewica”）。“新派”同情波兰王国与立陶宛的社会民主主义者，而且相信自己的重心应放在与俄罗斯革命者合作上，他们应一起推翻沙皇的统治并建立社会主义的乌托邦，这些“新派”认为这样做会减少独立协商的困难。

毕苏斯基预料到一场欧洲大战将要爆发，并预感到组织未来的波兰军队核心的必要性，这个核心将会帮助波兰在18世纪被三个帝国瓜分灭亡后，重新赢得独立。1906年，在奥地利当局的默许下，毕苏斯基在克拉科夫成立一座军校，用以训练准军事性质的军队。就在1906年，800名士兵五人一组在波兰会议王国杀死了336名俄方官员；在后来的几年中，他们的人员伤亡情况减少，而军队规模在1908年增长到2000多人。

这支军队也切断了俄方当局从波兰通往其他地方的资金流。在1908年9月26日和27日之间的夜里，他们劫持了一辆邮政列车，这辆列车是俄罗斯用以将税款从华沙运输到圣彼得堡的。参与贝兹达尼突袭的毕苏斯基就是通过如此“征收钱款”来为他的秘密军队提供资金。他们通过劫掠得到的财富（200,812卢布）在那时算得上一笔巨款，相当于这个军队前两年的全部收入。

1908年，毕苏斯基将他的军队更名为“战斗协会”（Związek Walki Czynnej，简称ZWC），由他的亲信瓦迪斯瓦夫·斯科尔斯基、马里安·库凯尔和卡齐米日·索斯恩科夫斯基领导。建立战斗协会的主要目的之一就是为未来的波兰军队训练军官与士官。1910年，两个合法的军队组织分别在奥属波兰的利沃夫和克拉科夫成立，以进行军事学方面的训练。在奥方当局的许可下，毕苏斯基成立了一系列“体育俱乐部”，这就是后来的步兵协会，这个协会为训练波兰军队提供场所。1912年，毕苏斯基（使用假名“梅奇斯瓦夫”）成为步兵协会（Związek Strzelecki）的总司令，这个协会的人数到了1914年，已经增长到了12000人。1914年，毕苏斯基提出，“现在只有剑才能够决定国家的命运。”

1914年，毕苏斯基在巴黎的一次会议上预言道：一场大战即将爆发，而这将是波兰光复的时机，俄罗斯必将被同盟国（奥匈帝国和德意志帝国）击败，而后者也将会被法国、英国和美国打败。相比而言，毕苏斯基的对手罗曼·德莫夫斯基则认为，让波兰统一，独立的最好办法就是支持协约国与同盟国作战。 一战爆发后的8月3日，毕苏斯基在克拉科夫组建一支小型精锐部队，即第一精锐连，其成员来自于步兵协会和波兰步兵小队。同一天，瓦迪斯瓦夫·贝利纳-普拉日莫夫斯基指挥的一支骑兵队越过俄罗斯边界执行侦查任务，直到此事发生3天后的8月6日，奥匈帝国和俄罗斯才正式宣战。

毕苏斯基的战略是将他的军队向北送往俄属波兰，送往俄军已经撤出的地带，他希望突出重围到达华沙，在那里发动一次民族起义。毕苏斯基利用他有限的兵力，并在开始的几天批准成立子虚乌有的“华沙国家政府”，以此来支持他的计划，他还将奥地利的命令利用到极致，争取主动，继续前进，并在解放的城镇确立波兰式制度，而奥地利人认为他的军队仅仅是帮忙侦查，支持奥地利主力部队而已。1914年8月12日，毕苏斯基占领了凯尔采省的凯尔采，但是毕苏斯基发现，他实际得到的支持要比他想象的要少。

不久，他正式组建波兰军团，并亲自担当第一旅的总司令，他成功地带领第一旅打了几场胜仗。毕苏斯基也在1914年秋秘密地告诉英国政府，他的军团不会同法国或英国作战，只会与俄国作战。毕苏斯基命令，要称军团人员为“公民”（Obywatel），这是在法国大革命中产生的称呼，而他自己则被称为“指挥官”（“ Komendant”）。 毕苏斯基在接下来的几年中得到他的手下对他的极度尊敬与忠诚。直到1917年前，波兰军团都站在同盟国阵营内与俄国作战。同样在1914年，军团成立后不久，毕苏斯基组建了另一个组织，波兰军事组织（Polska Organizacja Wojskowa），这是波兰情报局的前身，用于执行谍报活动和破坏任务。 1916年中期，波兰军团在科斯蒂乌赫努夫卡战役中以至少2000人伤亡的代价延缓了俄国的入侵，之后毕苏斯基要求同盟国保证波兰独立。为此他用他自己和军团很多军官的辞职书做为筹码。1916年11月5日，同盟国声明，波兰是“独立”的，希望以此来增加派往东方战线的波军士兵数，这样的话，同盟国也就能让更多德军投身于西方战线。

毕苏斯基同意到同盟国扶植的波兰王国任职，担任新成立的波兰摄政政府的战争部长；依此身份他应该是波兰王国军队的负责人。1917年俄国革命后，因为同盟国形势的不断恶化，毕苏斯基立场更加强硬，并宣称他的手下不再是“德国殖民军”，且这支部队只用来攻打俄国。他预感到同盟国将要战败，而他自己也并不希望站在战败者的行列。1917年7月，毕苏斯基因为“宣誓危机”事件遭到逮捕并被囚禁于马格德堡，这场危机源于他禁止波兰士兵对同盟国宣誓效忠；波军被解散，其士兵被并入奥匈帝国军队， 而波兰军事组织开始对德国目标发起攻击。毕苏斯基因为遭到逮捕在同胞中名声大噪，很多波兰人开始将他看做最为坚定的领袖，并认为他会誓与三个瓜分波兰的帝国奋战到底。