1876年中举人,1877年随驻日大使何如璋出使日本,曾被日本历史学界称为中国“最有风度、最有教养的外交家”。驻日期间,撰写《日本国志》(1887年成书),全书共四十卷,五十余万字,详细论述日本变革的经过及其得失,借以提出中国改革的主张。驻日期间,针对日本于1875年派兵占领琉球,建议对日本采取强硬的政策和立场。1882年,调任驻美国旧金山总领事。适逢美国议院制订了《限制华工条例》15条,旧金山侨民深受其害,多名侨民被当地政府以“不卫生”为借口而被捕入狱。此前,黄遵宪就此已向清政府提出对策,但未被采纳。因此,他只能在自己职权范围内,尽力保护中国侨民。他在视察旧金山华工聚住地之后,亲自探望关押华工的美国监狱,并叫随从丈量监牢面积,责问美国人:“这里人多地窄、空气污浊,难道监狱里的卫生条件要比华侨的住处好吗。”经过黄遵宪的努力,被拘捕的华侨被全部释放。黄遵宪动用国际法,争得了总领事给华工签发执照的权利。从此,华工来往中美之间,有法可依。