Han var en apostolisk fader, vilket innebär att han var elev till en av Kristi ursprungliga lärjungar, och han var känd av andra viktiga personer i den tidiga kristna kyrkan, däribland Irenaeus, som kände honom som ung, och Ignatius av Antiochia, hans kollega i den östra katolska kyrkan.

Bland hans efterlämnade verk finns ett brev till filippierna, där han citerar aposteln Paulus, och en del av dessa citat återfinns i Nya testamentets böcker och i apokryferna. Polykarps brev har använts av forskare för att identifiera Paulus som den trolige författaren till dessa böcker.

Polykarp ställdes inför rätta och avrättades som brottsling av det romerska imperiet år 155 e.Kr. och blev den 12:e kristna martyren i Smyrna; dokumentationen av hans martyrskap är ett viktigt dokument i den kristna kyrkans historia.