嘉靖元年（1522）8月14日，广州官员给这些葡萄牙人上了枷锁，其中给皮列士上的是手枷，其余的人则被上了手枷和脚镣，他们被串起来送往按察司的监狱。由于刑具过于沉重，罪犯的手臂肿胀，脚踝也都受了伤。在这里，首次有使团成员死亡。之后更多人陆陆续续地因为刑具、刑罚而死去。嘉靖三年5月，皮列士本人病死，其随从中只剩下两人还活着。
更富戏剧性的是，皮列士使团中有一位叫作克利斯多弗·维埃拉的人，也是剩下两位中的一位，他设法从监狱中送出一封信，这封信就成为记述葡萄牙人在狱中遭遇的最好材料。同一时期，随着皮列士使团被捕和葡萄牙船只被禁止前往中国，中国还掀起了一阵对抗葡萄牙人的风潮，除了上面提到的两次海战之外，对于一般的葡萄牙商船也采取了俘获和逮捕的措施。另一位叫作瓦斯科·卡尔渥的葡萄牙人在正德十六年（1521）乘船来到中国，被俘虏后也写了一封信，讲述了当时的情况。