《异鱼图》是赵之谦在温州期间完毕的系列著作之一，此前他还画了《瓯中草木图》(四屏)和《瓯中物资卷》，并且据赵之谦自署“瓯中物资第一本”估测，此类著作原计划或许不只这三件。咸丰八年(1858)赵之谦脱离驻防常山的缪梓军中，完毕了他随从缪梓的幕僚生计，返回绍兴老家，并于次年八月在浙江乡试中得中举人。咸丰十年(1860)三月，太平军攻陷杭州，时任浙江盐运使兼按察使的缪梓在城破之后力战而死，一同殉节的还有出名的画家戴熙和“西泠八家”之一的钱松。而此刻的赵之谦，或许正在赶往北京参与春闱的路上。其北行为战乱所阻，匆忙奔归，回到浙江时杭城已破，不得现已澉浦由海路至余姚得返绍兴老家。赵之谦世居绍兴，与浙北杭、嘉、湖三府皆为经济文明兴盛的江南内地，关于其时景象悬殊、地处浙南的温州并不熟悉。咸丰十一年应友人之邀前往温州，应是为一家十口人的生计所迫。避乱归乡的赵之谦境况困顿，行至处州(今浙江丽水)现已资斧阻隔，甫抵温州便要向友人举债度日。而依据江弢叔“时撝叔方佐东瓯戎幕”的说法，赵之谦此行在温州仍重操旧业担任幕僚。在太平天国运动中，浙江各府相继被攻陷，唯有温州逃过，虽然也遭到金钱会的冲击，但全体形势还算安稳。因而，赵之谦游走于温州瑞安、永嘉等地的戎幕日子虽依然困顿，相较于浙江其它各府战乱频仍的状况，却也称得上是“邑小官事闲”。