宪宗元和十年(815)春,他们这一批人在十年之后,终于有机会回京。旋又因为别人反对,外放为更远一些的州任刺史。官位虽提了一级,任所却较原来更远。柳宗元外放柳州刺史,柳柳州之名即缘于此,刘禹锡外放播州刺史。柳州位于广西中部,而播州位于四川、贵州、湖北间,山川险要,环境恶劣,非人所居。柳宗元考虑到刘禹锡高堂尚在,万无母子一同前往的道理,而赡养老母与山高路远之间,形成矛盾。因此,柳宗元向朝廷提出,愿以柳州易播州。尽管刘禹锡后来在御史中丞裴度的帮助下,改任连州刺史,没有换成,但由此也可见出柳宗元的雅量高怀。
公元819年11月28日,柳宗元卒于柳州任所,时年46岁,算是英年早逝。柳宗元一步走错,连累往后的岁月,政治上极不得志,或许这也成就了他的文章盛名。