Comenzó a tocar en bandas de fiestas inclinándose rápidamente por el naciente género del jazz fusión, formando la banda Igginbottom en 1969. Pasó por varias bandas de rock progresivo y jazz como Tempest, Nucleus y Soft Machine, para posteriormente formar parte de la segunda versión de la banda del virtuoso baterista ex Miles Davis, Tony Williams: The Tony Williams New Lifetime, en 1975. Es a partir de su participación en esta banda como se da a conocer en el medio jazzístico por su estilo innovador. Posteriormente, pasó a formar parte de Gong y se editó un disco solista no autorizado por él, Velvet Darkness, con músicos como Narada Michael Walden, Alphonzo Johnson y Alan Pasqua. A finales de los setenta formó parte de las bandas de Jean-Luc Ponty (ex Zappa), UK (con Bill Bruford, John Wetton y Eddie Jobson) y Bruford (con Jeff Berlin y Dave Stewart).

Después de un período oscuro tocando ocasionalmente en bares con Steve Topping, Paul Carmichael y Gary Husband, nace el proyecto I.O.U. en 1980. Este proyecto tenía la intención de ser la banda de solista de Holdsworth, con la que grabó un álbum homónimo considerado de culto. Por estas fechas, Holdsworth se sumió en un período de depresión por la baja popularidad que alcanzaba su música debido a que era, según él, "muy roquero para las emisoras de jazz, y muy jazzístico para las emisoras de rock". Al cabo de un par de años, Eddie Van Halen le hace publicidad en Warner Brothers, iniciando con esto la grabación del álbum Road Games con músicos de talla mundial como Chad Wackerman (Zappa), Jeff Berlin (Bruford) y Paul Williams (Tempest). Holdsworth se siente ofendido por la presión creativa ejercida por el productor de Van Halen, Ted Templeman, por lo que decide no firmar con una casa disquera grande jamás. El disco rápidamente se convierte en objeto de culto, siendo nominado para el premio Grammy pese al bajo tiraje. Decide reformar I.O.U. con Wackerman y Williams, sumándose en el bajo Jimmy Johnson.

De esta banda surge el disco Metal Fatigue (1985), que es considerado aún el álbum más popular de Holdsworth a la fecha. A éste le siguió Atavachron (1986) ya con el uso de la Synthaxe, un instrumento electrónico semejante a una guitarra, pero con la posibilidad de manejar el tono con el aliento. Todos sus álbumes usan este instrumento, por el cual Holdsworth es reconocido ampliamente. Holdsworth editó un par de álbumes en directo: All Night Wrong (2003) y Then! (2005, pero grabado en 1990). Dentro de su catálogo se incluyen tres videos: I.O.U. Live in Japan (1985), Just For The Curious (1991) y Live At The Galaxy Theater (2000).

Allan Holdsworth, participo en un sinfín de álbumes de diversos estilos, que van desde el jazz tradicional, el free jazz, el acid jazz, la música electrónica y hasta el metal progresivo. Su vida se apago el 16 de abril de 2017, seguramente ahora lo extrañaremos mas que nunca pero su musica vivira por siempre.