¿Las semivocales se refieren a letras o símbolos fonéticos en las palabras?

Las semivocales se refieren a símbolos fonéticos

Fonéticamente hablando, se refieren a sonidos en fricativas con un flujo de aire más débil y menos fricción, entre vocales y consonantes.

Por ejemplo, Yy en inglés es una letra semivocal. A veces puede ser una vocal y otras veces una consonante.

Semivocal: segmento no silábico que tiene las características fonéticas de una vocal pero desempeña el papel fonológico de una consonante, normalmente una deslizada. ("Diccionario de Fonética y Fonología")

Semivocales: Funcionalmente similares a las consonantes, pero carecen de las características de pronunciación habituales de las consonantes (como fricción u oclusión), y fonéticamente hablando, su calidad de sonido es la de una calidad del sonido de la vocal, pero debido a que en realidad ocurre en la posición límite de la sílaba, la duración del sonido es mucho más corta que la de una vocal típica. Ejemplos comunes en inglés son [w][j], como mojado "mojado" y aún "sin embargo". Algunos fonetistas consideran este tipo de sonido como un tipo de sonido no africado. ("Diccionario de Lingüística Moderna")

Las semivocales no son vocales ni consonantes.