C/Visual C - ¿Que requiere una libreria 2d?

Estoy estudiando c y la cosa es cada vezx mas compleja, eventualmente voy a querer hacer un libreria 2d para mis proyectos (juegos generalmente) hay va mi pregunta.

¿Que necesito saber para poder hacerlo?¿Comprender como funciona la grafica,el S.O u otra cosa?
¿Algun libro en el que pueda empezar?(Estoy estudiandolo todo sobre programacion de libros)

No estoy hablando de librerias de terceros sino PROPIOS con esto me refiero a openGL entre otros

Muchas gracias

Cuanto más profundices en el tema, más te convencerás de la conveniencia de usar alguna "librería de terceros".

Lo primero que tienes que tener claro es que si lo vas a hacer todo por tu cuenta, será muy, muy difícil que tengas accesible directamente el buffer de pantalla, así que tendrás que ver qué te ofrece el S.O. en el que quieras hacer tu librería.

Tendria que ver por parte del S.O?
Lo de las librerias propias es a bajo nivel ¿me equivoco?