Buueno, esto puedes enfocarlo desde varios puntos de vista para resolverlo, yo te aconsejo que siempre uses la lógica de lo que pasaría en el mundo real, pues los resultados serán siempre mas realistas.
Lo primero que yo haría es mirar si es posible setear la velocidad angular a cero, si es posible hazlo, con esto el objeto no debería girar.
Lo segundo que puedes hacer es crear un join extra, para agarrar al objeto por 2 puntos, con esto es seguro al 100% que te va a funcionar, osea, cuando haces click creas un join con el mouse, pues en tu caso, si el objeto es de un tipo concreto, has de crear 2 joints, así es como puedes solucionarlo