Chat with RTXをMacから使いたい

Chat with RTXを構築したのは良いが、それはつよつよマシンなのでいちいちMac / Winを切り替えるのはだるい。

で、Chat with RTXを起動する時に「share=Trueをlaunch()に追加しろ」とあるのだけれど、これはStable Diffusion同様にgradleを使ってプロキシするもので、相変わらずクソほど安定しない。

ちょっとコードを追いかけたところ、

C:\Users\{Your user dir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py

に以下のコードがあるので、

        interface.launch(
            favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
            show_api=False,
            server_port=port

以下のように変える。

        interface.launch(
            favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
            show_api=False,
            server_name="0.0.0.0",
            server_port=8081

あと、_validate_request()に

        if session_key == None or session_key != self._secure_cookie:
            raise 'session validation failed'

というチェックが入ってるが、ローカルなんで要らん。（いや、_validate_request()の先頭で、return Trueしても良いけど）

        #if session_key == None or session_key != self._secure_cookie:
            #raise 'session validation failed'

そしたら、Windowsのファイアウォールで（上の設定例なら8081/tcp）をオープンしてやれば、Chat with RTXにLAN内からアクセスできる。

ポートオープンの方法も、学習させたデータの中に含まれてたwww

関連