cnnmmd

概要

各種アプリをつなぐツール群の、サンプル集です。

サンプルには、チャット向けのツール群、自律キャラ向けのツール群、エージェント向けのツール群、ネットワーク構築向けのツール群、などがあります。

モジュール群をライブラリ化しているので、自分でコードを生成するときの、参照リソースのひとつとしてご利用ください。

対象

次の方に向けたサンプル集です：

・

コードを自分で生成する方［※１］［※２］

※１

このサンプルは、（コードを読めば分かる）開発者向けでもなく、（ツールを使うだけの）利用者向けでもありません。

※２

いまは文章生成モデルを使うことで、コードの作成からマシンの設定まで、すべて自分で行えます。とはいえ、そこに決まった方針がなければ、生成を続けるほど、様式がバラバラになり保守も難しくなっていきます。しかし、生成者が、それをどのような方針で行ったかを明示すれば、ほかの生成者と、そのレベルでの対話ができるようになるかもしれませんーーこれは生成時代における、リソース共有の試みのひとつです。

資源

次のツール群のサンプルがあります：

・

チャット向けのツール群［※１］

・

自律キャラ向けのツール群［※２］

・

エージェント向けのツール群［※３］

・

ネットワーク構築向けのツール群［※４］

※１

各種キャラクタ（仮想（2D 画像～3D モデル、ウェブブラウザ／デスクトップ／VR／MR）〜現実（ドール／フィギュア））と、各種 AI エンジン（音声認識／音声合成／文章生成／感情分析／物体認識、ローカル／リモート／クラウド）を、結びつけます。

※２

強化学習（2D 〜 3D、古典的な最適化／二足歩行）と進化計算（パーツ間の協調の最適化）の環境を提供します

※３

各種プログラミング言語の実行、各種ドキュメントの変換、各種データベースの検索、ベクトルデータの作成と検索、ウェブブラウザの自動実行、を提供します。

※４

各種インターネットサーバ（ネーム／メール（送信／受信）／ウェブ／プロキシ）と、そのクライアント群を提供します。また、GUI クライアント向けに、Ｘウィンドウ環境を提供します。

モジュール群は、次のようにライブラリ化しています：

・

動作環境の分離、通信の一元化［※５］

・

容易なカスタマイズとプラグイン作成［※６］

・

利用シーンに応じた柔軟な構成［※７］

※５

コンテナを導入することで、環境の競合を防ぎます。コンテナ間の通信は、中継サーバを導入し、サーバ〜クライアント方式にします。

※６

カスタマイズのレベルにより、静的ライブラリ／動的ライブラリ／動的コード生成を導入します。各プラグインの独立性も、名前空間で保証します。

※７

依存関係を視覚化した GUI ベースの利用、および、反復処理なども行える CLI ベースの利用を、状況に応じて選べるようにします。

環境

現時点で、次のキャラクタ群と AI エンジン群の接続を検証済みです：

○

キャラクタ群（＝クライアント側のデバイス＋アプリ）

・

ワークフロー上（ComfyUI）
　＋　携帯端末＋ OS （iOS / Android）／ PC ＋ OS（Windows / macOS / Linux）

・

ウェブブラウザ
　＋　携帯端末＋ OS（iOS / Android）／ PC ＋ OS（Windows / macOS / Linux）

・

デスクトップ・アプリ（Electron）
　＋　PC ＋ OS（Windows / macOS / Linux）

・

ゲームエンジン（Unity）
　＋　PC ＋ OS（Windows / macOS）

・

VR／MR アプリ（Unity / Virt-A-Mate）
　＋　VR／MR 機器（Quest）＋ PC（Windows）

・

マイコン：ベアメタル（M5Stack）
　＋　LCD／マイク（M5Stack）

・

フィギュア（ねんどろいどどーる）
　＋　マイコン：ベアメタル（M5Stack）＋マイク／カメラ／スピーカ／モータ（M5Stack）

○

AI エンジン群（＝AI 関連のモデル稼働／サービス利用）

・

音声認識モデル：
・ローカル（Transformers: wav2vec2-large-japanese / OpenAI: Whisper / Moonshine Voice）
・サービス（OpenAI: Whisper）

・

音声合成モデル：
・ローカル（VOICEVOX / Style-Bert-VITS2 / MioTTS-Inference / Irodori-TTS）
・サービス（NIJI Voice [API]）［※１］

・

文章生成モデル：
・ローカル（llama.cpp: (gpt-oss / Gemma 3n / Gemma 4) / Transformers: Vecteus-v1）
・サービス（OpenAI: GPT / NovelAI）

・

感情分析モデル：
・ローカル（Transformers: luke-japanese-large-sentiment-analysis-wrime）
・サービス（OpenAI: GPT）

・

画像生成モデル：
・ローカル（Diffusers: Stable Diffusion / ComfyUI: Stable Diffusion, Anima, ...）［※２］
・サービス（OpenAI: DALL-E / NovelAI）

・

動画生成モデル：
・ローカル（ComfyUI: Wan 2.2, MiniMax H3, ...）［※２］

・

物体認識モデル：
・ローカル（OpenCV: Haar Cascades）

・

強化学習／進化計算の環境：
・ローカル（Gymnasium / Evolution Gym / MuJoCo / Meta Motivo）

・

ステートマシン：言語モデル向け：
・ローカル（LangGraph）

・

ベクターストア作成／検索：
・ローカル（SentenceTransformer）

・

ランタイム環境：言語モデル向け：
・ローカル（llama-server / Ollama）

◯

中継サーバ（＝サーバ間／サーバ〜クライアント間の通信を中継するサーバ）

・

PC ＋ OS（Windows (WLS2 (Linux (Ubuntu)))）
　＋　コンテナ（Docker / Docker Desktop）

・

PC（Mac）＋ OS（macOS）
　＋　コンテナ（Docker Desktop）

・

PC ＋ OS（Linux (Ubuntu)）
　＋　コンテナ（Docker）

・

マイコン（Raspberry Pi）＋ OS（Linux (Ubuntu)）
　＋　コンテナ（Docker）

○

実行基盤（＝プログラム／ドキュメント／データベース／インターネット基盤）

・

プログラム実行のサンドボックス：
・ローカル（RISC-V / Bash / Haskell / Prolog / Ruby / Scheme / Python + PyTorch / TypeScript）

・

ドキュメント変換／データベース検索のサンドボックス：
・ローカル（pandoc (Markdown, HTML, TeX, PDF, DOCX, ...) / tidy (HTML) / xsltproc (XML/XSLT) / jq (JSON) / python:rdflib (RDF/SPARQL) / sqlite3 (RDB/SQL)）

・

インターネット・サーバ群：
・ローカル（Bind / Postfix / Dovecot / Apache / Nginx）

・

インターネット・クライアント群：
・ローカル（CLI / GUI (Thunderbird / Firefox)）

・

Ｘウィンドウ・システム：
・ローカル（X Window server & RDP client / X Window clients）

・

ウェブブラウザの自動実行環境：
・ローカル（Playwright）

※

キャラクタ群（＝キャラクタが動作するデバイス＋アプリ）は、画像／映像／3D／VR／MR／フィギュアなど、仮想から現実までの媒体との接続を検証しています。AI エンジン群（＝AI 関連のモデル稼働／サービス利用）は、CPU／GPU での稼働と API 呼び出しに対応した、音声認識／音声合成／文章生成／感情分析／画像生成／物体認識を試しています。それらをつなぐ中継サーバは、パソコンからマイコンまでの環境で動作します。

※

クライアント群／サーバ群／エンジン群のコードは、あくまでサンプルとして提供しています（十分な動作を保証するものではありません）ーーこのツールは、中継サーバのハンドラ群と、そのワークフロー（＝ハンドラ群をノードとしてつなぐフロー）の作成を提供するものです。

※１

Niji VoiceのAPI 利用ハンドラは、学習元（音声）の権利関係が不明となったと考えるので、リポジトリから削除しました（2025.11.08）：

・

https://x.com/JAU_Official/status/1986664719441404392

※２

ComfyUI による画像・動画生成は、モデル群をダウンロードし〜（公式サンプルなどの）ワークフローを適用することで（また必要なら、任意のカスタムノード群を加えることで）、任意の生成モデルを使うことができます。