記事・開発ノート
実装ガイド、設計の考え方、トラブルシュート。前提とコードから探す。
記事・開発ノート
ディープラーニング入門:データから関数を学ぶ仕組み
ニューロン、層、損失、勾配、逆伝播。小さなネットワークにXORを学ばせながら、ディープラーニングが「学ぶ」仕組みを短く整理する。
LLMはどう動くか:次のトークンを予測する仕組み
トークン、確率、温度、コンテキストウィンドウ。おもちゃのモデルを動かしながら、LLMが答えを作る流れと、間違える理由を整理する。
Transformerの中身をのぞく:attentionを手で計算する
LLMの中で、次のトークンの確率を計算しているTransformer。全体の構造と、中心のattentionを小さなコードで実際に計算して確かめる。
LLMモデルの全体像:種類と選び方
クラウドのAPIと公開モデル、大きさ、MoE、思考、マルチモーダル、役割。たくさんあるLLMモデルを、何で分けて、どう選ぶかを短く整理する。
Claude Codeに.envを読ませてみた:denyを書いても、grep -r と Python では漏れた
偽の鍵を置いた.envを、Claude Codeに実際に読ませた実験。CLAUDE.mdは守られ、Readのdenyはcatを止めたが、grep -rとPythonは素通り。全部止めたのはサンドボックスだけだった。
"👨👩👧" の長さは、JavaScriptで8、Pythonで5、Rustで18、Swiftで1:文字数を数えるだけなのに
同じ文字列なのに、言語ごとに「長さ」が違う。𠮷野家、国旗、家族の絵文字を、4つの言語で実際に数えて、理由と、壊れない扱い方を確かめた。
ローカルLLM入門:自分のPCでモデルを動かす
ローカルLLMとは何か、クラウドAPIと何が違うのか。メモリの見積もり、量子化、Ollamaでの動かし方、向いている用途までを整理する。
ローカルLLMを本格的に動かす:大きなモデルとKVキャッシュ
重み以外に必要なメモリ(KVキャッシュ)の計算、複数GPUへの分割、MoE、同時利用、サーバー用ツールの選び方を整理する。
手元の文書に質問できるシステムを作る(ローカルLLM × RAG)
文書を分割し、関連部分を検索して、ローカルLLMに渡して答えさせる。依存パッケージなしのPythonで、社内文書向けの質問システムを作る。
社内文書Q&Aを本番で動かす:権限・更新・評価・運用の設計
文書に質問できるRAGを、複数人が使う本番の仕組みにする。取り込みの差分更新、権限での絞り込み、検索の改善、評価、運用までの設計をまとめる。
個人開発・スタートアップ向けのスタック:小さく作って、運用を軽くする
少人数で作って、少人数で運用し続けるための技術選びを、実際に動かしているWebアプリの構成(React Router、Cloudflare Workers、D1、Clerk)を例に整理する。
Colabで試すLLM:無料のGPUで、モデルを動かしてみる
自分のPCにGPUがなくても、Google Colabの無料のGPUでLLMを動かせる。OllamaとTransformersの2通りの動かし方と、使える範囲、禁止されていること、メモリの見積もりを整理する。
Cloudflare Workersから自前のPostgreSQLを使う:ポートを開けずにつなぎ、1台を複数のサービスで分ける
全文検索とベクトル検索が要るので、Workersのサイトから、VM上のPostgreSQLを使う構成にした。Hyperdrive、Workers VPC、Tunnelでつなぎ、ロールで負荷を分け、バックアップとバッチをVMに置いた記録。
UNION ALLの上でIN (サブクエリ)を書いたら、57万行を歩いた:PostgreSQLの見積もりと、= ANY(ARRAY(...))
2つの表をUNION ALLで1つに見せたら、品番検索が4秒かかるようになった。手元で再現すると、INのせいで、プランナーが人気順の索引を全部歩いていた。見積もりの数字を読んで原因を確かめ、= ANY(ARRAY(...))で0.3 msに戻した記録。
AIエージェントに本番を触らせない分担:コードはAI、マージと本番と秘密は人
Claude Codeと一緒に、データベースの変更から本番のデプロイまでを進めた記録。AIはコードと手元の検証、人はマージと本番の実行と秘密の入力、という分担にして、実際に起きた失敗と、それでも事故にならなかった理由をまとめる。