以前にも何度かやったことがあるのだけど立ち消えになっていた、 w3m の改造を試みている。
w3m はわりと好きなテキストブラウザなのだが、 2011 年くらいの 0.5.3 で開発が終了している様子。
https://github.com/ousttrue/w3m
まずは C++ 化してから、HTML処理などを再入可能にしてタブごとにスレッド独立する方向を目指す。
同時に、 boehm-GC を少しずつ STL のコンテナや std::string に置き換える。
どうも、c++ と boehm-GC の共存するのに技がいるらしく、適当に置き換えていくとメモリ破壊で死ぬ。boehm-GC をすべて置き換える必要がありそう。C++ クラスのメンバーに GC が要る、GC struct のメンバーに C++ クラスが居るの両方に問題があるっぽい。一応、 gc_cleanup を継承したりしているのだけど、やり方がまずいぽい。
改造にあたってなるべく機能を維持しようとしていたのだけど、ある程度わりきって機能を落とさないと手に負えないところがある。
http + https 以外の通信プロトコルは落とす。NNTP とか Gopher 使ったことないしなー、FTPもいったん落とす
backend, dump, halfload 等の出力に介入する機能は落とす。コードを読むのが大変
M17N, COLOR, IMAGE, MENU は残す
Mouse は微妙。削ってもよいかも
GetText も削る
量を減らす。思ったよりコードが多かったのだ。
下準備
msys2 でとりあえずビルド
WSL Ubuntu だとビルドできなかった。
しかし、msys2 ならわりと簡単にビルドできることを発見。
$ pacman -S make gcc libgc-devel openssl-devel ncurses-devel
$ x86_64-pc-msys-gcc --version
x86_64-pc-msys-gcc (GCC) 9.3.0
Copyright (C) 2019 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
$ ./configure
コンパイル環境の方が昔と変わってしまってビルドでエラーになる。
修正方法👇
[CentOS7] emacs24にemacs-w3mインストール
#ifdef の調整
// config.h
//#define USE_BINMODE_STREAM 1
//#define USE_EGD
$ make
$ ./w3m www.google.com // 動いた
WSL で GC がクラッシュする問題
boehm-GC がランタイムにエラーになることで、 make 中のコード生成 mktable がクラッシュするのが原因でビルドステップが途中で止まるのが原因だった。なので、たとえビルド済みの w3m を apt get しても、ランタイムも同じ原因でクラッシュする。
エラー。
Wrong __data_start/_end pair
fish: './build/w3m' terminated by signal SIGABRT (Abort)
https://hitkey.nekokan.dyndns.info/diary2004.php#D200424
によると、stack size の制限が原因らしい。
WSL でこれを変えるには・・・。
https://github.com/microsoft/WSL/issues/633
無理。
WSL2 ならできる?
> wsl -l -v
NAME STATE VERSION
* Ubuntu-20.04 Running 2
やってみる。
$ ulimit -s unlimited
> ulimit -s
unlimited
できた。
$ w3m
Wrong __data_start/_end pair
うーむ。
$ ulimit -s 81920
> ulimit -s
81920
動いた。
8192KB では足りなく、 unlimited では多すぎるらしい。これは、難しいな。
ちなみに、 gdb 上ならスタック問題を解決しなくても動いた。
gdb がスタックを覆い隠すのかな?
開発だけならできなくもない。
ビルドシステム
とりあえず慣れたツールに変更。
WSL 上の vscode で作業しているのもあり、autotools から CMake に変更。
クロスプラットフォームは後退させて、新しめの gcc(c++20) でビルドできればいいや。
config.h や funcname 系のコード生成結果はコミットしちゃう。
libwc が static ライブラリにわかれているのも、ひとまとめにしてしまった。
あと、適当にソースをフォルダに移動する。
生成コード一覧
unknown: table => {"type":"table","align":[null,null,null,null],"children":[{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"ファイル","position":{"start":{"line":133,"column":3,"offset":2551},"end":{"line":133,"column":7,"offset":2555}}}],"position":{"start":{"line":133,"column":1,"offset":2549},"end":{"line":133,"column":12,"offset":2560}}},{"type":"tableCell","children":[{"type":"text","value":"生成方法","position":{"start":{"line":133,"column":14,"offset":2562},"end":{"line":133,"column":18,"offset":2566}}}],"position":{"start":{"line":133,"column":12,"offset":2560},"end":{"line":133,"column":28,"offset":2576}}},{"type":"tableCell","children":[{"type":"text","value":"入力","position":{"start":{"line":133,"column":30,"offset":2578},"end":{"line":133,"column":32,"offset":2580}}}],"position":{"start":{"line":133,"column":28,"offset":2576},"end":{"line":133,"column":43,"offset":2591}}},{"type":"tableCell","children":[{"type":"text","value":"備考","position":{"start":{"line":133,"column":45,"offset":2593},"end":{"line":133,"column":47,"offset":2595}}}],"position":{"start":{"line":133,"column":43,"offset":2591},"end":{"line":133,"column":99,"offset":2647}}}],"position":{"start":{"line":133,"column":1,"offset":2549},"end":{"line":133,"column":99,"offset":2647}}},{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"config.h","position":{"start":{"line":135,"column":3,"offset":2761},"end":{"line":135,"column":11,"offset":2769}}}],"position":{"start":{"line":135,"column":1,"offset":2759},"end":{"line":135,"column":16,"offset":2774}}},{"type":"tableCell","children":[{"type":"text","value":"configure","position":{"start":{"line":135,"column":18,"offset":2776},"end":{"line":135,"column":27,"offset":2785}}}],"position":{"start":{"line":135,"column":16,"offset":2774},"end":{"line":135,"column":36,"offset":2794}}},{"type":"tableCell","children":[],"position":{"start":{"line":135,"column":36,"offset":2794},"end":{"line":135,"column":53,"offset":2811}}},{"type":"tableCell","children":[{"type":"text","value":"各種 #define など","position":{"start":{"line":135,"column":55,"offset":2813},"end":{"line":135,"column":68,"offset":2826}}}],"position":{"start":{"line":135,"column":53,"offset":2811},"end":{"line":135,"column":107,"offset":2865}}}],"position":{"start":{"line":135,"column":1,"offset":2759},"end":{"line":135,"column":107,"offset":2865}}},{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"entity.h","position":{"start":{"line":136,"column":3,"offset":2868},"end":{"line":136,"column":11,"offset":2876}}}],"position":{"start":{"line":136,"column":1,"offset":2866},"end":{"line":136,"column":16,"offset":2881}}},{"type":"tableCell","children":[{"type":"text","value":"Makefile(mktable)","position":{"start":{"line":136,"column":18,"offset":2883},"end":{"line":136,"column":35,"offset":2900}}}],"position":{"start":{"line":136,"column":16,"offset":2881},"end":{"line":136,"column":36,"offset":2901}}},{"type":"tableCell","children":[{"type":"text","value":"entity.tab","position":{"start":{"line":136,"column":38,"offset":2903},"end":{"line":136,"column":48,"offset":2913}}}],"position":{"start":{"line":136,"column":36,"offset":2901},"end":{"line":136,"column":53,"offset":2918}}},{"type":"tableCell","children":[{"type":"text","value":"./mktable 100 entity.tab > entity.h","position":{"start":{"line":136,"column":55,"offset":2920},"end":{"line":136,"column":90,"offset":2955}}}],"position":{"start":{"line":136,"column":53,"offset":2918},"end":{"line":136,"column":111,"offset":2976}}}],"position":{"start":{"line":136,"column":1,"offset":2866},"end":{"line":136,"column":111,"offset":2976}}},{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"funcname.tab","position":{"start":{"line":137,"column":3,"offset":2979},"end":{"line":137,"column":15,"offset":2991}}}],"position":{"start":{"line":137,"column":1,"offset":2977},"end":{"line":137,"column":16,"offset":2992}}},{"type":"tableCell","children":[{"type":"text","value":"Makefile(awk)","position":{"start":{"line":137,"column":18,"offset":2994},"end":{"line":137,"column":31,"offset":3007}}}],"position":{"start":{"line":137,"column":16,"offset":2992},"end":{"line":137,"column":36,"offset":3012}}},{"type":"tableCell","children":[{"type":"text","value":"main.c, menu.c","position":{"start":{"line":137,"column":38,"offset":3014},"end":{"line":137,"column":52,"offset":3028}}}],"position":{"start":{"line":137,"column":36,"offset":3012},"end":{"line":137,"column":53,"offset":3029}}},{"type":"tableCell","children":[],"position":{"start":{"line":137,"column":53,"offset":3029},"end":{"line":137,"column":111,"offset":3087}}}],"position":{"start":{"line":137,"column":1,"offset":2977},"end":{"line":137,"column":111,"offset":3087}}},{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"funcname.c","position":{"start":{"line":138,"column":3,"offset":3090},"end":{"line":138,"column":13,"offset":3100}}}],"position":{"start":{"line":138,"column":1,"offset":3088},"end":{"line":138,"column":16,"offset":3103}}},{"type":"tableCell","children":[{"type":"text","value":"Makefile(awk)","position":{"start":{"line":138,"column":18,"offset":3105},"end":{"line":138,"column":31,"offset":3118}}}],"position":{"start":{"line":138,"column":16,"offset":3103},"end":{"line":138,"column":36,"offset":3123}}},{"type":"tableCell","children":[{"type":"text","value":"funcname.tab","position":{"start":{"line":138,"column":38,"offset":3125},"end":{"line":138,"column":50,"offset":3137}}}],"position":{"start":{"line":138,"column":36,"offset":3123},"end":{"line":138,"column":53,"offset":3140}}},{"type":"tableCell","children":[{"type":"text","value":"sort funcname.tab | awk -f funcname0.awk > funcname.c","position":{"start":{"line":138,"column":55,"offset":3142},"end":{"line":138,"column":108,"offset":3195}}}],"position":{"start":{"line":138,"column":53,"offset":3140},"end":{"line":138,"column":110,"offset":3197}}}],"position":{"start":{"line":138,"column":1,"offset":3088},"end":{"line":138,"column":110,"offset":3197}}},{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"funcname1.h","position":{"start":{"line":139,"column":3,"offset":3200},"end":{"line":139,"column":14,"offset":3211}}}],"position":{"start":{"line":139,"column":1,"offset":3198},"end":{"line":139,"column":16,"offset":3213}}},{"type":"tableCell","children":[{"type":"text","value":"Makefile(awk)","position":{"start":{"line":139,"column":18,"offset":3215},"end":{"line":139,"column":31,"offset":3228}}}],"position":{"start":{"line":139,"column":16,"offset":3213},"end":{"line":139,"column":36,"offset":3233}}},{"type":"tableCell","children":[{"type":"text","value":"funcname.tab","position":{"start":{"line":139,"column":38,"offset":3235},"end":{"line":139,"column":50,"offset":3247}}}],"position":{"start":{"line":139,"column":36,"offset":3233},"end":{"line":139,"column":53,"offset":3250}}},{"type":"tableCell","children":[],"position":{"start":{"line":139,"column":53,"offset":3250},"end":{"line":139,"column":111,"offset":3308}}}],"position":{"start":{"line":139,"column":1,"offset":3198},"end":{"line":139,"column":111,"offset":3308}}},{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"funcname2.h","position":{"start":{"line":140,"column":3,"offset":3311},"end":{"line":140,"column":14,"offset":3322}}}],"position":{"start":{"line":140,"column":1,"offset":3309},"end":{"line":140,"column":16,"offset":3324}}},{"type":"tableCell","children":[{"type":"text","value":"Makefile(awk)","position":{"start":{"line":140,"column":18,"offset":3326},"end":{"line":140,"column":31,"offset":3339}}}],"position":{"start":{"line":140,"column":16,"offset":3324},"end":{"line":140,"column":36,"offset":3344}}},{"type":"tableCell","children":[{"type":"text","value":"funcname.tab","position":{"start":{"line":140,"column":38,"offset":3346},"end":{"line":140,"column":50,"offset":3358}}}],"position":{"start":{"line":140,"column":36,"offset":3344},"end":{"line":140,"column":53,"offset":3361}}},{"type":"tableCell","children":[],"position":{"start":{"line":140,"column":53,"offset":3361},"end":{"line":140,"column":111,"offset":3419}}}],"position":{"start":{"line":140,"column":1,"offset":3309},"end":{"line":140,"column":111,"offset":3419}}},{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"functable.c","position":{"start":{"line":141,"column":3,"offset":3422},"end":{"line":141,"column":14,"offset":3433}}}],"position":{"start":{"line":141,"column":1,"offset":3420},"end":{"line":141,"column":16,"offset":3435}}},{"type":"tableCell","children":[{"type":"text","value":"Makefile(mktable)","position":{"start":{"line":141,"column":18,"offset":3437},"end":{"line":141,"column":35,"offset":3454}}}],"position":{"start":{"line":141,"column":16,"offset":3435},"end":{"line":141,"column":36,"offset":3455}}},{"type":"tableCell","children":[{"type":"text","value":"funcname.tab","position":{"start":{"line":141,"column":38,"offset":3457},"end":{"line":141,"column":50,"offset":3469}}}],"position":{"start":{"line":141,"column":36,"offset":3455},"end":{"line":141,"column":53,"offset":3472}}},{"type":"tableCell","children":[],"position":{"start":{"line":141,"column":53,"offset":3472},"end":{"line":141,"column":111,"offset":3530}}}],"position":{"start":{"line":141,"column":1,"offset":3420},"end":{"line":141,"column":111,"offset":3530}}},{"type":"tableRow","children":[{"type":"tableCell","children":[{"type":"text","value":"tagtable.c","position":{"start":{"line":142,"column":3,"offset":3533},"end":{"line":142,"column":13,"offset":3543}}}],"position":{"start":{"line":142,"column":1,"offset":3531},"end":{"line":142,"column":16,"offset":3546}}},{"type":"tableCell","children":[{"type":"text","value":"Makefile(mktable)","position":{"start":{"line":142,"column":18,"offset":3548},"end":{"line":142,"column":35,"offset":3565}}}],"position":{"start":{"line":142,"column":16,"offset":3546},"end":{"line":142,"column":36,"offset":3566}}},{"type":"tableCell","children":[{"type":"text","value":"funcname.tab","position":{"start":{"line":142,"column":38,"offset":3568},"end":{"line":142,"column":50,"offset":3580}}}],"position":{"start":{"line":142,"column":36,"offset":3566},"end":{"line":142,"column":53,"offset":3583}}},{"type":"tableCell","children":[],"position":{"start":{"line":142,"column":53,"offset":3583},"end":{"line":142,"column":111,"offset":3641}}}],"position":{"start":{"line":142,"column":1,"offset":3531},"end":{"line":142,"column":111,"offset":3641}}}],"position":{"start":{"line":133,"column":1,"offset":2549},"end":{"line":142,"column":111,"offset":3641}}}
警告からエラーに引き上げ
改造していくのに C の緩い型制限が危険(コンパイルが通るのに型が不一致になりやすい)なので、
以下のオプションを追加。
-Werror=implicit-function-declaration
-Werror=int-conversion
-Werror=conversion-null
これで、型宣言を補強しながら進める。
第1段階
ここまでやると、自由に c++ のコードを混ぜることができる。
std::string、std::vector, std::shared_ptr, std::function, std::string_view, template, class, 前方宣言, auto, inline 等使い放題 👍
特に std::string_view の使い勝手を試したい。
所有しない文字列はすべて、 std::string_view でいけると思うのだが。
split の std::string_view 版は具合がよかった。
c++ 化 (extern "C")
手法としては、各ソースの拡張子を .c から .cpp に変更する。
CMakeLists.txt を修正。
#include を extern "C" で囲む、で c++ 化することができる。
extern "C" {
#include "xxx.h"
}
ただ、 cpp で定義する関数の宣言が extern "C" の中に入らないとリンクエラーになるので、
そうなるようにソースごとにヘッダを分配してやる。
w3m は関数宣言が少数のファイル proto.h, fm.h とかに集中しているのだが、いっぱいあるので雑にやる。
コンパイルが通ればよい。
分配するときに未定義の型を前方宣言ですませたいのだけど、 c の struct 定義が、struct tag と typedef に分かれているのがやっかいだった。
// C
typedef struct hogeTag
{
} Hoge;
void DoHoge(Hoge *p);
// に対する前方宣言は、
struct hogeTag;
typedef hogeTag Hoge;
C の状態で、前方宣言を導入できずヘッダの分割が難航。
型ごとに別のヘッダに分割することは断念して、
ほとんど全部の struct 定義の入ったヘッダを fm.h から分離して作るのに留めた。
DEFUN
w3m は DEFUN でキーアサインできる関数を定義している。
unknown: html => {"type":"html","value":"<!-- [readme.func](/w3m/doc-jp/readme.func/) -->","position":{"start":{"line":214,"column":1,"offset":4945},"end":{"line":214,"column":49,"offset":4993}}}
以下のように、キーボードなどのイベントをトリガーにアクションを実行するというイメージ。
Key
KeyMap
DEFUN
Menu
DEFUN
MouseAction
ActionMap
DEFUN
Menu
DEFUN
Alarm
DEFUN
ソースは、main.c と menu.c に DEFUN とそれの使う補助関数がまとめて定義されていて、
ヘッダは proto.h に全部入れとなっている。
c++ で下記のようなディスパッチャを作った。
typedef void (*Command)();
std::unordered_map<std::string, Command> g_commandMap;
使い捨ての python で関数に登録するコードを生成した。
第2段階
PODじゃない型が動くようにする
脱GC
コレクションをSTLに置き換える
std::string
std::shared_ptr
機能ごとにモジュール化
再入可能
GC_MALLOC から gc_cleanup 継承へ
boehm-GC を c++ のクラスで使う方法を調べた。
http://www.namikilab.tuat.ac.jp/~sasada/prog/boehmgc.html#i-0-5
w3m では、 GC を多用している。
おもに、
struct Str
コレクション
struct の field
という感じに。
このうち、 struct の field で使われるタイプの単発の GC_MALLOC している型を gc_cleanup 継承にして、 new で初期化するようにする。
等でメモリクリアしているところに注意する。
これで、その型は constructor/destructor が動くようになり、
メンバーに std::string 等を配置できるようになる。
あとで、 gc_cleanup から std::shared_ptr に変更することも視野に入れている。
GC文字列 Str
アプリ全体で使われていて一挙になくすことはできないのだけど、構造体の末端のメンバーから std::string に変える。
あと、がんばって const char * の範囲を増やす。
libwc から Str を剥そうと思っていたのだが、逆に libwc に Str を封じ込める方向に軌道修正。
indep.c の便利文字列関数も少しずつ変えてく。
グローバル変数を減らす
関数の中でグローバル変数にアクセスしている場合(CurrentBufferなど)、これを関数の引数経由とか、クラスのメンバー経由でもらう。面倒でも Getter と Setter を区別して、どこで変更されうるかわかりやすくする。
クラスのメンバーは、 private 化を試みる。
Stream処理
多分、最難関の loadGeneralFile 関数。700行くらいだったか。
goto とか longjmp があってよくわからなかったのだが、慣れてきた。
http, https, NNTP ?, gopher, ftp, pipe 等、http のプロキシーやリダイレクト、 www-auth などを一手に処理していて容易に手を付けられない。
何度か整理しようとして悉く撃退されたので、雑にやることにした。
機能を http(https) に絞ってそれ以外をコメントアウトしてとにかく量を減らす。
プロキシーとか、 dump, halfload などのよく知らない機能もどんどん削る。
としてなんとか改造できるようになってきた。
ここを HttpClient, LocalFile, PipeReader あたりに整理したい。
第3段階
Tab, Buffer, Line のリンクリストを STL のコレクションに置き換えた。
auto buf = load(url);
tab->push(buf);
という形を目指す。
loadGeneralFile を解きほぐして、 HTTP 機能を抽出、リダイレクトまで動くようにできた。
loadGeneralFile は、
* OpenStream/Send HTTP Request
* HTTP Response
* 3xx => Redirect
* content-type で分岐
* BufferLoader => Buffer
という感じに整理できそう。
HttpとBufferローダーを副作用の無い関数に整理できれば再入可能が見えてくる。
早めに分岐させて、分岐したら合流しない。同じ処理は関数で共有するという方向性で整理。
Buffer が多機能なので、Document, HttpResponse, FileInfo とかに分割したい。
第4段階
mainloop の再実装。libuv, libevent 等を検討していたのだけど、 c++ との親和性の高い asio を使うことにした。
tty read (keyboard input), signal callback (sigint, winresize), alarm の割り込みを asio 経由にする。
アプリの終了をloop の終了にして、自然に destructor がコールされるようになる。
第5段階
html parse から term へのレンダリング部分の分解。
やっと解読できて1パス目
結果として、行のリストと、フォーム情報を得る。
2パス目
行のリストを再度パース
非タグ部分をBufferに出力
Aタグやフォームを Anchor などに出力
という感じだった。
1パス目で html 化するときに知らない属性を捨てたり、内部属性を追加したりしている様子。
この、内部属性がよくわからなくて難しい。
文字コード
content-charset => wtf => DisplayCharset と文字コードを変換して動作していることがわかった。
試しに、utf-8 であることが分かっている html で wtf 変換を飛ばしてみたところ表示が壊れた。
wtf は utf-8 と互換性がないらしい。
http://simonsapin.github.io/wtf-8/
なのかと思ったのだが、違う独自形式かもしれない。
w3m は、この wtf エンコーディングで、html タグのパース、文字のバイト幅の判定、文字のカラム幅の判定をしているのだが、
utf-8 では、文字のバイト幅、カラム幅の判定が狂う。
ということで、 utf-8 でのバイト幅判定を自作して wcwidth を組み合わせてみた。
*#12345; 形式の unicode 埋め込みに対応するために、追加で unicode => utf-8 変換も作った。
正しく表示することができた。
ということで、euc-jp と shift-jis と iso-2022-jp から utf-8 への変換を作れば日本語は対応できそう。
std::string_view, char32_t, char8_t あたりの新しい型を使った \0 終端に頼らないライブラリを作ってみる。
メモ
モジュールに分割
機能ごとにモジュールに分割する。
UI(frontend)
Term
低レベル描画
キーボード入力
マウス入力
リサイズイベント
SIGNALハンドリング
高レベル描画
Tab
Buffer
Message
Menu
Keymap
LineInput
IO(transport)
http
HttpSession
cookie
redirect
referer
https
ftp
URL
HTML
HTMLtagproc1
HTMLlineproc2body
process_form
process_form_int
form
table
frame
term rendering
String
文字コード
quote
url escape
html escape
html entity
char_util
string_view_util
string_util
リンクをたどる(followLink)
followA();
loadLink();
loadGeneralFile();
cmd_loadURL();
loadGeneralFile();
cmd_loadURL();
loadGeneralFile();
描画する
displayBuffer
redrawBuffer
redrawNLine
key入力