登場が噂されているパナソニックのフルサイズミラーレスですが「ピクセルシフト」によるハイレゾリューション機能が搭載されるとの情報が出ています。

上記ツイートでは「1／2ドットのシフト」と書いてしまいましたが、これは正しくなく1ドットのシフトでした。1ドットを4シフトで撮ることで、RGBが「歯抜け」のベイヤーを補い、RGB全画素を抜けなく撮像する（Gは二回分）撮る機能のようです。

この機能自体は既にペンタックスなど実例があり、特に目新しいものではありません。ここで取り上げたい話題は「センサーを自由にシフトすることができたとき、天体写真にどんな可能性がもたらされるかです。

ディザリングへの応用

ディザリングとは、天体写真において「固定パターンノイズ」による悪影響を回避するために、撮影位置をランダムにわずかにづつずらした多数のコマを撮影し、コンポジットによりパターンノイズを平均化する手法です。

K-ASTEC BLOG Dithering撮影効果-その２
http://k-astec.cocolog-nifty.com/main/2015/03/post-2.html
上；ディザリングなし、下：ディザリングあり。ディザリングによってノイズが大きく減っています。

ノイズを低減する効果が高い一方、撮影の際に「架台をランダムに動かす」ことが必要になります。このプロセスはオートガイドソフトが自動化してくれるのですが、架台を動かすためにコマ間に若干のタイムラグが発生します。

この操作を「（でかくてのろまな）架台を動かす」のではなく「（小さくて俊敏な）センサーを動かす」ことで実現できればどうでしょうか。タイムラグはほぼ発生しなくなりますし、センサーのずらし量を最適化(*)すれば「超解像」の効果を望めるかもしれません。

(*)1/2ドット単位でずらして、コンポジットの際にDrizzleするなど

この機能は「ピクセルシフト撮影機能」の延長で実現が可能ではないかと推測します。ピクセルの「ずらし量＋ランダムシフト量」と「撮影枚数」を指定し連続撮影するだけで実現します。もしこの機能がPENTAXのKシリーズやパナの新カメラで実現されれば、編集部は即買いするしかありません！

別の意味で、ピクセルシフトした複数の画像をインプットに、パターンノイズをより少なくした画像をアウトプットするアルゴリズム(*)も可能性があるかもしれません（すでに実現されている可能性も十分あります）。「センサーをシフトしてもずれていない輝点・暗点はノイズ」であるという着想の処理です。

(*)Twitterのリプで指摘があったのですが、元ツイを発見できませんでした。

オートガイドへの応用

センサーシフトを外部から制御できるようになると、オートガイドもセンサーシフトで実現するかもしれません。

しかし、少し考えてみると、こちらはなかなか簡単ではないことに気がつきました。

実現例１.ガイド信号をカメラに送る

従来のガイドシステムを流用する方法です。ガイドシステムで取得した追尾エラーの補正信号を赤道儀に送るのではなくカメラに送り、カメラはその信号を元にセンサーをシフトして追尾します。

この方法の問題は、補正信号を出しても架台はなんら動かないこと。まあそうしたくて信号をカメラに送っているのですが、ガイド鏡から見ると基準星はどんどん移動していきます。ガイドシステムは初期状態からのずれに対する補正量を常に送り続けるので、ガイドソフトウェアはそのままでは使えないことになります。

また、キャリブレーションについても問題があります。そもそもどうやってキャリブレーションするのか。架台を赤緯方向、赤経方向に一定量動かして、その際のセンサー上の星像の移動方向を測定して移動方向と移動量を合わせるのがキャリブレーションですが、この処理をするためにはキャリブレーションの際には撮影用カメラを使用して別のキャリブレーション結果を取得し、ガイドカメラのキャリブレーション結果の両方から撮像カメラに送るべき信号の変換を行えるようにしなければなりません。これ、あんまり簡単じゃなさそう・・

さらに、この方法の場合キャリブレーションの精度がガイド精度に直結します。ガイドカメラとセンサー上の位置関係は開始時点では一致していても、後はキャリブレーション結果だけに基づいた「推測値」で動くことになります。長時間露出でどのくらい精度が出るか・・・

この方法、あんまりいい方法ではないかもしれません。

実現例２．ガイド用センサーをカメラ側に置く

撮像用センサーと同じようにシフトされるガイド用のセンサーをカメラ上に持つ方法です。冷却CCDでオフアキ用に別のセンサーを持つ製品がありますが、それと同じ考え方。

この方法だと、ガイド用センサーの信号をそのまま従来と同じオートガイドソフトに送ることで、キャリブレーションもガイドも問題なく従来通りのガイドシステムで可能になります。

いいことづくめの方法ですが、これだと天体専用カメラになってしいまいます。こんな専用ハードウェア機能をコンシューマ製品に組み込むのは、出発点から間違っていますね・・シフト機能付きのセンサーユニットを使用してZWOかQHYが、こういう天体用CMOSカメラを出してくれれば神ですが・・・

実現例３．動画モードの撮影を前提にする

だんだん妄想が斜めに振れてきました^^;; では思い切って、動画だけに絞って考えてみましょう。撮影済みフレームから追尾誤差を予測し、それに合わせてセンサーをシフトします。万歳。リアルタイム追尾だ。

でも、これは全ての撮像フレームを撮影後にずれを補正してコンポジットするとの違いがないですね・・撮影時にこれを済ましてくれれば面倒くさくない、といメリットはありますが。

センサーシフトでのオートガイドはうまくいかないのか？

1時間考えただけなので穴だらけだとは思いますが、センサーシフトのオートガイド、何かいい方法はないですかね・・・実現例１で実はうまくいく、というのもまだ期待したいのですが。

ご意見、ご知見があればお寄せ下さい。

カメラがオープンになる日

このあたりの妄想が実現する大前提として、カメラがオープンなAPIの集合体となり、外部からソフトウェアでコントロールできる必要があります。

すっかり忘れてました。ペンタックスが既に始めています。

少し前に自分でも書いてたし^^;;;

RICHO Developer Connection
https://api.ricoh

リコーではKシリーズやTHETAなどで、カメラ用のSDKを公開しています。

https://api.ricoh/docs/camera-usb-sdk-dotnet/assets/img/Ricoh.CameraController.png

 

上の図は.NETフレームワーク用のSDKのクラス図。CameraDeviceクラスでは、ライブビューの制御、ピント合わせ、シャッター操作、設定の読み書きなどがサポートされています。

センサーシフトの制御機能はざっとみただけですが見つけることができませんでした。少なくともそれが提供されれば、天体用の撮像アプリの撮影シーケンスの中にディザリングを組み込むことは可能になりそうです。

リコーのこの試みを、なんとか天体撮影に生かすようなソフトウェアを・・・どなたか書いてみませんか？！ 天体撮影でのセンサーシフト機能の可能性https://reflexions.jp/tenref/orig/wp-content/uploads/sites/4/2018/09/LOG-171026A7R33.jpghttps://reflexions.jp/tenref/orig/wp-content/uploads/sites/4/2018/09/LOG-171026A7R33-150x150.jpg編集部デジタルカメラ登場が噂されているパナソニックのフルサイズミラーレスですが「ピクセルシフト」によるハイレゾリューション機能が搭載されるとの情報が出ています。 https://twitter.com/tenmonReflexion/status/1043437765109592065 上記ツイートでは「1／2ドットのシフト」と書いてしまいましたが、これは正しくなく1ドットのシフトでした。1ドットを4シフトで撮ることで、RGBが「歯抜け」のベイヤーを補い、RGB全画素を抜けなく撮像する（Gは二回分）撮る機能のようです。 この機能自体は既にペンタックスなど実例があり、特に目新しいものではありません。ここで取り上げたい話題は「センサーを自由にシフトすることができたとき、天体写真にどんな可能性がもたらされるかです。 ディザリングへの応用 ディザリングとは、天体写真において「固定パターンノイズ」による悪影響を回避するために、撮影位置をランダムにわずかにづつずらした多数のコマを撮影し、コンポジットによりパターンノイズを平均化する手法です。 K-ASTEC BLOG Dithering撮影効果-その２ http://k-astec.cocolog-nifty.com/main/2015/03/post-2.html ノイズを低減する効果が高い一方、撮影の際に「架台をランダムに動かす」ことが必要になります。このプロセスはオートガイドソフトが自動化してくれるのですが、架台を動かすためにコマ間に若干のタイムラグが発生します。 この操作を「（でかくてのろまな）架台を動かす」のではなく「（小さくて俊敏な）センサーを動かす」ことで実現できればどうでしょうか。タイムラグはほぼ発生しなくなりますし、センサーのずらし量を最適化(*)すれば「超解像」の効果を望めるかもしれません。 (*)1/2ドット単位でずらして、コンポジットの際にDrizzleするなど この機能は「ピクセルシフト撮影機能」の延長で実現が可能ではないかと推測します。ピクセルの「ずらし量＋ランダムシフト量」と「撮影枚数」を指定し連続撮影するだけで実現します。もしこの機能がPENTAXのKシリーズやパナの新カメラで実現されれば、編集部は即買いするしかありません！ 別の意味で、ピクセルシフトした複数の画像をインプットに、パターンノイズをより少なくした画像をアウトプットするアルゴリズム(*)も可能性があるかもしれません（すでに実現されている可能性も十分あります）。「センサーをシフトしてもずれていない輝点・暗点はノイズ」であるという着想の処理です。 (*)Twitterのリプで指摘があったのですが、元ツイを発見できませんでした。 オートガイドへの応用 https://twitter.com/tenmonReflexion/status/1043438748497633281 センサーシフトを外部から制御できるようになると、オートガイドもセンサーシフトで実現するかもしれません。 しかし、少し考えてみると、こちらはなかなか簡単ではないことに気がつきました。 実現例１.ガイド信号をカメラに送る 従来のガイドシステムを流用する方法です。ガイドシステムで取得した追尾エラーの補正信号を赤道儀に送るのではなくカメラに送り、カメラはその信号を元にセンサーをシフトして追尾します。 この方法の問題は、補正信号を出しても架台はなんら動かないこと。まあそうしたくて信号をカメラに送っているのですが、ガイド鏡から見ると基準星はどんどん移動していきます。ガイドシステムは初期状態からのずれに対する補正量を常に送り続けるので、ガイドソフトウェアはそのままでは使えないことになります。 また、キャリブレーションについても問題があります。そもそもどうやってキャリブレーションするのか。架台を赤緯方向、赤経方向に一定量動かして、その際のセンサー上の星像の移動方向を測定して移動方向と移動量を合わせるのがキャリブレーションですが、この処理をするためにはキャリブレーションの際には撮影用カメラを使用して別のキャリブレーション結果を取得し、ガイドカメラのキャリブレーション結果の両方から撮像カメラに送るべき信号の変換を行えるようにしなければなりません。これ、あんまり簡単じゃなさそう・・ さらに、この方法の場合キャリブレーションの精度がガイド精度に直結します。ガイドカメラとセンサー上の位置関係は開始時点では一致していても、後はキャリブレーション結果だけに基づいた「推測値」で動くことになります。長時間露出でどのくらい精度が出るか・・・ この方法、あんまりいい方法ではないかもしれません。 実現例２．ガイド用センサーをカメラ側に置く 撮像用センサーと同じようにシフトされるガイド用のセンサーをカメラ上に持つ方法です。冷却CCDでオフアキ用に別のセンサーを持つ製品がありますが、それと同じ考え方。 この方法だと、ガイド用センサーの信号をそのまま従来と同じオートガイドソフトに送ることで、キャリブレーションもガイドも問題なく従来通りのガイドシステムで可能になります。 いいことづくめの方法ですが、これだと天体専用カメラになってしいまいます。こんな専用ハードウェア機能をコンシューマ製品に組み込むのは、出発点から間違っていますね・・シフト機能付きのセンサーユニットを使用してZWOかQHYが、こういう天体用CMOSカメラを出してくれれば神ですが・・・ 実現例３．動画モードの撮影を前提にする だんだん妄想が斜めに振れてきました^^;; では思い切って、動画だけに絞って考えてみましょう。撮影済みフレームから追尾誤差を予測し、それに合わせてセンサーをシフトします。万歳。リアルタイム追尾だ。 でも、これは全ての撮像フレームを撮影後にずれを補正してコンポジットするとの違いがないですね・・撮影時にこれを済ましてくれれば面倒くさくない、といメリットはありますが。 センサーシフトでのオートガイドはうまくいかないのか？ 1時間考えただけなので穴だらけだとは思いますが、センサーシフトのオートガイド、何かいい方法はないですかね・・・実現例１で実はうまくいく、というのもまだ期待したいのですが。 ご意見、ご知見があればお寄せ下さい。 カメラがオープンになる日 このあたりの妄想が実現する大前提として、カメラがオープンなAPIの集合体となり、外部からソフトウェアでコントロールできる必要があります。 https://twitter.com/daemon1995/status/1043497769493618693 すっかり忘れてました。ペンタックスが既に始めています。 https://twitter.com/tenmonReflexion/status/996640990155784192 少し前に自分でも書いてたし^^;;; RICHO Developer Connection https://api.ricoh リコーではKシリーズやTHETAなどで、カメラ用のSDKを公開しています。   上の図は.NETフレームワーク用のSDKのクラス図。CameraDeviceクラスでは、ライブビューの制御、ピント合わせ、シャッター操作、設定の読み書きなどがサポートされています。 センサーシフトの制御機能はざっとみただけですが見つけることができませんでした。少なくともそれが提供されれば、天体用の撮像アプリの撮影シーケンスの中にディザリングを組み込むことは可能になりそうです。 リコーのこの試みを、なんとか天体撮影に生かすようなソフトウェアを・・・どなたか書いてみませんか？！編集部発信のオリジナルコンテンツ