Automaton

引用:

原帖由 浦原喜助 於 2013-5-18 10:00 PM 發表
Excuse me sir !? Wrong grammar and runoff sentence discovered, "is an not valuable employee" --> "is not a valuable employee" ~ juz some minor mistake.... content is good...LOL

For give me I am a stupid English illiterate
em46

Automaton

update #16 Human Computer Interaction

Automaton

閒談數學 : Mathematics / Applied Mathematics / Pure Mathematics / Computational Solver / Software in Engineering

因為我火爆mode, 犯了些錯, 講錯了些東西

詳情 : http://lsforum.net/board/thread-225526-1-1.html

為了補罪, 我就分享下 "會在Engineering出現的數學"

留意, 1. 會在Engineering出現的數學, 不是只出現在engineering, 可以出現在其他地區
     2. 會在Engineering出現的數學, 可以是任何數學, 所以如果中六升大學, 個暑假最好self-study "M1 M2 Physics" (如果肯self-study AL pure + applied, 更好)


---------開始-------------------------------

首先是一些"數學寫法"

例如

大學的數, 都會是"generalized到任意項", 這個情況下, 如果寫晒出來, 會變 "罰抄"

例如一些 Series (e.g. Taylor Series )


如果用簡寫


簡潔!!!

你可能會講, 禁都叫簡潔??? 幾筆唔係簡幾多wo !

那你就錯了

例子 , exponential 不只是 number, 連matrix都可以 exponential


結果萬一...


已經是罰抄 !! 如果 A 是 3X3, 罰抄都傻

(題外話, matrix  exponential 會常出現在 Control Theory 那一邊 , 而且有些有趣性質, 例如思考下what if b=c=0 ! )

有時, 連summation notation都覺得多筆畫 :


可以寫做


不過, 如果用 vector 寫


就3個 symbol , A, T, X 很很很很很簡便

如果不用geometry去看vector, 用"array"去看的話, vector其實可以"當" 一個n-dimensional data storage

vector 的 sub-element "互不侵犯" , 所以可以 睇做 "orthogonal to each other / independent "

例如, 顏色可以是一個 3D vector : [ Red, Green, Blue ]
e.g. [ 100, 0 , 0 ] = pure red,   [50,0,50 ] = purple
這種對vector的看法, 是很常見的abstraction method

而且, 如果再用上linear algebra的看法
那麼, weighting vector就超超超常見

--------

接下來是 奇怪function



我亂個例子講下有什麼用 :

小明去排隊, 他有個東西決定排不排 : 如果要等多過5分鐘, 我就走人 !
那麼如何model這個問題 ?
我不是講排隊理論, 我是在講"Neural Network"

假設 一條隊有n個人,  
要處理的時間是t1, t2, t3 ,t4,.... 有n1個人的
處理的時間是t1, n2個人的
處理的時間是t2, .... 而 n1+n2+n3+... = n


(假設沒有等於)

上面一大堆 文字 可以 一條equation表達 :
如果包括等於, 改做function definition就可以
------------------

如果小明講 : 多過5分鐘,一定走人 , 少過2分鐘,一定不走, 2-5分鐘就, 嗯,應該會走, 也可能應該不會走
這時呢, 不能 exactly 1就1, 2就2, 有"fuzzy"

回饋下pure maths的 Set language



在 Fuzzy Set Thoery, 另一個set theory,
有新definition

classical set definition 的 "membership" 是 exactly 1就1, 2就2


Fuzzy就可以看做"extend membership from [0,1] to [0 1]"


例如
小明講 : 多過5分鐘,一定走人 , 少過2分鐘,一定不走, 2-5分鐘就, 50%會走


而Fuzzy Set 的 or/and  :


例如
A 有 a("0.5"屬於A), b("1"屬於A)
B 有 a("0.3"屬於B), c("0.2"屬於B)
A and B = C = a("0.3"屬於C)
因為B沒有b("0"屬於B), c也沒有在A
這個definition agree with classical set definition

為什麼會有如此"many-value logic" ?
因為classical set theory不能model "fuzziness"
所以Fuzzy Engineering由Lotfi A. Zadeh, 一位control engineer提出 (當然, 數學家個名勁D, D人會叫佢mathematician )

Fuzzy的Neural Network會由 Sgn function 變 Sigmoid function


還有其他, 例如bipolar sigmoid 等等soft limiter

----------------
由此可見, 出現在Engineering的數學
有時和Pure Mathematics department的, 有點出入

大家都要學的complex analysis, vector cal 等等就不講了
例如Fourier Series, Helmholtz theorem 等等, 需要熟練  
----------------

那麼很pure的東西, 例如Algebra中的Group, Ring, Field會怎樣呢
當然engineering就不會去研究得那麼深入
不過有時會用到

我講幾個example
Wavelet Analysis
Grobner Basis
GF(2^n) and GF(p)

先講Grobner Basis,作為Engineering人
我不想講Grobner和Ideal, sub-ring, close, 等等abstract algebra的東西
用"怎樣用"更能令人feel到是什麼
因為"怎樣用"更"tangible"

其中一個application是 :

Grobner Basis 是 "Generalized Gaussian Elimination"
Gaussian elimination可以solve system of linear equation
那麼"system of NON-linear equation"呢 ?

我用一例 :



首先要


----------------

Group , Ring, Field, Ideals, Galois Field

Cryptography

----------------

FFT, STFT, Orthonormal Basis, Haar Wavelet


(to be continued)

[ 本帖最後由 Automaton 於 2013-7-4 07:34 AM 編輯 ]

Automaton

其實我近日忙得不可開交
不過見你回覆如此有心, 我就回覆下

我火爆 / 偏激, 是有原因的
其實我都不想如此
我用個說法你就會明

有個人叫小明, 小學1年級學生和你講 , 我想下年考DSE"
你會有什麼想法?
你可能會有 : 1.笑話, 小明真是不自量力
            2.哇好好好好 !!!
你認為哪個是可能性高的?
Gaussian distribution告訴我們 : (1)
(那些什麼13歲入大學那些就不用講了)

那我是否 "狗眼看人低" 呢 ? 部份正確 , 算是也不算是

引用:

原帖由 edmondfan 於 2013-7-7 12:21 AM 發表
...... 所以，「我想讀科學」這個想法並不愚蠢。愚蠢的人只是不珍惜讀書機會的人罷了......

「我想讀科學」這個想法並不愚蠢, 如果你有能力的話
有部份人, 空有想法而沒有實際行動
這就是愚蠢  我是攻擊這一些人
大把人讀完書, 出來 做一些 low-paid job, 之後 後悔, 由其是近幾年

另外呢, 不珍惜讀書機會的人連蠢人都不是, 是冇腦的人
那一些人最終只會 ... (我本來想打一大堆有關social stratification的字去叫人努力讀書, 不過還是算了)

所以呢, 如果不努力, 沒有實際行動,有什麼possibility可以生存到呢?
這些人是否"抵罵"呢

引用:

原帖由 edmondfan 於 2013-7-7 12:21 AM 發表
３３４學制下，學生可以入讀一個系，經過一年的洗禮，選擇自己希望讀的學科。知識都可以在這一年吸收，難道時間上會太遲嗎？

我告訴你, 3年都不夠
第一年根本沒有你所謂的洗禮,連第2年也不是
第3年才剛開始! (我本來都想講 第4年才剛開始, 不過算了吧)

引用:

原帖由 edmondfan 於 2013-7-7 12:21 AM 發表

...... 「需更多人去搞科技」沒有錯，但不能只因為你的看法、你認為他們不可能的想法而令他們入讀工程。世界超級大的，你沒有資格藉此看低他人的熱情。即使我讀上大學，也成功拿到教授的資格，也不能說出「地球不需那麼多人去搞哲學，而需更多人去搞科學」的說話。......

我這句是有點短視的講法
社會進步, 如果想要在短期有明顯改進的話
會是一些engineering的工作, (例如consumer electronics)
社會進步, 也可以是politics和文化人的工作
不過那是需要十年,什至是1,2代人的努力
我只是給出另一個path
讀science的人如果搞不了research,也可以走去搞technology(很需要人)
(難道近年low出生率殺校還去教書?教大學?CC?得,有料就得 )

引用:

原帖由 edmondfan 於 2013-7-7 12:21 AM 發表

你在＃２的帖子（不知是否用樓來表達較好）中的一些問題，確是會令人反思為何讀科學，但你其中一些答案確是不太合適。例如「乜Engineering好失禮咩?」，我那刻想到「科學家也失禮嗎？」...

很多(香港)人, belittle engineering , do you know why?
20年前engineering是5A (我是指A-Level 5A ) 的"神科"
現在呢?? 所謂的 "水泡"
大量垃圾學生 入了之後一樣是垃圾
結果呢?
當然一樣有好學生入, 不過有幾多? 垃圾學生有幾多 ? 哪個多? 個個和你一樣有心向學?

另外, 科學家 當然不失禮啦, 哇個名幾勁啊, 哈哈哈

引用:

原帖由 edmondfan 於 2013-7-7 12:21 AM 發表

正如研究複雜，製作遺傳演算法的科學家John H. Holland)也是看到科學書本，萌生「我想讀科學」這個基本的想法。

搞GA和ANN的John Holland明明是CS/EEE人,偏要叫他 "科學家"
叫佢Engineer , 听落好廢, 所以要叫"科學家"是吧, 哈哈哈

引用:

原帖由 edmondfan 於 2013-7-7 12:21 AM 發表

.... 難道入讀工程，也根據你的學習方法，就可成為Steve Jobs？答案明顯是不盡可能...

Steve Jobs 沒有你想像中那麼高級, 千萬不要把Steve Jobs英雄化
(如果要講我為何不講Ritchie, dijkstra, von Newmann, Alan Turing等等?)
Computer world (更加正確應該叫 Digital world)
是千千千千萬萬萬個人的努力混合體

是一種structural world (structural programming)
強調modularity , low cohesion , high coupling 的世界
(以上皆CS字眼, concept算是簡單不過你沒有experience過的話 我無法用1,2句去解)

所以呢, Apple不是Steve Jobs一人的功勞
真真正正的英雄是背後一大堆engineer ( they are unsung hero !)
要做到Steve Jobs做到的(我不是指推薦貨品,是指其engineering ability,例如他算是mouse-GUI的promoter之類),大把人可以

引用:

原帖由 edmondfan 於 2013-7-7 12:21 AM 發表

...你希望讀者看大學書的做法，我不太讚同...但盲目地看高深的書，只可能令自己望而卻步，毫無用處...雖然看後會感受到這個學科的偉大，但等待你的大學生涯起步，再從講師身上吸引足夠的知識，才跨越這道高牆，比較有效率和好的學習方法...

唉... 你 超級 有 所 不 知

你很好運, 有好老師, 不過, 你也很"中學生"  (難听點 = 唔識野 )

我應該講,  大學有好老師 = 阿! 真好運
        大學沒有好老師 = 阿,正常, 很正常

讀書靠自己, 愈高就愈靠自己

如果是廢的lecture, 上堂(難听點)是浪費時間
如果是好的lecture, 還好
而且, 部份prof亂改 (例如只看numerical answer不看step, 一錯就all wrong)

另外, 如果你不能train到自學, 你點睇paper,難道仲靠老師?????????????

自學是必要條理

大學本科生算對你好
知識有系統
是organized knowledge
看這些 "別人喂你食飯" 的書都叫辛苦, 都叫 令自己望而卻步 ???????

令自己望而卻步???? 我呸
這句令我極之火滾

你看X, 看不明白, 不會自己去找 W 去看 ???
再看不明白W不會去找V去看 ???

看不明白什麼是differentiation 不會去找什麼 definition of differentiation as a limit ?
看不明白 definition of differentiation 不會去找 limit的書去看?

看不明N的東西不會去看N-1的東西 ?
再看不明N-1的東西不會去看N-2的東西 ?

看不明 就先退一步直到找到自己看得明的東西為止

另外, 盲目地看高深的書??
我有叫你一開始就去看General relativity嗎?
我有叫你一開始就去看Microwave black hole嗎?
你要強行走去看, 就真的是 盲目 !!

如此 簡單 低能 明顯 易懂 的事都不知道?? 如果是想讀數就更應該 早就知道 !!! what the ** ??

這叫蠢嗎??

我所指的是叫你去看Thomas or Steward Calculus等等 基基基基礎書 !
(我沒有講過? then what the ** is this :  http://lsforum.net/board/viewthr ... p;extra=&page=3  )



再者 我講過

你大學學的是 organized knowledge

有 心 讀 就 一 定 得 (不過可能要付出很多努力)

話你知, 研究級, 是 散亂的 UN-organized knowledge
要睇一大堆 散亂的 research paper, journal, edition

要 自 己 去 找 書

大學本科是  :  有推薦用書, 你自己去學
研究院是   :  不要講推薦用書, 有時連paper都沒有

讀如此 "organized knowledge"
根本就很易handle
我火爆D講, undergrad過3, 簡直低能, 易過公開試 (DSE, AL, CE) NNNNNN倍
你GPA沒有過3.5都唔好同我講你努力過

你連"努力"這個concept都不知道

我都瘋狂講 : 世界是很大的

大學要3個月就完一科比AL DSE 多一點點的科
例如如果文科人去讀physics, 3個月就要完DSE physics
而且是course code 1001 已經是最最最最淺
3001 叫咩 4001叫咩

我仲可以講一大大大大堆和"如何睇research paper"的字, 那一些技巧知識更更更深, 不過廢事
我想講是 : 我已經是留了力, 我可以講到更魔鬼

  所以最後一句 : 睇書睇唔明, 好閒, 大把方法化解
               你去到睇paper睇唔明先同我講

(火爆mode完)-----------------------------------


我一直講野都是有一個目的

there is NO FREE LUNCH

知識難不難看人
有人認為EM很難, program很易
有人認為logic難, geometry易

不過我是 "提醒" 你, "警告" 你 讀大學的路很辛苦

難道我要叫你去玩不要讀書
難道我要提醒你大學很容易不用努力就可以

當然, 如果你想去研究
我還要更"魔鬼化"我自己, 講到mission impossible
因為呢 "唔努力, d knowledge 自己會自動識啊?"

there is NO FREE LUNCH

而且, 生存就是戰爭
你要在競爭中勝出就要有 "別人沒有的"

如果不是

當你想找prof收你時, 佢一定講 : the position is very competitive !!!!!!!!!!!

世界(不要只以為只有香港人, 大陸,印度佬數可以勁到屈機 )
世界大把其他地方的人一樣會去找你想找的prof

你有咩quality可以叫個prof要選擇你而不選擇另一個人?

Do you understand

另外,你可以想一下
中學時, D maths老師超勁, 可以識計晒
不過點解禁勁唔去大學研究??
因為你讀多年就可以不把他放在眼內
(我不是叫你不respect他, 一樣要respect, 不過不是"知識上"的respect )

連你個maths老師都沒有去大學研究
你打唔打得嬴你maths老師? (一定得啦, 幾年ja ma)
青出於藍, 應該知道吧

我想講什麼 ?
就是  生存就是戰鬥
Keep burning !!!  

Automaton

原諒我 意識流 地打字
有時文章不太organized

Automaton

引用:

原帖由 STEVEGARY 於 2013-7-7 04:59 AM 發表
嘩, 我諗你講呢句應該會俾大量大學生追斬, 同你講
1. CU個mean通常係B / B-...有D好grade D的可能係B+...數理工要衝上去A range其實唔容易 (CU math 3.5 其實已經係好top...基本上你報MPhil都會收...)
2. UST個mean通常係B- / C+ (數學系黎講有D仲會跌到落C) ...(UST Math 3.5已經夠first hon)
仲要唔好忘記一D科仲要係被神級人士佔據...所剩的A range 唔實唔係好多 (要拿3.5+...最少都要有一半科都有A-或以上...)
(其他U未考究過...因為我本身對其他U無乜興趣...e.g. 無科岩讀 / 唔鍾意風格(?))

原諒我 我語氣過重
GPA3.5就改3.3啦 (for 想讀上去的人(normal人, 即沒有什麼神奇事跡的人)  )
不想讀上去, GPA 幾多都得啦

mean 是B-/B 不等於 自己就要跟別人一樣B-/B
不過mean是B-/B的話 那麼要求最少B+也不算太高

當一大堆人都是B, 都想讀上去的時候就更需要自己是B+ or 有其他突出表演 or 有錢
所以 有 要 求 很 正 常

世界一定一大堆競爭者, prof 一定會講 : this position is very competitive !
現在是 "收人" 那個人有要求, 基本上佢大晒, 難道去斬prof ?


愈高級的地方就愈難上去
社會金字塔結構從沒有變過

生存就是戰鬥

[ 本帖最後由 Automaton 於 2013-7-7 02:00 PM 編輯 ]

Automaton

歸根究柢
問題來源自 "不明白個knowledge base大小"

正如小學6年級
對DSE Biology的課程根本就沒有概念
連有幾多野讀, 連”大小”的概念都沒有
小學6年級會知"proximal convoluted tubule", "hepatic portal vein" , "progesterone"?

Year one , year two 野, 可以在year3一堂講完
你辛辛苦苦讀足1年(1,2個學期) 的東西, 別人一堂完
例如一些 intermediate level book, 基本上個chapter 1 (最多幾十頁)= 整本 500-1000頁 的basics book
因為太太太太基本
根 本 就 不 會 放 在 眼 內

如此基本, 夠用嗎 ?????

基礎linear algebra 後期會講 orthonormal, spectra density 等等等等
基本上 harmonic analysis or Fourier analysis 第一堂講下就講完, 因為之後還有更多更精彩的事

基礎vector calculus後期會講 Gauss green stoke (green theorem, green identity, gauss theorem, stoke theorem)
基本上 time harmonic EM field , Microwave Engineering 等等第一堂講下就講完, 因為之後還有更多更精彩的事

基礎Statistics後期會講 multivariate Cov , regression, Markov
基本上 statistical learning, signal detection, estimator 等等第一堂講下就講完, 因為之後還有更多更精彩的事

基礎algebra後期會講 Galois, General extension, Cohomo
基本上 Crypto, robotics第一堂講下就講完, 因為之後還有更多更精彩的事

基礎ODE後期會講 wronskian , laplace, Sturm Liouville
基本上control第一堂講下就講完, 因為之後還有更多更精彩的事

基礎circuit後期會講BJT MOSFET CMOSFET
基本上analog第一堂講下就講完, 因為之後還有更多更精彩的事

還想我講下去嗎 ? 我可以寫到天光
而且我已經盡量不走過界講CS野
如果我想講CS野 ( Bioinformatics, data engineering, computer vision, network ) , 我可以寫爆post

我repeat 多次

正如小學6年級
對DSE Biology的課程根本就沒有概念
連有幾多野讀, 連”大小”的概念都沒有
小學6年級會知"proximal convoluted tubule", "hepatic portal vein" , "progesterone"?

如果小明(小學6年級) 同你講 "我想考DSE"
你會有什麼回應?
你估人人都F1就自修calculus ODE??

我在嚇人嗎?
我只是講真相
你估入到大學一定順利PhD 做prof ??
完全沒有競爭嗎?
Prof搶住要你嗎?
scholarship自動送你嗎?

所需要的努力有幾多,你有概念嗎?
中學公開試程度的努力夠嗎??

引用:

原帖由 Automaton 於 2013-3-10 12:17 PM  發表

不過, 大學本科(undergraduate)強調

自主學習能力

的

不能只依靠 單一來源

要綜合 :

Lecture
+ Standard Text
+ Reference Text
+ Discussion with others
+ Execrise
+ Online Open Course
+ Online pdf, doc , ppt , webpage
+ others

大學 = 狂睇書
大學 = 狂自學 + 部份老師教
大學 = 鬥努力

只要你有努力
我上面講的都是rubbish

只有努力可以打敗我那些說話

assume "work W" is an equation of hardwork H, luck L, money M, fame F, relation R

W = H + L + M + F + R

只要努力就有功 (H increase, W increase)
努力就算沒有明顯成效 (可能你少L)
你也有強勁內功, (high H)
W 少極有限

不努力, 連想 W 不低的機會都沒有

努力吧

[ 本帖最後由 Automaton 於 2013-7-7 08:44 PM 編輯 ]

Automaton

基礎course真的他媽的重要
無計後面一大堆course等用linear algebra
但不同人不同集中

部份area只需要基本計算, 例如有個det, inverse就夠

部份area對LA需要個spectrum of a matrix , eigenvalue operator, QR , Householder, Givens, Gram-schmidt, SVD 等等等等
反而不會太理 vector space, Rank-Null

另一方面有些area對LA需要詳細vector space, linear sub space , norm之類

結果(舊制)Engineering maths教Linear Algebra是雜七雜八 (其實EnggMaths什麼都雜七雜八)

不過math course全math teacher教
是政府想save money
美其名 資源集中
其實就是想 比少一些funding給大學

應該不會雜七雜八
但結果出現其他問題
有可能會over emphasize definition / theorem 而非Engg集中的 ""怎樣用"
(def/ theorem 是需要, 不過不用太多)

我無時間詳細打, 要去打program ....

Automaton

(#54的Abstract Algebra我遲些才打)

閒話Transform : A very important core in technology

Laplace Transform, Continuous Fourier Transform, Discrete Fourier TRansform, Fast Fourier Transfrom
Short Time Fourier Transform, Zeta Transfrom, Hartley Transform, Hilbert Transform, Wavelet Transform
Random Transform, Möbius Transform, Walsh–Hadamard Transform, Hilbert-Huang Transform
Karhunen–Loève Transform (Principal Component Analysis), Legendre Dual transforma, blablablabla....

什麼是Transform, 其實一個Key Idea

由一個角度看不出什麼資訊, 那就試一下另一個角度

最簡單的Transform 是 Matrix and Vector Space

圖中 vector P可以由 x,y去表示, 也可以用 x',y' 去表示
這就是其精神

同樣道理, 如果是function, 例如由 polynomial 表示的function 也可以由 sin cos 去"表示"


那麼"表示"就出現一個問題

用什麼作為 "基本單位" ?
例如化合物 H2O , 你會知道由 1個O, 2個H 組成
那麼如果用 H,C,O 做基本單位 (H,C,O)
那麼也可以"表達"化合物做一個3維向量
CH4 = (4,1,0)
CH2O = (2,1,1) 等等
即是說H,C,O 可以表達所有 由CHO組成的化合物

數學上, "基本單位"叫 Basis
而 " 所有 由CHO組成的化合物" 叫 Space

其實以上概念是大學第一科數Linear Algebra的概念


那麼, vector 可以用幾個"基本單位"  "組合出來"
那麼, 化合物 可以用幾個"基本單位"  "組合出來"
那麼, function 也應該可以 用幾個"基本單位"  "組合出來"


問題出來了,如何知道有什麼 ""基本單位" 可以用 ? 用什麼 "基本單位" ? 怎樣知道那些"基本單位"合適?

Fourier 的回答 : 一個function 可以用 "sin(kx) 和 cos(kx)" 來表達
那個function有幾個條例 (詳細數學我就不講了)
簡單講, 可以用 sin & cos 去表達 x^2
y = x ^2   可以 用 sin & cos 去表達 ? Yes !!

不同的是, 圖形上一點, 例如vector P (4,7,8) = 4i + 7j + 8k = 4個 基本單位 i + 7個 基本單位 j + 8個 基本單位 k
你留意到 3D vector的基本單位是有限的3個

而其實去"表達"function的 "基本單位" 是 無限的 (詳細數學原因我也不講了)

所以, 最最最基本的 Signal processing 書 會有以下 Fourier Series equation

[img] [/img]

那麼更高一層的看法是

為什麼 sin / cos 可以 做 building block 來 "砌function " ?

回答也是 Linear Algebra

一個basis of N "basic unit", 有以下要求 : 那N個 basic unit 不可以 "有關係"
數學上叫 "independent"

例如 A 和B  "互不相幹"



那個星星指 "在某種條件下"
而且, A,B 可以是任何東西 (function, functional, function of matrix, discrete set of sequence, blablablabla )

例如


為什麼 "基本單位" 要   "互不相幹"

例如如果你可以用 cos去表達sin那為什麼還要用sin去表達function的如此多餘?

正正是 sin 不能 用 cos 去表達, 因為 sin 和 cos 是 "orthogonal" ( independent)

即是說, 其實了解了 Linear Algebra的概念就可以明

就是說, 如果我們有一個 set 含有 N個 "互不相幹" 的 "基本單位"

我們可以用這些 單位 來 "砌" function

(詳細步驟我就不講了)





基基基基基基基基本concept就到此

時間關係, 我跳一下, 跳好幾個course的東西 :
Signal Processing
Digital Filter
Image Processing

直接飛去一些應用

講到 用這些 基本單位 來 "砌" function
那麼 其實有很多很多 基本單位
用哪個好呢 ??
這和 應用的本質有關

例如 Data Compression, 你想一張相可以 用少一些 空間
例如 如何把 3GB 變 0.5 GB ?

原理就是 transform the data so that they become "smaller"

例如一照片, 其實是一個3D vector的 matrix

3D是 R,B,G value, 例如 黑 = (255,255,255) ,  白 = (0,0,0), 純紅 = (255,0,0)

照片其實就是一個 幾萬 X 幾萬 的 matrix

問題就是 幾萬 X 幾萬 = 幾萬萬 個 data,  太多, 想 "transfrom" 去另一個 space去做到 "data reduction" / "dimension reduction"

如果 選取 基本單位 不當 , 可能沒什麼用, 例如 10000個Data變9000個, 根本就沒什麼用

如果 10000個變1000個,就勁 !

不過data少了就表示 "有些東西不見了"

所以呢, "如何去選 基本單位 而可以    用最少基本單位去表達最多資訊 " 就是一個大大大大大大大大學問

對於digital image, 最最簡單的和最合適的 "transform" 其實就是 eigenvector transform

因為在 eigen vector transform中, 個transformation matrix 會變做 diagonal matrix , 更好計

如此的 "計算量減少" 是因為 Engineering要瘋狂爆數計, 不過不是人去計, 是一塊晶片去計
如果日日都overload塊晶片, 個device好快玩完

因此出現了Computational Complexity / Dimension Reduction 的學問 (這些太高級的東西 我就不在此講了 )


所以, 如果把 Transform 視為 "由另一個方向去觀察" , 這樣想可以有很多應用

例如 Science中最常用的 "Spectrum analysis" (太多野講, 沒時間講)


基本講 Spectrum , 幾乎都是Fourier Laplace的天下, 不過近年來有新工具 "Wavelet" 可以更強
而且可以有機會突破"Shannon-Nyquist Sampling Limit"的"Compressive Sparse Sampling",
而且有N件application更厲害, 可以令camer 再細部, 再準, 再快, 非常精彩
相對傳統思路的 "Orthogonal Transform" 正交變換, Compressive Spare Sampling 的數要求更高
基於其性質與傳統顛覆 : Non-adaptive, Random,  Indiffernetiable, Sparse 等等因素
引致數學要求一開波就 :  Geometric topology  , Matrix Analysis, Functional Analysis等等, , 我就廢事講啦


總之呢, 其實我講的只是引申Linear Algebra的 Basis的概念和混入Genetrating Function 和 Infinite Series 得得東西
再夾雜其他東西例如Statistics Theory 和Computing 就變了Engineering一個大分支 : Signal Processng

(另外有一點要補充一下, "表示" 這個字其實用得不好, 因為 Taylor Expansion也是一種 "表示", 不過Taylor Expansion可以不是ortohgonal basis
當然, 連一些Artifical Neural Network的Universal Approximator的"表示"也不是orthogonal basis, 所以要強調下, 需不需要orothogonal, 要看情況而定,例如Wavelet, 不只orthogonal, 還要orthonormal)

[ 本帖最後由 Automaton 於 2013-7-25 01:55 PM 編輯 ]

Automaton

引用:

原帖由 STEVEGARY 於 2013-7-25 03:32 PM 發表
哈, 那我那系列不用講Fourier Analysis了...XD

Fourier Series 可以睇係 projection of f to the space of span{e^inx}

對於space of continuous functions C[-pi, pi]黎講
[span{e^inx}]^perp = {0}...但係. ...

老實講Fourier 太有用
我當初year I 學signal processing以為就 "frequency domain analysis"
怎料, 一些statistics的moment generating function 要用到
Antenna的Far field , near field 之間的關係竟然也是Fourier
什至protein structure都要用, 那時我就嚇了一下
改變了那時的對Fourier的看法
現在已經要當做和ODE, Vector Cal等等一樣的基本工具了
不過學術研究發展下,我感覺到可能20年後Fourier會給取代 (我指in the field of signal processing)

Automaton

Extra : EM / Circuit

首先要講下Electromagnetics,
Physics 會學, Electrical Engineering也會學, 不過2者學的是 完全不一樣的

首先, 我第一頁打的那一些EM , 簡直就低能
Solve Maxwell’s Equation去得出 Wave Helmholtz Equation,簡直就低能
那些structure過份簡單 , 過份簡化 ,
一條長方形cross-section的conductor的physical modeling簡直就是低能
現實是不會有如此 完美perfect 的cross section
個conductor可以是任何形狀的
這個情況下的E-field B-field會很混亂

老實講大學undergraduate的EM, 我理得你是EE讀還是physics讀, 一定是standard structure
想像下如果個electric charged object個形狀如果是”海豚”,undergrad學到的所謂EM已經完全沒用
因為undergrad只懂得計 “正常情況下的普通基礎結構”
真正的EM是要計到什麼情況下任何大小任何形狀的結構的EM field

老實講, 我想講的是 : 世界是很大的 沒有你想像中那麼簡單

讀物理的人會講 :
Newton’s Law 是 Macroscopic , Low speed 的力學
在microscopic 環境, 需要Quantum修正, 如果不是的話Newton’s Law錯到飛起
在High speed環境, 需要Relativity 修正, 如果不是的話Newton’s Law錯到飛起

同樣, Circuit Law, 特別是 V=IR , Kirchoff’s Laws 其實是
“ Low Frequency Lumped Circuit model “

其本上, high frequency時, V=IR 錯到飛起, Kirchoff’s Laws錯到飛起
當frequency 去到GHz, 就要用到Maxwell’s Equation修正

不過那也只是regular structure
當structure不是regular shape, 就要用到 simulator technique / Numerical technique

當個circuit不只是幾個device, 而是幾萬個device, 需要另一個修正

當個device的大小是極小的話, 需要quantum 的修正

所以一個chip的circuit, 是, 極高frequency, 極多個device(上萬個), 極細小 , irregular形狀
結果需要幾層的修正

你以為部iPhone的chip 如此簡單??

我就講下其中一個circuit modeling : Partial Element Equivalent Circuit

簡單講就是 計resistance, 听超超低能, 計resistance ?! Tooo Easy 啦!!!

如果是有這種想法真是蠢到XY

基本上, voltage / current 在transmission line 已有generalized definition :


我基本上跳了Transmission line / Microstrip line 等等直接講 PEEC

我講過, Maxwell’s Equation, 是 Physics , 不是Engineering, 太完美, 過份完美,
計”static, macroscopic , regular structure 還可以, 其他就沒什麼用, 因為太完美, 要modified
一經modified, 已經是Engineering領域, 有一些新的 equivalent principle

例如 :  partial element,
條generalized voltage, 是close loop integral, 那麼也可以define “partial voltage”

那麼inductance 也可以有partial : partial inductance

Skin effect , Proximity effect, Edge Effect

一個基礎E-field system ( 有skin effect )


那麼partial inductance 就是


to be continued

Automaton

引用:

原帖由 kiwakwok 於 2013-8-11 12:36 PM 發表

I don't think your viewpoint is appropriate. Let me tell you how physicist develop and make a good use of the electrodynamic theory. First, having the set of Maxwell's (together  with the Lorentz' ...

sorry 你識general case在工作上是沒有用的

老闆也不理你幾general的

不要以 科學家 的思路去想像 要應付工作的Engineer OK?

Maxwell's equation,  非常非常厲害

也只是對pure physics人 or undergraduate

正因為過份完美, 根本就沒有用

我不知道你知不知 IEEE Propagation & Antenna 上面一大堆paper把Maxwell 改到走晒樣

Engineering 和 physics Focus 是不同的

那些Standard charge/current structure

Engineering 的course 最多一堂就完, OK ?

Standard structure 限制多多, 日常生活太多都是irregular

數量的ratio 有如 number of integer 的數量 比 0至1之間的real number的數量

引用:

原帖由 kiwakwok 於 2013-8-11 12:36 PM 發表

First, having the set of Maxwell's (together  with the Lorentz's force law) and solving them are not trivial unless you are not manage to understand the theory thoroughly

1.EE的EM重視wave propagation, 正常不重視Lorentz force law (研究和matter 的interaction是你們的工作)
EE的EM, 特別是RF, Antenna , 要搞就是你部手機的接收工能

2. 何謂understand thoroughly? EE的EM會用Grassmann algebra, 原因? 你讀phy就更應該知, 一個字, 快
understand thoroughly的確有利工作
不過EE的問題多數都有  實 際 應 用
不太會出現抽象事物 (除非你認為vector cal都叫抽象)

引用:

原帖由 kiwakwok 於 2013-8-11 12:36 PM 發表
That is, the equations contain everything

哈哈,everything?
只是理論正確

能describe一個system  和 能求解  是 2回事

你讀得 physics都知我上面講什麼

如果你真係有去試下solve下 "海豚-EM structure"
你就會發現, Maxwell只能做開始的一步, 之後你就不能  做 下 去 了

why ? 就是因為有一大堆要瘋狂爆數 計計計的問題

不要以為 瘋狂爆數 好像很簡單, 要計個answer

用algorithm / computer 總可以計到

不過  能describe一個system  和 能求解  和 能有效率地求解  是 3回事

你以為 手機天線 就一個 radiation problem ? (你應該都知radiation的Near field個integral要爆數)

問題是你有去考慮速度嗎 ?  如果沒有 考慮算法速度, 手機無人用

"Maxwell's equation contain everything " 這句 你講得太早

Maxwell's equation 只是 contain everything 這句的前頭
我repeat一下: 能describe一個system  和 能求解  和 能有效率地求解  是 3回事

引用:

原帖由 kiwakwok 於 2013-8-11 12:36 PM 發表
Only if we looking closely at the general cases, there is a hope to make a wise guess before solving the problem explicitly.

太多問題的structure太恐怖

我再次強調, structure的complexity

老實講你有沒有solve過 mother board的 EMC/ EMI

幾幾幾幾萬塊device , L R C wire, transmission line, interface, crystal oscillator , blablablabla

有可以有rough idea?????
如果有就不需要一大堆人paper去搞 order reduction 啦
個計算可以去到O(n²)以上, 什至會有幾萬X幾萬的matrix
why?因為Maxwell's equation寫法必然後果
詳情我就唔講啦

所以呢, make guess
Hill Climbing算法听過了吧
Simulated Annealing 就是估
你看,structure太恐怖,用prob做guess

活在Physics世界的人是不會知道Engineering世界的事
會以自己世界的看法去看, 結果就是可能出錯
正如我對QM, specific Relativity的認識不會比你們多
老實,我自己就對physics的看法就是 " 只是不停去搞model的學問, 也只不過也是stamp collection"
我這看法只是我由自己自己世界去看, 你們會有其他我不知道想法, 我會有錯也很正常

正如你講
Theorists like beautiful and concise theories
Maxwell在Theorists的確very beautiful
不過我們不是Theorists
Beautiful, good, extra bonus !
But is it USEFUL?????

最後, 我強調, "從實用性質" 上, Engineering一定better過pure science
你是否搞錯了?

[ 本帖最後由 Automaton 於 2013-8-11 02:13 PM 編輯 ]

Automaton

Oh I see what you mean
Well then  I should say

numerous youngsters belittle engineering

and I refute their ideas/thoughts by saying engineering is better than science

i have to do that

Automaton

Post #2 文字略修改

Automaton

等我話你知大學的殘酷

我是讀engineering的,看事物會 偏現實 一點

所以呢我不是要寫殘酷的文章, 是指出現實而已


學無止境
“大學課程著重基礎訓練,令學生未來能從事工程各類工作,而且具備入讀研究院的準備知識水平”
這一類的說話,什麼課都合適,幾乎在那些promotion的website都會出現
老老實實, 這一類的說話是烏托邦

你入到工作場所, 依然是要學, 學無止境, 你絕對不能妄想, 終於完了.
為什麼?
例子,
讀電腦,一入公司就識睇個machine language, hardware language咩,咪一樣要學
讀機械工程, 一入機場就識搞飛機咩
讀Finance, 一入公司就識睇system咩,咪一樣要學
PE勁,一消防隊就識用云梯咩,咪一樣要學
讀Nursing, 一入飛行服務隊就可以立即飛咩

很多工作內容不光靠大學課程就能讓你立即上線
一定是要”再培育”
很多公司都一樣的
不只是這些要求”大學學歷”的工
所有工作, 例如普通工, 粗工都一樣

一做就識 煮菜咩, 咪一樣要學
PE好, 一入消防隊就識用云梯咩,咪一樣要學
修車, 一入車房就識修車咩,咪一樣要學
君不知有項工作叫 “Graduate Trainee” “學徙” 嗎?

我記得在某個地方看見一個什麼某某銀行家對行業的評價之類, 有這一句
“行業本質發展迅速，業界人士需無止境進修增值，變相燃燒金錢”
這一句是很正確, 但思想太幼稚.
如果是科技那方面的科目,完全正確, 不過,因為business和technology的nature是永遠都dynamic的,永遠都會有新需求和進步, 例如軟件新需求, 系統更新, business environment是一定會變的, 要一勞永逸, 簡直就是幼稚的妄想


結果是有時很慘, 大學學的東西和上班的可以說是完全沒關係
例如如果讀chem的做不到化驗, 入藥廠, 讀電路底板的上班不是搞電子的, 讀音樂出來不是做音樂的..
結果大把大學生會講 : 我學完D野不三不四, 都唔知點解要學

大學的本質
大學真正的目的是基礎訓練, 為以後從事科研在用的
如果你甘願只到大學就好之後出去返工 , 大部份工都會是跟你大學無關的東西

“大學課程著重基礎訓練,令學生未來能  從事工程各類工作,而且  具備入讀研究院的準備知識水平”

應該是

“大學課程著重基礎訓練,令學生未來能具備入讀研究院的準備知識水平”

為什麼要學3年(DSE 4年)的東西?
因為
1. 世界是很大的, 沒你想像中那麼簡單
2. 你冇水準

我在這裡插下有夢想的傻仔
   你發夢啦你, 想做科學家, 瘋狂讀書先啦, 勤力多四倍先啦

為什麼我要插人?
因為不夠水準, 學士夠咩料?學士有咩料?

世界是很大大大大大大大的, 沒你想像中那麼簡單!!!!!!!!!!!!!!!!!!!!!!
我一直講世界有幾大, 我就講下有幾大

就例如講做化學家 (我不是化學的專業, 但以我AL chem知識, 我夠資格講以下內容 )
中學生一定有人會講 : 我大學要講organic chem  我唔like其他chem! !
問題是, 搞organic只需要識organic chem就夠?

搞organic的用不到其他科?
要分離出產品,需要analytic chem的知識
要做合成,需要physical chem和kinetics去判斷怎樣加快reaction rate, 提高yield
要知化學作怎樣引發的, 要學physics的thermodynamics去判斷spontaneous, 和reaction 的 Gibbs energy
要知什麼catalyst可以加快reaction rate, 要學inorganic chem的transition element的特性  
要知是否正確合成出所需產品, 要有instrumentation的光譜學跟質譜學知識
要知個產品的安全性, 要學toxicology

唔通 手拿住支 五顏六色的試管 把水到來到去就叫化學家科學家 咩

再來一個例子, 就講electronics
做個電子裝置, 上去深水涉買電子,自己裝,連起來,就叫搞電子咩
要實現個電子裝置的運作目的和功能,需要有數字電路邏輯的知識 (那些AND, OR, NOT,等等 邏輯門)
要知個電子裝置的working頻率, 要有bandwidth的知識 (3dB bandwidth, Shannon Sampling Theorem等等)
要知個電子裝置的零件之間的接合是否適當, 要有electronics device的認識(BJT, MOSFET, impedance matching等等)
要知有關溫度對零件的影響, 要有solid state physics的認識 ( Fermi-Dirac Statistics, piezoelectric, pyroelectric等等)
要令個電子裝置反應更快更穩定, 要有控制論的知識 (Proportion-Integral-Differential Action, Feedback, 等等)
要令個電子裝置更有能源效益, 要有power electronics的知識( diode, power amplifier 等等)
要令個電子裝置自己識運作, 要有programming的知識( C, VHDL, assembly 等等)
要令個電子裝置運作不會出錯, 要有digital system的知識( timing diagram, state-machine 等等)
要令個電子裝置運作不會受外來電波干擾, 要有電磁學的知識 (例如EMI EMC, radiation : 知唔知咩係 single-event upset?)
如果個電子裝置有內置電源, 要有電池學的知識 (electrochemistry, power conversion等等)
如果個電子裝置有連接功能, 要有interface ...
如果個電子裝置會經常和人有互動,  ...
如果個電子裝置會經常接觸水 ...
仲有大把, 多到我唔想講

簡單來說,大學學的東西在研究所都用上

專門的領域會再更深入鑽研
所以呢

大一大二很重要, 打好基礎
千萬不要大一大二的東西, 學過就忘記, 忘記了的人, 就真係死蠢

再者
以我上講的,那一些科目
基本上
  一 行 字 就 是 一 科
對, 一科的閱讀量就是那些一本800~1000頁, 丟落街可以殺死人的磚頭書

有D中學生連睇200頁的中學課本都要睇成年, 發咩夢話做科學家, 發咩夢要高GPA啊
有心, 200頁2,3日, 什至1日,就可以KO

大學教授個個的房間都幾十本磚頭, 可想而知想搞科研的人是要付出多少努力
得把口冇用的

想高分, 想要 夢想成真
麻煩努力多 四倍
因為你真的很”冇料”

發夢不是不可以, 簡中發下是可以
不過如果是簡中發下夢, 那不叫”夢想”, 那叫”妄想”

有夢想不是不可以
不過

夢想沒有那麼便宜

老實,更現實,更殘酷的一句

夢想沒有便宜到只靠熱誠就可以實現

人愈大就會愈接近現實, 現實是殘酷的
可能你中學老師很好人地教你 , 也可能你瘋狂去cram school
當你去大學, 沒有得再依賴老師, 讀書要靠自己
有些prof跟本就沒心教書, TA也是
基本上如果個prof, TA是有心人士, 這已經是你好運
大學讀書一定是靠自己, 你不能保證個個prof都有心教
你只能努力

努力來自熱誠

雖然夢想沒有便宜到只靠熱誠就可以實現


為什麼?
原因 是 競爭
過份文憑主義和普及教育制度下必會引來競爭的激烈
結果周街都是大學生, 學士有咩料?
每年學士畢業有多少?
每年civil畢業有多少? 每年chem畢業有多少? 每年phy, maths, bio, econ, acc, blablabla學士畢業有多少?
你夠打? 你夠同級的人打? 你夠早你一年畢業的人打? 你夠早你幾年畢業的人打?
大陸人呢? 外國人呢? 你夠打?

世界是很大的, 沒你想像中那麼簡單

連畢業都沒你想像中那麼簡單

首先, 本科中本來就會有的屈機mainland / local狂人就不用多講了

我”幾位” HKU讀醫的朋友告訴我, 有些人在HKU讀MBBS呢, 是已經在外國大學讀完, 返香港再讀一次
為了什麼? 屈人機
難道屈人機是為了“出風頭”?用腦子想下都知為咩啦



錯誤的小眾數據思維
casino當有人玩老虎機中777, 部機會大響起來公告天下
我想講的是, 他中了, 有一個人中獎了,  問題是沒有中獎的人有多少呢? 你有沒有思考過?

再一個例子, 地球人,幾十億, 畸形人好少, 很”獨一無二”
問題是有冇禁少? 你知不知道那些畸形人, 其實有幾億億億億個, 不過都死掉了, 只是你不知罷了

簡單講就是
人通常只會留意那一些特殊事件, 而忽略了, 個statistic population size, 其實是奇大無比
奧林匹克運動會, 一個項目勝出的人只有3個, 那背後輸了的人有幾多個?


愛因斯坦, 牛頓, 勁到爆
不過那是多少個人才會出現一個?
夢想成真 是很難的

人愈大就會愈接近現實, 現實是殘酷的


那怎麼辦
留意, “很難”不是”不可能”, 你可以選擇
1. 放棄
2. 不放棄, 努力, 不過這是一個很漫長的旅程
而且成效不明顯的
不會是你努力3個月就會有成果

大學教授個個的房間都幾十本磚頭, 可想而知想搞科研的人是要付出多少努力


如果你有心讀上去, 就一定要愛上磚頭

再者, 愈讀愈用腦, 你就學得愈快

就好像學語言

一個人由ABC都不認識地學到識 1000個vocab
和
一個人由識10000個vocab到識11000個vocab

後者是較易, 較輕鬆的

就好像 Search Engine, 愈多知識就愈可以做更多交互對比 , 個network都多一些node

所以要攻下的困難是看你肯不肯去 建立你頭一萬個vocab


太多大學生就是這步不肯做就大叫大學很難, 這是愚蠢

當然

由沒有到建立到有一萬個vocab, 有如 突然叫你走去讀 俄文

開始時 痛苦是一定的了, 因為現實就是你肯努力的話你就可以 踏在那些不努力的人的屍體上

世界不會等你, 不進則退, 永遠沒有停


這就是世界的殘酷

[ 本帖最後由 Automaton 於 2013-12-27 01:15 PM 編輯 ]