🤓 Data mining คืออะไรในวิชาทางคอม
มาเดี่ยวเล่าให้ฟัง
วิชานี้แปลตรงตัวก็คือ "การทำเหมืองข้อมูล"
อุปมาก็คล้ายกับเราไปทำเหมืองแร่ที่ขุดมาจากใต้ดินแหละครับ
.
แต่เหมืองที่ว่าเป็นเหมืองของข้อมูลดิบที่มีขนาดใหญ่นั่นเอง
.
คราวนี้จะให้ลองนึกถึงเวลาใช้คำสั่ง SQL เราจะรู้อยู่แล้วว่า
ข้อมูลมันอยู่ตรงไหนใน (Table) ใช่มั๊ยละ
พอเราใช้คำสั่ง select * from .... where...
ก็เลือกข้อมูลมาได้ตามต้องการ
.
แต่ถ้าเป็นคลังของข้อมูลดิบบบบบบบบบ
ที่มีปริมาณมาก ๆ เช่น
ข้อมูลเว็บไซต์ในโลกอินเตอร์เนตที่มีเยอะมาก ๆ
ข้อมูลพวกนี้จะใช้ SQL ค้นหาไม่ได้หรอกครับ
ข้อมูลยังไม่แยกเป็นตารางเลย
.
แล้วอย่างนี้ข้อมูลที่เราต้องการอยากรู้
ได้แก่ "ความรู้" หรือ "Knowledge"
ซึ่งความรู้ที่ว่า ไม่ใช้ข้อมูลแบบที่คิวรี่โดย SQL นะ
แต่จะได้เป็นความรู้ในฐานข้อมูล (Knowledge Discovery in Database - KDD)
ซึ่งก็คือ รูปแบบ (pattern) และความสัมพันธ์ (associations) ที่แอบซ่อนอยู่ในชุดข้อมูลนั้นๆ
.
🤔 ซึ่งคำถาม แล้วเราจะหาเจอได้ยังไง?
ภายใต้ข้อมูลดิบที่มีเยอะเหลือเกิ๊น
แถมหายากอีกต่างหากละพี่น้อง?
.
ดังนั้นเราจึงหนีไม่พ้นต้องมาทำเหมืองข้อมูลกัน
ช่างไม่ต่างอะไรกับทำเหมืองแร่
กว่าเราจะเจอ ดีบุก ถ่านหิน เพชร พลอย ทอง ฯลฯ
โอ๋ต้องใช้เทคโนโลยี ขุดเจาะหากว่าจะเจอ
ไม่ใช่ของกล้วย ๆ เลยนะครับ
เพราะกว่าจะได้สิ่งมีค่าออกมา
ก็เจอแต่เศษหิน เศษกราด เยอะแยะเต็มไปได้
สิ่งที่ต้องการอยากได้มีน้อยนิดเหลือเกิน
.
Data mining ก็เช่นกัน
กว่าจะทำการขุดๆ และขุด
จนได้ความรู้ออกมา
มันทำไม่ได้ง่ายๆ ต้องใช้คอมทำ
ต้องมีอัลกอริทึมให้ทำงานอัตโนมัติ
ทำด้วยมือคนไม่ไหว ตายลูกเดียว
.
ด้วยเหตุนี้วิชา Data mining
จึงถือกำเนิดอุแว้ขึ้นมาในยุค 1970
ซึ่งมันเป็นศาสตร์ที่ต้องเอาหลาย ๆ วิชารวมกัน
หลัก ๆ ก็วิชา -> Machine Learning(สาขาหนึ่งของวิชา AI) + วิชาสถิติ + ฐานข้อมูล
.
สำหรับประโยชน์ของ Data mining
ทำให้การค้นหาความรู้จากข้อมูล
มันอิจฉริยะขึ้นครับ ไม่ต้องทำมือเอง
แต่ใช้คอมทำให้อัตโนมัติ ซึ่งจะมีประโยชน์มาก ๆ ตัวอย่าง เช่น
.
-ใช้จัดระดับความเสี่ยงของผู้ขอเครดิต เป็นระดับต่ำ กลาง และสูง
-ทำนายพฤติกรรมการซื้อสินค้า ว่าลูกค้าจะหยิบอะไรใส่รถเข็น
-หาความเสี่ยงของผู้ป่วยเป็นโรงมะเร็ง จากผู้ติดเชื้อไวรัสโคโรน่า
-หาเนื้อคู่เรา (อันนี้ล้อเล่นนะ ไม่รู้ว่ามีใครสนใจทำจริงเปล่า อิ ๆ ๆ)
และประโยชน์อื่น ๆ อีกเยอะมาก เป็นต้น
.
** หมายเหตุ
Data mining มันมีมานานแล้ว สมัยยังไม่ดังเท่าไร
ไม่เหมือน Data Science ซึ่งจะรู้จักมากกว่าในยุคนี้
เพราะเด็กม. 5 ก็จะได้เรียน Data Science กันแหละ
ในวิชาหลักสูตรใหม่แกะกล่องชื่อ "วิทยาการคำนวณ"
.
ถ้าเปรียบเทียบกับงาน
Data analysis กับ Data science
มันก็คือซับเซทหนึ่งนั่นเองตามรูปที่โพสต์
ซึ่งวิชาพวกนี้หนีไม่พ้นโยงใยไปในเรื่อง Machine Learning(สาขาหนึ่งของวิชา AI)
.
✍เขียนโดย โปรแกรมเมอร์ไทย thai progammer
.
.
++++++++++++++++++++++++++++
+++++ต่อไปขออนุญาติขายของนะ +++++
📔 หนังสือ "ปัญญาประดิษฐ์ (AI) ไม่ยาก" เข้าใจได้ด้วยเลขม. ปลาย (เนื้อหาภาษาไทย)
.
ถ้าสนใจสั่งซื้อเล่ม 1 ก็สั่งซื้อได้ที่
👉 https://www.mebmarket.com/web/index.php…
.
ขออภัยยังไม่มีเล่มกระดาษจำหน่าย มีแต่ ebook
.
ส่วนตัวอย่างหนังสือ ก็ดูได้ลิงค์นี้
👉 https://www.dropbox.com/s/fg8l38hc0k9b…/chapter_example.pdf…
.
✍เขียนโดย โปรแกรมเมอร์ไทย thai programmer
🤓 What is Data mining in computer subjects?
I'll tell you about it.
This subject translates right to ′′ data mining
The metaphor is similar to us to a mining that digs from underground.
.
But the mine is mine of raw data that is large.
.
This time I think about SQL order time. We will know that.
Where is the information in (Table)?
When we use select khả s̄ạ̀ng from.... where...
You can choose the information you want.
.
But if it's a treasury of raw data.
With lots of quantities like
There are a lot of websites in the internet world.
These information will be used by SQL.
Info is not separate yet.
.
And this is what we need to know.
′′ Knowledge ′′ or ′′ Knowledge ′′
Knowledge of not using Cory by SQL
Knowledge Discovery in Database - KDD)
Which is a pattern (pattern) and a relationship (associations) hidden in that data set.
.
🤔 which is the question, how can we find it?
Under raw data, there are plenty of them left.
Plus, it's hard to find, brothers?
.
So we can't escape. Let's do data mines.
What a difference to mining
Until we meet, coal tin, diamonds, gold, etc.
Oh, it takes a drilling technology to find it.
It's not a banana item.
Because it takes worth to get out of stock.
I have found a lot of rubble, rubble, and graphic. I can get full of it.
Wishlist is so little
.
Data mining as well.
Until I do the digging and digging.
I got the knowledge.
It can't be done easily. It takes a computer to do.
Algorithm needs to be automated
Handmade. I can't take it. I die.
.
For this reason, Data mining subject.
So it was born in the 1970 s.
It's a science that takes many subjects together.
Mainly subject -> Machine Learning (one branch of AI subject) + statistics wichā database
.
For the sake of Data mining
Make a knowledge search from information
It's a genius. Don't have to do it yourself.
But using a computer to automate which is very useful. Samples like.
.
- Take the risk of creditors low, middle and high level
- predict product buying behavior that customers will add something to cart
- Finding the risk of cancer patients from coronavirus infected people.
- Looking for my soulmate (I'm kidding. I don't know if anyone wants to do it for real. Haha.)
And many other benefits etc.
.
** Note **
Data mining. It has been a long time. When I wasn't famous.
Unlike Data Science which will know more in this era.
Because of the middle school boy. 5 I will be studying Data Science.
In a new course, unpacking the name ′′ Computational Science ′′
.
If compare to the work
Data analysis กับ Data science
It's a subtitle, one according to the photos posted.
The subjects are unavailable to machine learning (one branch of AI)
.
✍ Written by Thai programmer thai progammer
.
.
++++++++++++++++++++++++++++
+++++ Next, I ask for permission to sell items +++++
📔 The book ′′ Artificial Intelligence (AI) is not difficult It can be understood by the number of years. Tips (Thai language content)
.
If interested in ordering book 1, order at.
👉 https://www.mebmarket.com/web/index.php?action=BookDetails&data=YToyOntzOjc6InVzZXJfaWQiO3M6NzoiMTcyNTQ4MyI7czo3OiJib29rX2lkIjtzOjY6IjEwODI0NiI7fQ&fbclid=IwAR11zxJea0OnJy5tbfIlSxo4UQmsemh_8TuBF0ddjJQzzliMFFoFz1AtTo4
.
Sorry, no paper booklets are available. Only ebooks.
.
Personal like the book, please see this link.
👉 https://www.dropbox.com/s/fg8l38hc0k9b0md/chapter_example.pdf?dl=0
.
✍ Written by Thai programmer thai coderTranslated
同時也有1部Youtube影片,追蹤數超過12萬的網紅prasertcbs,也在其Youtube影片中提到,-- command create user alpha with encrypted password '1234'; \c demo grant select on table public.benjerry to alpha; grant select, insert, update, del...
sql table with 在 91 敏捷開發之路 Facebook 的精選貼文
有在使用 MS SQL server 的朋友,如果有需要找到 identity 跳號的資料,可以參考一下新的寫法,查詢成本省很大。
#長知識
【SQL Tips】之【了解為何identity會發生不連續號碼與快速找出那些號碼是跳號】20171224
**identity保證唯一,不保證連續**
**使用SARG規則與SET BASED方式找出不連續號碼**
**最後那三種找出不連續的技巧,成本比如下
50%(SELF JOIN搭配NOT IN) : 32%(SELF JOIN搭配 OFFSET 函數) : 18%(LAG 函數) **
許多SQL Server開發人員經常會使用identity自動產生連續編號,然而該identity卻有一個特質是發生交易退回(rollback)則會產生跳號的狀況,以下的狀況就是identity碰到交易退回後所產生的跳號情況。
***
use tempdb
go
if object_id('tblNum') is not null
drop table tblNum
go
create table tblNum
(c1 int identity ,
c2 nvarchar(30) unique --防止重複
)
go
insert into tblNum(c2) values ('lewis1')
insert into tblNum(c2) values ('lewis2')
insert into tblNum(c2) values ('lewis3')
insert into tblNum(c2) values ('lewis3') --重複姓名就發生跳號
insert into tblNum(c2) values ('lewis5')
insert into tblNum(c2) values ('lewis5') --重複姓名就發生跳號
insert into tblNum(c2) values ('lewis5') --重複姓名就發生跳號
insert into tblNum(c2) values ('lewis8')
insert into tblNum(c2) values ('lewis9')
insert into tblNum(c2) values ('lewis10')
go
select * from tblNum
GO
--結果
c1 c2
1 lewis1
2 lewis2
3 lewis3
5 lewis5 <--發生跳號
8 lewis8 <--發生跳號
9 lewis9
10 lewis10
***
基本上單一執行INSERT UPDATE DELETE 就是一種隱性交易,上述的範例就是因為條件約束(constraint)的unique緣故,當輸入的文字發生重複的時候,就會自動退回交易,緊接著identity也隨之發生跳號的狀況。
當瞭解identity會有發生跳號的特質之後,接下來分享三種從SQL Server 2005開始使用的抓取跳號的範例,以及從SQL Server 2012開始支援的Windows Offset函數抓取跳號的技巧。這三種技巧都是使用set-based的方式,不使用WHILE迴圈去比對資料的連續性,值得一試。
**從SQL Server 2005支援的抓取跳號的技巧
--使用自我查詢產生搭配CTE
--使用SET BASED技巧取代迴圈處理
WITH DS AS (
SELECT DS1.* FROM tblNum as DS1 JOIN
tblNum as DS2
on DS1.c1 = DS2.c1+1 )
SELECT * FROM tblNum
WHERE c1 NOT IN (SELECT TOP(1) c1 FROM tblNum ORDER BY c1)
EXCEPT
SELECT * FROM DS
GO
**從SQL Server 2012支援的抓取跳號的技巧
--使用自我查詢產生搭配OFFSET
--使用SET BASED技巧取代迴圈處理
WITH DS AS (
SELECT DS1.* FROM tblNum as DS1 JOIN
tblNum as DS2
on DS1.c1 = DS2.c1+1 ),
DS2 AS (SELECT * FROM tblNum ORDER BY 1 OFFSET 1 ROW )
SELECT * FROM DS2
EXCEPT
SELECT * FROM DS
GO
**從SQL Server 2012支援的抓取跳號的技巧
--使用自我查詢產生搭配LAG的Windows Offset技巧
--使用SET BASED技巧取代迴圈處理
WITH DIFF AS (
select *,LAG(c1, 1,0) OVER ( ORDER BY c1) as previous
,c1 - LAG(c1, 1,0) OVER ( ORDER BY c1) as diff
from tblNum
)
SELECT c1,c2 FROM DIFF WHERE diff>1
GO
--結果就是 5/8 之前就發生跳號
c1 c2
5 lewis5
8 lewis8
最後那三種找出不連續的技巧,成本比如下
50%(SELF JOIN搭配NOT IN) : 32%(SELF JOIN搭配 OFFSET) : 18%(LAG)
sql table with 在 prasertcbs Youtube 的最讚貼文
-- command
create user alpha with encrypted password '1234';
\c demo
grant select on table public.benjerry to alpha;
grant select, insert, update, delete on table public.menu to alpha;
grant select, insert, update, delete on all tables in schema public to alpha;
revoke all privileges on all tables in schema public from alpha;
grant all privileges on all tables in schema public to alpha;
ดาวน์โหลด saturn database (saturn.tar) ได้ที่ ► http://bit.ly/2E2uY7a
เชิญสมัครเป็นสมาชิกของช่องนี้ได้ที่ ► https://www.youtube.com/subscription_center?add_user=prasertcbs
สอน PostgreSQL ► https://www.youtube.com/playlist?list=PLoTScYm9O0GGi_NqmIu43B-PsxA0wtnyH
สอน MySQL ► https://www.youtube.com/playlist?list=PLoTScYm9O0GFmJDsZipFCrY6L-0RrBYLT
สอน Microsoft SQL Server 2012, 2014, 2016, 2017 ► https://www.youtube.com/playlist?list=PLoTScYm9O0GH8gYuxpp-jqu5Blc7KbQVn
สอน SQLite ► https://www.youtube.com/playlist?list=PLoTScYm9O0GHjYJA4pfG38M5BcrWKf5s2
สอน SQL สำหรับ Data Science ► https://www.youtube.com/playlist?list=PLoTScYm9O0GGq8M6HO8xrpkaRhvEBsQhw
การเชื่อมต่อกับฐานข้อมูล (SQL Server, MySQL, SQLite) ด้วย Python ► https://www.youtube.com/playlist?list=PLoTScYm9O0GEdZtHwU3t9k3dBAlxYoq59
การใช้ Excel ในการทำงานร่วมกับกับฐานข้อมูล (SQL Server, MySQL, Access) ► https://www.youtube.com/playlist?list=PLoTScYm9O0GGA2sSqNRSXlw0OYuCfDwYk
#prasertcbs_SQL #prasertcbs #prasertcbs_PostgreSQL
sql table with 在 WITH common_table_expression (Transact-SQL) - SQL Server 的相關結果
如何在查詢中使用通用資料表運算式(CTE) 的Transact-SQL 參考。 ... 可以在 CREATE TABLE AS SELECT (CTAS) 陳述式中指定CTE。 ... <看更多>
sql table with 在 How to create a table using "With" clause in SQL - Stack ... 的相關結果
This is not valid syntax for sql server. you can either create a table using CREATE TABLE and specifying the column names and types, ... ... <看更多>
sql table with 在 SQL 使用TEMP TABLE 跟使用WITH 差異 - iT 邦幫忙 的相關結果
SQL 使用TEMP TABLE 跟使用WITH 差異? TEMP TABLE 也有分區域性的暫存資料表(Local),在tempdb 資料庫中資料型別的暫存資料表,在記憶體中. SELECT EMP_ID,EMP_NAME . ... <看更多>