การคำนวณในระบบคอมพิวเตอร์ จะรับข้อมูลจากผู้ใช้ระบบผ่านทาง Input Device เข้ามา ทำการประมวลผล (Process) เช่น การบวก การลบ การคูณ การหาร เปรียบเทียบ เสร็จแล้วนำผลที่ได้ออกแสดงผล (Output)  ดังรูป

                ทั้งนี้ ถ้า Input ททที่นำเข้าสู่ระบบคอมพิวเตอร์เป็นภาษาระดับสูง  หรือภาษาคอมพิวเตอร์ คอมพิวเตอร์ไม่สามารถเข้าใจได้ ดังนั้นจึงมีความจำเป็นต้องแปลงข้อมูลเหล่านั้นให้เป็นภาษาที่เครื่องคอมพิวเตอร์เข้าใจ  แล้วจึงนำไปประมวลผลตามคำสั่ง

                ในการคำนวณเลขทางคณิตศาสตร์ หรือในระบบคอมพิวเตอร์ จะทำการคำนวณได้เมื่อนิพจน์ต่างๆ ที่นำมาคำนวณต้องอยู่ในระบบฐานเดียวกันเสมอ ถ้าในกรณีนิพจน์ไม่อยู่ในฐานเดียวกันต้องแปลงให้นิพจน์นั้นๆอยู่ในเลขฐานเดียวกันก่อน

4.1 หลักการคำนวณในระบบคอมพิวเตอร์

การคำนวณในระบบคอมพิวเตอร์ เครื่องคอมพิวเตอร์จะเรียงอันดับความสำคัญของเครื่องหมาย (Operator) ต่างๆ ก่อนว่าเครื่องหมายใดควรถูกกระทำก่อน – หลัง ซึ่งสามารถเรียงอันดับเครื่องหมายที่มีความสำคัญจากมากไปหาเครื่องหมายที่มีความสำคัญน้อย ดังนี้

ลำดับความสำคัญ	เครื่องหมาย	การคำนวณ	หลักการให้ความสำคัญ
1. 2. 3.	^   หรือ  *   *      *      /      +      -	ยกกำลัง คูณ หาร บวก ลบ	มีความสำคัญมากที่สุด เครื่องหมายใดมาก่อนถูกประมวลผลก่อน   เช่น 4 / 2 * 3 = (4/2) * 3 = 2 x 3 = 6 เครื่องหมายใดมาก่อนถูกประมวลผลก่อน   เช่น 8 – 2 + 3 = (8 - 2) + 3 = 6+3 = 9

ข้อสังเกต  หลักการคำนวณในระบบคอมพิวเตอร์

1.             ถ้านิพจน์ใดมีวงเล็บให้สนใจทำการคำนวณเลขที่อยู่ในวงเล็บเป็นอันดับแรก

2.             เครื่องหมาย ^ (ยกกำลัง)  จะถูกประมวลผลก่อนเครื่องหมายอื่นๆ  เสมอ  เพราะมีความสำคัญมากที่สุด  ยกเว้นเครื่องหมายวงเล็บ

3.             เครื่องหมาย  *  กับ  /  มีระดับความสำคัญเท่ากัน  ดังนั้น  เครื่องหมายที่มาก่อน  (เครื่องหมายที่อยู่ทางซ้ายมือสุด)  จะถูกประมวลผลก่อน

4.             เครื่องมาย  +  กับ  -  มีระดับความสำคัญเท่ากัน  ดังนั้นระดับการประมวลผลจึงถูกประมวลผลเครื่องมือที่ทางด้านซ้ายสุดเป็นอันดับแรก

ตัวอย่าง 4.1  จงแสดงลำดับความสำคัญ  พร้อมหาคำตอบ

            

ตัวอย่าง 4.2    จาก  5 x 2 + (9 - 4)   จงหาคำตอบ

              

4.2 การคำนวณเลขฐานสิบ

ตัวดำเนินการ (Operator) คือ ตัวดำเนินการที่ใช้ในการคำนวณค่าต่างๆ  ทางคณิตศาสตร์ และตัวดำเนินการตามหลักคณิตศาสตร์ในระบบคอมพิวเตอร์ โดยตัวดำเนินการชนิดนี้จะกระทำกับข้อมูลที่เป็นตัวเลข คือ จำนวนจริงหรือจำนวนเต็ม ผลลัพธ์ของการกระทำโดยตัวดำเนินการคณิตศาสตร์นี้จะเป็นข้อมูลชนิดตัวเลขเท่านั้น

ในการใช้ตัวดำเนินการคณิตศาสตร์ จะต้องกระทำกับค่า 2 ค่า ซึ่งจะอยู่สองข้างตัวดำเนินการเราเรียกค่า 2 ค่านี้ว่า ตัวโอเปอแรนด์ (Operand)

ตารางแสดงตัวอย่างตัวดำเนินการ (Operator) และตัวถูกดำเนินการ (Operand)

นิพจน์ทางคณิตศาสตร์	ตัวดำเนินการ	ตัวถูกดำเนินการ
A  +  B A  x  B  +  C  /  2 9  x  5  -  4 6  -  4  /  2  x  9  +  3^2	+ x ,  /  ,  + x  ,  - ^  ,  /  ,  x  ,  -  ,  +	A  ,  B A  ,  B  , C  9  ,  5  ,  4 6  ,  4  ,  2  ,  9  ,  3

ตารางแสดงตัวอย่างตัวดำเนินการทางคณิตศาสตร์ที่นำไปใช้ในระบบคอมพิวเตอร์

ตัวดำเนินการ	ความหมาย	ชนิดข้อมูลของโอเปอร์แรนด์
+ - * / Div mod	การบวก การลบ การคูณ การหารจำนวนจริง การหารจำนวนเต็ม การหารจำนวนเต็มเอาเศษ	จำนวนเต็ม  ,  จำนวนจริง จำนวนเต็ม  ,  จำนวนจริง จำนวนเต็ม  ,  จำนวนจริง จำนวนเต็ม  ,  จำนวนจริง จำนวนเต็ม  จำนวนเต็ม

ข้อสังเกต

·       ถ้าตัวแปรหรือค่าคงที่ทุกค่าในนิพจน์เป็นเลขจำนวนเต็มทุกจำนวนและในนิพจน์ไม่มีเครื่องหมายเลย ผลลัพธ์ของนิพจน์นั้นจะเป็นข้อมูลชนิดจำนวนเต็ม

·       ถ้านิพจน์นั้นเกิดมีเลขจำนวนจริงเพียงจำนวนเดียว หรือมีเครื่องหมาย  /  เพียงตัวเดียว  ผลลัพธ์ของนิพจน์นั้นจะเป็นตัวเลขจำนวนจริง เช่น 2 *  9  /  3  =  6.0  หรือ  5 + 4.0 = 9.0

ลำดับการทำงานของตัวดำเนินการ

                ในนิพจน์ทางคณิตศาสตร์ที่ใช้กันส่วนใหญ่จะมีเครื่องหมายหรือตัวดำเนินการหลายๆ ตัวในนิพจน์เดียวกัน เช่น a + b * c จากนิพจน์นี้เครื่องคอมพิวเตอร์ทำการประมวลผลโดยวิธีการคูณก่อนบวก ถ้าหากอยากให้ทำการบวกก่อนจะต้องใส่วงเล็บให้นิพจน์ (a + b) * c ดังนั้นเพื่อขจัดปัญหาความเข้าใจที่แตกต่างกัน จึงได้มีกฎการเรียงลำดับการทำงานของตัวดำเนินการต่างๆ ดังต่อไปนี้

1.             นิพจน์ย่อยที่อยู่ในวงเล็บทั้งหมดจะถูกทำการประมวลหรือทำการคำนวณก่อน

2.             ถ้ามีวงเล็บซ้อนกันอยู่ให้ทำวงเล็บในสุดก่อน แล้วค่อยทำวงเล็บถัดออกไปเรื่อยๆ จนถึงวงเล็บนอกสุด

3.             ตัวดำเนินการในนิพจน์เดียวกันจะถูกเรียงลำดับการทำงานโดยเรียงจากความสำคัญจากมากไปหาน้อยเครื่องหมายที่มีความสำคัญมากจะถูกคำนวณก่อนดังนี้

ก.      เครื่องหมาย  ^  (ยกกำลัง)  จะถูกดำเนินการก่อน

ข.      เครื่องหมาย  *  ,  /  ,  div  ,  mod

ค.      เครื่องหมาย  +  ,  -  จะถูกทำทีหลัง

4.             ตัวดำเนินการที่มีลำดับความสำคัญเท่าเทียมกัน  จะให้ความสำคัญโดยเรียงลำดับการประมวลผลจากซ้ายไปขวา  นั่นก็หมายความว่า  เครื่องหมายตัวดำเนินการใดมาก่อนในนิพจน์เดียวกันก็จะถูกดำเนินการก่อน

ตารางแสดงลำดับการทำงานของตัวดำเนินการต่างๆ

ลำดับ	ตัวดำเนินการ
1 2 3 4	( ) ^ *,  /  , mod , div +  ,  -