AI/LLM


최주언, 차건진, 김미수, 엄익채, 최광훈, LLM으로 침해사고 보고서와 취약점 점검 목록을 분석하여 사고 연관 점검 항목을 선별하는 방법 (A Method for Selecting Security Checklist Items Associated with Incidents by Analyzing Security Incident Reports and Vulnerability Checklists Using LLM), WISA 2025 포스터 발표, 제주, 8월20일-8월22일.

IT 시스템 보안을 위해 취약점 점검 항목을 기반으로 주기적인 분석과 테스트를 수행하는 방식이 활용된다. 이 접근이 효과적이기 위해서는 실제 공격 방식과 연관된 항목이 포함되어야 하며, 이에 대한 평가가 필요하다. 기존에는 모의 침투 테스트나 점검 통계를 활용해 왔지만, 인력 비용과 도구의 한계라는 문제가 있다. 본 연구에서는 대형언어모델(LLM)을 활용해 침해사고 보고서와 취약점 점검 목록을 분석하고, 사고와 관련된 점검 항목을 자동으로 선별하는 방법을 제안한다. 이 방식은 도구 의존성을 줄이고 자동화가 가능하며, 점검 항목의 우선순위 평가에 기초 자료로 활용될 수 있다. 실증을 위해 국내 정보보안 업체가 작성한 187건의 침해사고 보고서를 한국인터넷진흥원의 347개 세부 항목 기준으로 분석하고, 보고된 공격과 항목 간 관련성을 1~5단계로 평가하는 시스템을 구현하였다. 그 결과, 특정 보안 분야에 공격이 집중되었고, 반복적으로 등장한 항목을 기반으로 현장에서 우선 관리할 취약점을 데이터 기반으로 도출할 수 있음을 확인하였다.

Periodic analysis and testing based on vulnerability checklists are widely used to enhance IT system security. For this approach to be effective, the checklist must include items closely related to actual attack techniques, and a systematic evaluation of their relevance is required. Traditional methods such as penetration testing and statistical analysis of assessment results have been used, but these approaches face challenges such as high personnel costs and the limitations of automated tools. This study proposes a method that leverages large language models (LLMs) to analyze security incident reports and vulnerability checklists, enabling the automatic identification of checklist items associated with real-world incidents. This approach reduces tool dependency, enables automation, and provides a data-driven foundation for prioritizing security checklist items. For validation, we analyzed 187 security incident reports produced by do- mestic security firms, evaluating their relevance to 347 detailed checklist items from the Korea Internet & Security Agency (KISA) on a five-point scale. The results revealed that certain security domains are repeatedly targeted, and that incident-prioritized vulnerabilities can be systematically identified based on fre quently recurring items in the data.

Available in:


Improving LLM-based Code Completion Using LR Parsing

Md Monir Ahammod Bin Atique, Hyeon-Ah Moon, Isao Sasano and Kwanghoon Choi, Journal of Computer Languages, Vol.84, September 2025, doi: 10.1016/j.cola.2025.101352.

코드 자동 완성은 현대 IDE에서 프로그래밍 효율성을 높이는 핵심 기능입니다. 기존 방식은 접두어 기반 필터링과 정적 순위에 의존하지만, 알파벳 순의 긴 목록을 제시해 사용자에게 부담을 줍니다. 최근에는 LR 파싱 기반 방법이 제안되어 언어 문법을 바탕으로 후보를 생성하고, 오픈소스 프로그램 데이터를 활용해 순위를 계산하지만, 이는 구조적인 후보만 제시하며 실제 코드로의 수동 보완이 필요합니다. 이에 본 연구에서는 LR 파싱과 대형 언어 모델(LLM)을 결합한 하이브리드 방식을 제안합니다. 먼저 LR 파싱을 통해 구조적 후보를 생성한 뒤, LLM을 이용해 이를 실제 코드 형태로 보완하며, 오픈소스 데이터베이스의 순위 정보를 활용해 정밀도를 높입니다. 이를 통해 문법 기반 정확성과 생성 기반 유연성을 결합합니다. 우리는 LLM이 LR 구조적 후보로부터 실제 혜택을 얻는지 분석하고, 후보 없이 직접 생성한 결과와 비교하여 그 효과를 평가합니다. 또한 순위가 높은 구조적 후보를 활용할 때 LLM 기반 완성의 정확도가 얼마나 향상되는지도 탐구합니다. Microsoft Small Basic과 C 언어를 대상으로 한 VSCode 확장 기능을 통해 제안 방식을 실증하며, 이 시스템은 LR 문법이 정의된 모든 언어에 적용 가능한 범용적 솔루션입니다. 실험 결과, LR 파싱과 LLM 결합은 코드 완성의 정확성과 사용성을 모두 향상시키는 것으로 나타났습니다.

Code completion is a crucial feature in modern IDEs, improving programming efficiency. Traditional systems rely on prefix filtering and static ranking but often overwhelm users with lengthy, alphabetically sorted lists. Recent research has introduced LR-parsing-based approaches that derive completion candidates from language syntax and compute their ranks using open-source programs; however, these methods only suggest structural candidates, requiring manual refinement into complete code. To address this, we propose a hybrid method that integrates LR parsing with LLMs to enhance accuracy and usability. Our approach refines structural candidates using LR parsing into textual code suggestions via an LLM, referencing a database of ranked candidates from open-source programs. This combines the syntactic precision of LR parsing with the generative capabilities of LLMs. This study examines whether LLMs benefit from LR structural candidates in code completion. By comparing completions with and without these candidates, we assess their impact. Building on prior research, we also explore how leveraging top-ranked structural candidates can effectively enhance LLM-based code completion precision. We also demonstrate our method through VSCode extensions for Microsoft Small Basic and C. As a language-agnostic solution, our system applies to any language with a defined LR grammar. Our findings suggest that integrating LR parsing with LLM-based completion improves both accuracy and usability, paving the way for more effective code completion in modern IDEs.

Available in LINK


Certified Robustness of Antenna Selecting Neural Networks for Massive MIMO Wireless Communications

Jaekwon Kim, Hyo Sang Lim and Kwanghoon Choi, IEEE Access, vol. 13, pp. 88609-88622, 2025, doi: 10.1109/ACCESS.2025.3570973.

미래의 무선 통신 시스템은 대규모 안테나를 활용해 고속 데이터 전송을 지원해야 하지만, 동시에 RF 체인의 비용도 고려해야 합니다. 이를 해결하기 위한 방법으로는 일부 안테나만 활성화하는 안테나 선택 기법이 있으며, 최근에는 전통적인 기호 기반 방식보다 신경망 기반 접근법이 고정된 추론 복잡도와 하드웨어 적합성 측면에서 더 유망하다는 평가를 받고 있습니다. 그러나 자율주행이나 드론과 같은 6G 안전 필수 응용 분야에서는, 신경망의 불투명한 결정 과정이 신뢰성 확보에 걸림돌이 됩니다. 특히, 어떤 안테나를 선택했는지에 대한 명확한 해석이 어렵기 때문입니다. 이 논문은 이러한 상황에서 신경망 기반 안테나 선택의 강건성(robustness)을 분석합니다. 일반적인 응용에서는 임의 입력에 대한 경험적 강건성만으로 충분할 수 있지만, 모든 가능한 입력 교란에 대해 일관된 결과를 보장하는 수학적 인증 강건성(certified robustness)은 안전이 중요한 시스템에서는 필수적입니다. 비전이나 자연어 분야에서는 인증 강건성 연구가 활발하지만, 통신 분야에서의 적용은 본 논문이 최초입니다. 우리는 안테나 선택 신경망에 대한 강건성을 수학적으로 정의하고, 선형 완화 기반 교란 분석(linear relaxation–based perturbation analysis) 기법을 적용합니다. 그 결과, 뉴럴 네트워크 가지치기(pruning)가 효율성을 높일 뿐 아니라 인증 강건성도 개선하는 것으로 나타났습니다. 또한 인증 강건성과 경험적 강건성 사이에 큰 차이가 존재함을 확인하여, 향후 더 나은 인증 기법의 필요성을 제시합니다.

Future wireless systems with massive antennas must balance data rates and RF chain costs. Antenna selection activating only a subset of antennas addresses this challenge. Recently, neural network-based approaches have shown promise over traditional symbolic methods, offering fixed complexity in inference and suitability for hardware implementation. However, their closed-box nature raises concerns for safety-critical 6G applications like autonomous driving and drones, where reliable communication is vital. Specifically, it is often unclear how the neural network determines which antennas to select, making it difficult to interpret or trust the decision-making process. This paper investigates the robustness of neural networks for antenna selection in such contexts. While empirical robustness against finite random inputs sampled from a uniform distribution may suffice for general applications, certified robustness ensuring consistent inference under all possible perturbations is essential for safety-critical systems. Although certified robustness is well studied in vision and language tasks, we are the first, to our knowledge, to explore its application in telecommunications. We mathematically define robustness for antenna-selection networks and apply state-of-the-art linear relaxation-based perturbation analysis. Our findings show that pruned networks, beyond being more efficient, also exhibit superior certified robustness compared to their unpruned counterparts. We further compare certified and empirical robustness, identifying a significant gap that suggests the need for improved certification methods. Additionally, in our antenna selection setting, we observe that removing monotonic activations in the final layer improves certified robustness.

Available in: PDF


Improving LLM-based Code Completion Using LR Parsing-Based Candidates (Work-in-progress)

Md Monir Ahammod Bin Atique, Kwanghoon Choi, Isao Sasano and Hyeon-Ah Moon, Improving LLM-based Code Completion Using LR Parsing-Based Candidates (Work-in-progress), Symbolic Computation in Software Science (SCSS), Tokyo, Japan, August 28-30, 2024.

(See Improving LLM-based Code Completion Using LR Parsing for the full paper.)

Available in: PDF


Ranked Syntax Completion Using LR Parsing

Kwanghoon Choi, Sooyeon Hwang, Hyeonah Moon, Isao Sasano, ACM/SIGAPP Symposium on Applied Computing, pp.1242-1251, Avila, Spain, April 8-12, 2024

이 논문은 프로그램 작성을 위한 문법 기반 텍스트 완성 기법을 새롭게 제안한다. 이 기법은 문법 구조 후보 목록을 생성하며, 각 후보에는 정렬된 순위 정보가 함께 제공된다. 현재까지 문법 구조 완성을 위한 기존 기법들 중 후보에 순위 정보를 포함한 방식은 없었다. 우리는 LR 파싱을 기반으로 두 가지 주요 알고리즘을 개발하였다. 하나는 후보를 수집하고 순위를 매기는 알고리즘이며, 다른 하나는 이를 질의하는 알고리즘이다. 이러한 알고리즘을 이용하여 SmallBasic 커뮤니티의 프로그램들과 오픈소스 C11 프로그램들로부터 순위가 매겨진 후보들을 수집하였다. 이후 Microsoft SmallBasic 튜토리얼 프로그램들과 Kernighan and Ritchie의 C 언어 교재 예제를 활용해 코드 자동완성에서 이 기법의 효과를 평가하였다. 실험 결과, 최상위 후보가 정답인 경우가 많았으며, 전체의 96% 이상에서 정답이 상위 10개 후보 안에 포함되었다. 이는 수집된 순위 정보가 초급 프로그래밍 작업에서 사용자에게 유용한 선택 기준이 될 수 있음을 보여준다. 또한 이 기법은 문법이 LR로 정의된 언어라면 어떤 프로그래밍 언어에도 적용 가능한 ‘언어-파라메트릭’ 특성을 가진다.

This paper introduces a novel text-based syntax completion method that generates a sorted list of syntactic structure candidates for program writing. To date, no existing methods for syntax structure completion have offered candidates with accompanying rank information. We developed two key algorithms using LR parsing: one for collecting and ranking candidates, and another for querying them. With these algorithms, we gathered ranked candidates from SmallBasic programs in its community and from C11 programs in open-source software. We then assessed their effectiveness in code completion using Microsoft SmallBasic tutorial programs and the exercises from Kernighan and Ritchie's C programming language book. Our findings revealed that the top ranked candidate is frequently the correct choice. Furthermore, in over 96% of the cases, the correct completion is within the top 10 ranked candidates. This indicates the value of the collected rank information, assisting users in candidate selection during introductory programming tasks. Moreover, our method exhibits language-parametric characteristics; it can be applied to any programming language with syntax defined by an LR grammar.

Available in: PDF, DOI, SLIDE